MUSIC reading FOR MACHINES

“Dammit Jim, I’m a hacker, not a musician!”, to paraphrase McCoy Scotty from the original star trip series. Well, a few of us are likewise musicians, some, like me, are likewise hack-musicians, as well as some wouldn’t understand a whole note from a treble clef. however every now as well as then the music you want is in the type of sheet music as well as you requirement to convert that to something your hack can play. If you’re lucky, you can discover software application that will checked out the sheet music for you as well as spit out a MIDI or WAV file. Or, just like my hand-cranked music player, you may have to checked out just sufficient of the music yourself to convert musical notes to frequencies for something like a 555 timer chip. We’ll dive into both situations here.

If you can’t checked out music then you must still be able to get the gist of what we’re saying. however in situation you get confused, we’ve included a extremely quick introduction near the end of this article.

Optical music recognition (OMR)

MusicXML note example
You’ve most likely heard of OCR, Optical character recognition software, that converts words on paper to a digital form. Well there’s likewise music OCR, or a lot more exactly OMR, Optical music recognition software. You point a cam at a page of sheet music to catch an image, or provide the software application an picture data or a PDF consisting of the sheet music, as well as it converts that to music that you can hear at the press of a button, or save to a MIDI or WAV data for playback from elsewhere.

To try it out, I discovered a high high quality one called SharpEye 2.68 that had a 30-day, complimentary trial period. It’s able to save the music as a MIDI file, MusicXML, as well as in NIFF format. The snippet of MusicXML shown right here is of the musical note, A, as well as is a quarter note. As you’ll see, SharpEye does an excellent job, provided a clean, black as well as white image. It likewise supplies the needed editing tools to fix any recognition errors.

Greensleeves caught in sunlight as well as in SharpEye
For my very first test I took a picture in sunlight of the very first line from the tune Greensleeves. I then brought the picture into GIMP to ensure that I might convert it to a TIFF file, considering that SparpEye reads in only BMP as well as TIFF files. however I did no enhancing. I then opened the picture in SharpEye as well as told it to “Read image”. This is the optical music recognition step. The end result was just what you see in the snapshot here, flawless, as well as with only the appropriate music. In the snapshot I’ve clicked on one of the notes, the one that’s red, to show that this is editable music as well as not just a static image. Clicking on the play button played it flawlessly.

I saved it as a MIDI file. However, MIDI data specify exactly how to play the music, together with the notes, as well as do not consist of the audio itself. So I converted it to an audio track using Anvil Studio before saving the music to a WAV file, which you can listen to below. For any individual who wishes to do this in Anvil, at a minimum you can do data – open tune as well as data – Export Mixed Audio.

Audio Playerhttps://hackaday.com/wp-content/uploads/2017/05/greensleeves_sunlight.wav

00:00
00:00
00:00

Captured poor music as well as in SharpEye
These OMR programs requirement clean pictures or PDFs of the music in buy to recognize them well. For example, the example shown above has some shadowing on the left which made SharpEye not able to checked out that part. The image is likewise poorly focused, which triggered it to get a great deal wrong in the bottom section. The music with the yellow background is SharpEye showing exactly how it sees the music before doing the recognition.

The poor music after fixing
Like lots of OMR programs, SharpEye isn’t meant as a music notation tool. It doesn’t setting notes for you, or change their positions when you add a clef. However, it does provide you sufficient editing tools to right recognition errors, as well as that’s what I did to add back the area that was shadowed, in addition to add the notes it missed on the bottom. I likewise inserted the 3/4 time signatures, which weren’t in the original considering that it was an picture taken of the middle of a score. With those fixes, it seems just right.

Audio Playerhttps://hackaday.com/wp-content/uploads/2017/05/bad_music_fixed.wav

00:00
00:00
00:00

At this point you can save it as a MIDI data as well as then convert it to a WAV or MP3 as well as transfer that to your hack. Or, if you want to additionally refine the music, save it as a MusicXML data as well as tons it into your preferred music notation software, Sibelius for example, for additionally editing.

Experiments with picture Pre-Processing

I utilized a flatbed scanner to scan a full page of the song Scarborough fair — which this time around includes lyrics — to a PDF-bestand. Omdat Sharpeye PDF-gegevens niet heeft uitgecheckt, heb ik het eerst in GIMP ingeeld, evenals opgeslagen als een TIFF-bestand. Sharpeye had problemen die het lezen, dus ik ging terug naar Gimp, redde het als een hoge kwaliteit JPG in plaats daarvan, backed dat terug in Gimp, evenals geëxporteerd dat als een TIFF-bestand. Om een ​​onbekende reden kan Sharpeye dat erop uitchecken.

Zelfs toen werkte de erkenning slecht, ontbrak grote stukken van de muziek. Ik vermoedde dat dat was sinds de muziek grijs was op wit. Ik gebruikte het gereedschap Niveaus in GIMP om het te converteren naar zwart op wit, evenals de erkenning werkte deze keer veel beter.

Scarborough Fair in Sharpeye
Voordat ik de erkenning doet, moest ik het Sharpeye vertellen dat de songteksten hierboven kunnen worden ontdekt boven de staven, omdat ze daar standaard op zoek zijn. In de momentopname is de originele foto de muziek met de gele achtergrond. Zoals je kunt zien, waren er enkele fouten in de songtekst, maar de tekst is bewerkbaar. In de momentopname heb ik “WIN ‘” gekozen, die “Goin’ moet zijn”. Merk ook op dat de lijnen van de erkende muziek horizontaal in plaats van verticaal worden uitgelegd als u ontdekt op een typisch vel papier, evenals als ze in de originele afbeelding zijn. Het resultaat lijkt echter prima.

Audio PlayerHTTPS: //Hackaday.com/wp-content/uploads/2017/05/scarborough_fair_en.wav

00:00
00:00
00:00

U kunt een vermelding ontdekken van andere optische muziekherkenningsprogramma’s op Wikipedia, SmartScore die degene is die bestaat in de langste in één type van een ander, begint in 1991. Er is eveneens een Sharpeye SDK die, uit de lijst, wordt gebruikt door een paar verschillende producten. Er zijn zelfs apps voor iPads, iPhones en Android-telefoons die je demo’s van op YouTube kunt ontdekken. Het zoeken naar “Music Scanner” lijkt een paar geweldige evenals arme.

Notities converteren naar frequenties

Wat als je de bladmuziek voor je hebt, evenals je hack is er een die de privé-opmerkingen neemt, evenals om converteert op een geschikt geluid? WAV evenals MP3-gegevens zullen niet werken, rekening houdend met het feit dat die al ook geconverteerde muziek bevatten.

Muzieknota-frequenties evenals 555 timercircuit
De methode om het te doen is echt eenvoudig. Elke muzieknotitie heeft een overeenkomstige frequentie. Voor een voorkeursbetekening geeft uw circuitvereiste alleen een spreker in bij de frequentie van die nota. Naast een basismethode om die frequentie te voorzien van een 555-timercircuit in de astabele modus zoals die wordt getoond. In het circuit wordt de uitgangsfrequentie bedacht door condensator C en weerstanden R1 evenals R2. U kunt die afhankelijkheid duidelijk zien door de frequentieformule te bekijken voor de uitvoer van 555 timer.

Weerstanden voor muzieknoten evenals 555 timercircuit
Een normale methode voor het manipuleren van die formule is om een ​​vaste waarde voor R2 te gebruiken, evenals vervolgens om er een andere weerstand aan toe te voegen voor elke gewenste frequentie, zoals weergegeven in het circuit op maat. Laten we nu een variabele weerstand RN plaatsen. In het diagram kunt u zien dat we eerst RN aan de frequentieformule hebben toegevoegd, evenals dat we vervolgens de formule herschikken om in plaats daarvan voor RN te herstellen. Sluit die formule aan in een spreadsheet en je kunt de benodigde weerstandswaarden voor de voorkeursmuzieknotities bedenken.

Hand Cranked 555 Timer Music Player
Een voorbeeld van dit circuit dat wordt gebruikt, is in deze hand aangestoken muziekspeler. De muzieknoten worden gecodeerd als gaten in een lus van papier. De instelling van het gat langs de breedte van de papiercijfers die uitleveren van 13 mogelijke notities wordt gespeeld. De lengte van het gat bedient de tijd die de noot wordt afgespeeld.

555 Timer Music Player Circuit
Het schakelschema voor de muziekspeler toont echter precies hetzelfde 555 timercircuit met RN vervangen door 13 verschillende weerstanden waarvan de waarden werden berekend met behulp van de formule voor RN. Slechts één weerstand wordt echter op elk type tijd door het circuit gebruikt. precies hoe is dat gedaan?

Elk van die 13 weerstanden wordt gesoldeerd aan een van de 13 koperen platen. Zittend bovenop elke koperen plaat is een koperdraad. De papier dia’s tussen de plaat en de draad. Alleen wanneer er een gat in het papier is tussen de kabel en de plaat maken ze elektrisch contact. Dat brengt de overeenkomstige weerstand in het circuit, evenals de 555 uitgangen de juiste frequentie voor de voorkeursmuzikale notitie. In het diagram benadrukken we het elektrische pad als een gat is tussen de kabel van D3 en koperen plaat.

Een extreem snelle introductie om muziek te lezen

Voordat we dit artikel beëindigen, is hier de gegarandeerde zeer weinig introductie tot het lezen van bladmuziek, gewoon voldoende om dit artikel te begrijpen.

Hoe uitcheckte muziek voor piano
Een basismethode om te beginnen is door de geheimen op een piano te bekijken. Elke sleutel vertegenwoordigt een muzieknoot, aangeduid met een brief van A naar G. U kunt altijd C vinden, omdat het de witte cruciale aan de linkerkant van elk type set van twee zwarte sleutels is. Er zijn slechts zeven letters van A tot G, maar zien er echter voorzichtig naar de keyboARD evenals u zult zien dat het zwarte patroon van zowel zwarte als witte geheimen na elke zeven witte toetsen herhaalt.

Op papier, genaamd bladmuziek, hedendaagse muzieknotatie bestaat uit groepen horizontale lijnen genaamd Staven (het enkelvoud is personeel of staaf). Tekenen vertegenwoordigen de aantekeningen, evenals het cirkelvormige deel van het bord, wordt op een lijn of tussen twee regels geplaatst. De verticale instelling van het teken op het personeel vertelt u welke opmerking het is. Welk ondertekenen is het precies vertellen hoe lang de notitie houdt.

Er is veel meer veel meer voor. Nu kun je echter voldoende bladmuziek uitchecken om samen met dit bericht te volgen, evenals op zijn minst de ideale geheimen op een piano. Deze aanbeveling lijkt als een respectabele voor als u dieper wilt graven.

Endnote

We hebben hier een paar keer op Hackaday velmuziek tegengekomen. [Dino] deed exact dezelfde type muzikale note-to-frequentie-conversie die we hadden bedekt, gebruikten de functie van de ARDUINO’s TONE () om ze naar een spreker te spelen voor zijn oudejaarsjaren Tiny Sfeer-afnemende machine. [Zulko] Gebruikte Python en Fourier Transformers om bladmuziek te creëren wanneer hij wilde spelen wat hij ontdekte gecodeerd op een geperforeerde rol papier.

En op die noot (kreun), welke muzikale antics heb je geprobeerd? Heb je te bieden aan bladmuziek in elk type hacks? Deel ze bij ons in de hieronder opmerkingen.