Agostino's audio-surfplank
Agostino's audio-surfplank
Ik ben in deze draad tot zover twee types omzetting van een bitmap naar audio-samples tegen gekomen (want het gaat hier niet om
symbolische afbeeldingen van geluid of muziek, zoals het traditionele muziekschrift of diverse avantgarde-notaties zoals dit voorbeeld van Xenakis):
(1)
De meest bekende, meest voorkomende: bitmap beschouwen als sonogram: het tijd-frequentievlak waarin horizontaal = tijd en verticaal = frequentie (of omgekeerd), waarbij helderheid = volume van een spectraalcomponent op een zeker tijdstip. Dit is de meest voor de hand liggende omzetting die muzikaal ook het meest oplevert, omdat de coherentie van het beeld direct over gaat in een even coherente klankontwikkeling (het spectrum springt niet wild in 't rond, maar volgt de kleurpatronen en geleidelijk verlopende vormen van het beeld). Yoozer e.a. gaven al voorbeelden van dit type omzetting.
(2)
Maar wat Hilltree doet is iets anders. Hij beschouwt het plaatje als een in 2D "opgevouwen" tijdsignaal: horizontaal (of verticaal) = tijd, helderheid = (audio-)uitwijking, de beeldlijnen (of -kolommen) worden "achter elkaar" gelegd, zodat ze één lange lijn vormen; die wordt dan omgerekend tot samples.
Maar het geluid dat we uiteindelijk horen is daarna zeer zwaar geprocessed. Het is voor, zeg, 90% time-stretch (granulair?), voor 9,999% galm en voor 0,001% het eigenlijke signaal. Dat dit een interessant geluid oplevert, moet dus grotendeels liggen aan die typische audio-bewerkingen die zichzelf al lang bewezen hebben, maar nauwelijks aan de voorgestelde transformatie of de bitmap zelf. Hill zegt dat die bitmap te kort duurt, en dat daarom stretch nodig is, maar waarom dan geen groter plaatje genomen?
aantal dimensies en expressiviteit
Als je het goed bekijkt, wordt in beide methodes de 2D-ruimte herleid tot een 1D-ruimte: bij de sonogram-interpretatie is dat een reeks achter elkaar liggende spectra en bij Hill een reeks achter elkaar liggende beeldlijnen.
Door die reductie wordt ook de bestuurbaarheid van de klank gereduceerd, zodat je wel gedwongen bent om het eigenlijke werk over te laten aan post-processing. Maar bij alle vormen van klankopwekking streef je eerder naar een vergroting dan een verkleining van het aantal dimensies. Een synth waar maar twee knopjes op zitten kan over het algemeen minder verschillende geluiden maken dan een synth met 200 knopjes. Vroeger had je electronische orgeltjes waar een galm
veer in zat. Daarmee kreeg je een nogal primitieve, metalig klinkende, "een-dimensionale" galm. Niet verwonderlijk, want de beweging van de galmveer is ook inderdaad maar 1-dimensionaal. Galm
platen daarentegen klinken veel ruimtelijker en realistischer dan veren. Ook weer niet verwonderlijk, want een plaat is 2D. Een
echte zaal klinkt nog weer ruimtelijker, want die is 3D. Moderne digitale reverbs zijn dan ook eveneens 3D. Wat we expressief vinden aan de geluiden om ons heen is, technisch gesproken, de complexiteit van het trillingsgedrag. En die komt in klanksynthese-modellen tot uitdrukking in "veel knopjes".
Vandaar de vraag waar het hier volgens mij om draait: is het ook mogelijk om een afbeelding op een
meerdimensionale manier te gebruiken voor klanksynthese?
Ik heb eerder al melding gemaakt van een artikel dat componist Agostino Di Scipio schreef en demonstreerde t.g.v. de CIM, het elke twee jaar gehouden Italiaanse congres over muziek en informatica (stel je zoiets in Nederland eens voor: elke twee jaar een nationaal, 6 dagen durend congres over computermuziek, 's ochtends en 'smiddags lezingen en 's avonds concerten, waar alle universiteiten, hogescholen, vakopleidingen en synthforumleden aan meedoen!). CIM XII vond plaats in 1998, in het historische castello van Gorizia, strategisch uitkijkend op de heuvels van Slovenië. Ik was ook van de partij en was, zoals velen, prettig verrast door de geluiden die Agostino liet horen.
N.a.v. deze draad heb ik zijn artikel nog eens doorgelezen en in software omgezet. Daarmee zijn onderstaande 2D- en 3D-plaatjes en geluiden (
zonder nabewerkingen!) gemaakt.
Ook Di Scipio gaat uit van een afbeelding. Maar in zijn plaatje stellen lengte en breedte niet tijd of frequentie voor, maar, ...eh, gewoon lengte en breedte! Dus puur
ruimtelijke dimensies. Zijn afbeelding is namelijk een "hoogtekaart" van een wiskundig geformuleerd heuvellandschap, waarvan de hoogte wordt aangegeven door de helderheid van een pixel (tenminste zo zou je het kunnen zeggen, want de "pixelhelderheid" is in zijn model geen waarde in bereik 0 - 255, maar een reëel getal in het bereik [-1, +1]).
In onderstaande figuur zie je links de hoogtekaart ("bitmap") van dat wiskundige landschap; hoe helderder een pixel, des te hoger het punt ligt. Rechts zie je de corresponderende perspectivische projectie ervan (gemaakt met ray tracing, lichtbron in zenith).
Je maakt een tijdsignaal door in dit landschap een bepaald trajekt af te leggen; de hoogte op elk tijdstip levert dan de uitwijking van het audio-signaal. De reden waarom dit zulke expressieve klanken kan opleveren is dat je hier een 2D-domein niet terugbrengt tot een 1D, maar juist opblaast tot 3D, zelfs 4D!
Allereerst het traject zelf dat wordt beschreven door een (
x,y)-afhankelijke functie.
Vervolgens kun je daar nog een functie aan toevoegen die de snelheid op elk tijdstip beschrijft waarmee je dat traject aflegt. Dat zijn dus 3 dimensies, vrijheidsgraden.
Bovendien heeft dat "wiskundige landschap" zelf ook nog een parameter (nl. het aantal iteraties) waardoor je uiteindelijk werkt in een 4D-klankruimte (die laatste dimensie is discreet (kent alleen waarden 1, 2, 3...)),
Dit landschap is zorgvuldig geconstrueerd om er creatief over te kunnen "audio-surfen". Het kan extreem complexe vormen aannemen (aantal iteraties), maar blijft altijd en overal "smooth", en in principe "sinusvormig". De bandbreedte van het uiteindelijke audio-signaal hangt af van snelheid en het aantal plooien in het landschap (iteraties) dat je tijdens een surf tegenkomt.
audio-landschap
Globaal levert een surf van oost naar west laag-frequente "ritmische" patronen (SurfsyntheseRitme.mp3) op; een surf van noord naar zuid hoog-frequente, "timbrale" golfvormen. Herhaal je steeds hetzelfde traject (alsof er een spoorbaan lag), dan krijg je een zuiver periodieke, harmonische klank. Dit traject kan een eenvoudige cirkel of ellips zijn, maar ook elke andere vorm hebben.
Veel boeiender worden geluiden als je zo'n traject geleidelijk steeds een beetje verlegt (alsof de spoorbaan steeds verder wegslipt). Dan ontstaan quasi-periodieke tonen, waarvan ook het timbre mogelijk minutenlang blijft veranderen (SurfsyntheseTimbre.mp3). De klankkleurontwikkeling doet wel enigszins aan FM denken. Niet alleen op het gehoor, maar ook in het sonogram ervan (niet afgebeeld) zijn de van FM bekende "Bessel-lobben" te zien die ook duidelijk maken dat voor dit geluid niet een of ander tijdvariant low pass filter is gebruikt.
In beide voorbeelden is, om het simpel te houden, de surfsnelheid constant gehouden.
Hiermee heb je een "non standard", maar toch flexibele vorm van klankopwekking die je zou kunnen aanduiden met
wave surf synthese. Als je er een beetje mee gaat spelen en er wat beter in thuisraakt lijkt mij dit model redelijk goed aan te sturen, want het levert z'n eigen "GUI": je kunt het traject afbeelden en heel precies bepalen of het wel of niet of nauwelijks over een bepaald plooitje gaat lopen en op welke tijdstippen. Dat je de parameters zo gemakkelijk ruimtelijk kunt voorstellen, komt simpelweg omdat ze nu eenmaal ruimtelijk
zijn!
De grafische weergave van het traject is tevens een
exacte klank-"partituur" die, anders dan bij de symbolische notatiesystemen van avantgarde-componisten zoals Xenakis, geen interpreet (muzikant) nodig heeft, maar precies vertelt hoe de golfvorm geconstrueerd wordt.
. Kort gezegd: je gebruikt een afbeelding voor additieve synthese; x is tijd, y is frequentie, kleur-intensiteit is volume van de harmonische. Werkt prima; het probleem met additief is altijd geweest dat je als je 1024 harmonischen in kunt stellen je ook 1024 harmonischen moet instellen.
