Digital Scenario Kit / Adaptieve compositie

[Oogst]

Ah, leuk, een artikel over iemand die ermee bezig is. Nou is Mike Oldfield niet bepaalde mijn Held, maar hij heeft natuurlijk wel de middellen om dingen goed aan te pakken. Helaas wordt er erg weinig vertelt over wat ze precies doen. Het lijkt er niet op dat wat ze doen erg bijzonder is, in elk geval. Maar de details van het systeem worden niet duidelijk, dus het is moeilijk beoordelen. Wat snippets uit die tekst die me opvielen:

First of all, we had to have a 3D graphics engine, which you can't really buy — you can buy games development software, but that can cost hundreds of thousands of pounds.

Het artikel is uit 2002 en dat is te merken. Ondertussen zijn er stapels open source 3d-engines te downloaden van internet, waarvan sommigen van zeer hoge kwaliteit. Een groot deel van wat Oldfield toen met veel werk deed, kan een programmeur nu dus zomaar downloaden en toepassen. En dat is voor mij.

For the game, the music has to be in small loopable bits, for example.

Dit lijkt behoorlijk sterk op wat de topicstarter heeft gedaan.

 

[hansbakker]

jongens, allereerst: heel leuk dat de discussie op gang is gekomen!

Omdat het filmpje dat gemaakt wordt in vijf delen wordt opgedeeld, en omdat de lengte van iedere scene vaststaat, was loopable muziek een erg goeie oplossing. Als alle scene's een variabele lengte zouden hebben dan hadden we het waarschijnlijk zo gedaan:

Componeren zonder ritme, ofwel vrij ritme, zodat je op ieder moment kan switchen naar een andere stukje muziek. Die wordt dan gecrossfade...

Iedere scene krijgt een cijfer mee die de hoeveelheid spanning aangeeft, de gebruiker voert dit getal in. Op die manier kan je waarschijnlijk ook hele leuke resultaten krijgen, maar heeft ook zo zn beperkingen, vooral mbt ritme/timing.

 

[Jaguar_e]

Ik zei niet dat ik de muziek uit alle games wou halen, maar er mag ook wel eens stilte zijn.

Om even over te springen op de film industrie. Er is zelden een stilte(alleen omgevings geluiden) te bekennen in films.
Er zit meestal wel een soort van opvul mziek onder en/of stemmen. Daarmee is er altijd geluid in de zin van muziek en.of stemmen dit maakt de luister als het waren moe, er zit in de meeste films altijd een heleboel en hard geluid in. Dit kan de film dus ook tegen werken.

Ik denk dat als je een game zou maken waarin er dus meer cpu kracht zou zijn voor geluid. Je veel sneller een sfeer kan creeren dan dan je puur op visuel gebied kan maken. Er wordt ook wel eens gezegt dat het geluid de film maakt. Want die eerste jaws film was nooit zo groot geworden zonder tha du tha du. Bijna iedereen die jaws heeft gezien herinert zich dat deuntje. En niet het speciefike beeld.

Dus zou je kunnen zeggen dat het geluid eigenlijk belangrijker is voor een film aan het beeld. Tuurlijk is een goede/sterke verhaallijn ook onmisbaar.
Of bijna dat je wel naar muziek kunt luisteren en een boek lezen(verhaallijn) maar niet naar een film kan kijken zonder geluid. Vroeger wel maar tegenwoordig niet.

Maar terug komend op stilte. Het is waar dat niet elke game realisme na bootst, maar het creeren van een eigen wereld maakt niet dat in die wereld contiu muziek is. Dat is iets volkomen vreemds voor onze oren. Daarom valt het na lange eentonige game muziek meestal op hoe weinig omgevings geluiden de game produceerd en hoe relatief saai het dan wordt.Dan zie je weer

Een game die dit idee van omgevings geluiden wel snapt was Half-life 1 er zat nauwelijks muziek in de game. Hierdoor werd de game een stuk intenser dan als er muziek onder zat. Ook half-life 2 maakt gebruik van die effect van "stilte", het maakt de boel een stuk intenser. Dit zie je ook in films de pijnlijk stilte maakt meer indruk dan een lompe actie scene.

 

[Oogst]

Ah, ok, ik had je verkeerd begrepen, hier ben ik het wel mee eens. Inderdaad hoeft er niet altijd muziek te zijn. Echter, helemaal geen muziek is denk ik zelden de goede keus. Een mix van wel of niet muziek is denk ik waar je naar moet streven, waarbij je de mix af laat hangen van het type game en de situaties. Maar er zijn ook games waarin dit echt helemaal verkeerd gaat: Prince of Persia: The Sands of Time heeft alleen tijdens gevechten muziek. Maar ik was tweederde van de tijd bezig met het bespringen van platformen en tijdens die tijd was het irritant lang stil. Stilte kan werken, maar kan heel vaak ook helemaal niet werken. De balans is dan belangrijk.

Wat betreft omgevingsgeluid ben ik het helemaal met je eens. Subtiele geluidjes in de verte zijn extreem zeldzaam en zouden zoveel meer toe kunnen voegen, om maar iets te noemen.

 

[fuse]

Nu ben ik ook behoorlijke gamesfan en ook ik maak me wel eens schuldig om gamesmuziek te componeren.
Maar wat Hans hier probeert te doen is nog helemaal niet zo makkelijk.
Om die 4 stukken te maken is een benadering, maar denk dat als je nog veel meer in wilt spelen op de situatie dat je de muziek in nog meer onderdelen moet knippen en daar kun je dan wel makkelijker het op de omgeving aanpassen. Je verwisseld diverse onderdelen voor andere die beter bij de situatie passen. En daar zit ook een nadeel aan dat je wel heel snel kant en klare muziek krijgt met een hoog loopjes gehalte omdat alles herhaalbaar moet zijn en makkelijker in te passen is als het op maat gebeurd.
En wellicht is het juist dan heel slim om er random elementen in te gooien die niet zo getimed zijn om maten maar meer mee helpen de muziek aan te vullen zodat hij beter gaat passen in het geheel.
Ik heb soms wel eens dat ik een CD beluister in de auto en de omgeving van de straat past er dan heel goed bij. Een auto die je inhaalt op de maat van de muziek en dat soort maffe dingen.

Neem nou bijv GTA, daarbij je als je in een auto stapt je een radiozender krijgt die past bij de persoon die in die auto reed. En kun je zelf je eigen smaak zender opzoeken. Da's gewoon lache en maakt het leuker.

Omgevingsgeluid hoort nou eenmaal bij een game en maakt het stukken realistischer. Alleen die technieken staan nu nog in de kinderschoenen. En denk wel dat met dat soort werk en pioniering je best nog wel een boterham zou kunnen verdienen.

 

[hansbakker]

Origineel geplaatst door fuse
En denk wel dat met dat soort werk en pioniering je best nog wel een boterham zou kunnen verdienen.

Dat absoluut, de game-industrie is ondertussen veel groter dan de film industrie.
Maar nog even voor de duidelijkheid, DSK is geen Game he

 

[Cheimoon]

Origineel geplaatst door hansbakker
Dat absoluut, de game-industrie is ondertussen veel groter dan de film industrie.
Maar nog even voor de duidelijkheid, DSK is geen Game he

Dat klopt... Maar de game-industry is een groeimarkt die zelfs nu al enorm is én het idee van reagerende muziek (of omgekeerd!) is veel meer van toepassing op games dan op films. De uiteindelijke versie van films is statisch, dus de muziek dan ook, wat een statisch eindproduct oplevert en daarmee de interactiviteit beëindigt. De meeste spellen zijn geen twee keer exact hetzelfde, waardoor de muziek telkens anders moet reageren op het spel. En dát maakt het hele onderwerp vooral interessant. In ieder geval, wat mij betreft dan.

Dit doet me nog iets gaafs bedenken trouwens: wat als de film ook niet statisch is! Net zoals je een stapel tracks kunt maken met verschillende eigenschappen die willekeurig in elkaar kunnen overgaan of op elkaar kunnen volgen, afhankelijk van de ontwikkeling in de film, zo kun je ook een serie filmfragmenten maken! Als je daarbij ook per fragment bepaalde eigenschappen toewijst, op dezelfde manier als bij de muziekfragmenten, dan kun je de computer random films laten creëren met bijpassende muziek! Velen zullen het resultaat hiervan zien als oninteressante serieproductie zonder idee of richting, maar het resultaat is niet het enige dat telt: als gedachte-experiment klinkt het erg gaaf en de uitvoering lijkt me ook interessant (misschien eerder 'interessant' dan 'leuk'), al is het maar om te zien wat de computer voor onverwachte dingen genereert. En dan kan het nóg aparter worden als de eigenschappen wat ambiguër worden: laat woede een beetje samengaan met verdriet, dan kan een woedend filmfragment vergezeld gaan van droevige of melancholische muziek, om tezamen een uiterste dramatische/destructieve/fatalistische sfeer te creëren (mocht de computer toevallig die combinatie maken). Natuurlijk horen er nog wat richtlijnen voor scripting bij voor de generator (dat het geen al te willekeurige brij wordt), maar als idee is het wel leuk.

Leuk trouwens, is m'n bruurke eindelijk converted to the dark side...

 

[hansbakker]

Origineel geplaatst door Cheimoon
Dat klopt... Maar de game-industry is een groeimarkt die zelfs nu al enorm is én het idee van reagerende muziek (of omgekeerd!) is veel meer van toepassing op games dan op films. De uiteindelijke versie van films is statisch, dus de muziek dan ook, wat een statisch eindproduct oplevert en daarmee de interactiviteit beëindigt.

Leuk trouwens, is m'n bruurke eindelijk converted to the dark side...

Hehe, hij is pas ingeburgerd als ie een track post he

Maar euh....het voordeel van de filmcomponist is natuurlijk niet alleen meer vrijheid maar ook in de toekomst kunnen kijken en daar met de muziek naartoe werken, het beter gebruiken van thema's...

het zou natuurlijk een pure revolutie zijn als je een stuk muziek maakt en een programma maakt daar delen van en convert het naar adaptief materiaal..maarja..

 

[Cheimoon]

Origineel geplaatst door hansbakker
Hehe, hij is pas ingeburgerd als ie een track post he

Een cellist? Volgens mij is dat per definitie off-topic...

(ik heb behalve banddemo's ook nog nooit een track gepost trouwens; wat zegt dat over mij? )

Maar euh....het voordeel van de filmcomponist is natuurlijk niet alleen meer vrijheid maar ook in de toekomst kunnen kijken en daar met de muziek naartoe werken, het beter gebruiken van thema's...

Maar als de film al compleet vast ligt, dan lijkt het mij niet verstandig dit soort muziek te gebruiken. Ligt de film vast, dan kun je de ultieme interactieve muziek maken, namelijk door gewoon uniek bij de desbetreffende film van seconde tot seconde een soundtrack te maken. Dat is altijd het beste eindresultaat.

Of mis ik nu juist één van de kernpunten dan DSK?

 

[hansbakker]

Origineel geplaatst door Cheimoon
Maar als de film al compleet vast ligt, dan lijkt het mij niet verstandig dit soort muziek te gebruiken. Ligt de film vast, dan kun je de ultieme interactieve muziek maken, namelijk door gewoon uniek bij de desbetreffende film van seconde tot seconde een soundtrack te maken. Dat is altijd het beste eindresultaat.

Of mis ik nu juist één van de kernpunten dan DSK?

nee hoor, ik had het überhaupt over compositie, niet specifiek een bepaalde manier van componeren...

 

[Oogst]

Origineel geplaatst door hansbakker
Dat absoluut, de game-industrie is ondertussen veel groter dan de film industrie.
...

Dit is een veelgehoord misverstand: het is zeker (nog) niet waar. De omzet van games is groter dan de omzet van de bioscoop, maar niet van heel de filmindustrie.

Origineel geplaatst door hansbakker
Hehe, hij is pas ingeburgerd als ie een track post he
...

Ik denk niet dat iemand hier zit te wachten op cello-muziek.

 

[Oogst]

Ik heb vandaag de presentatie van het project van de topicstarter gezien op de projectenmarkt en ik moet zeggen: puik werk. Zeer strak gedaan allemaal.

Nu deze topic toch verworden is tot een discussie over interactieve muziek en games en van alles, zou ik graag eens willen horen wat jullie denken wat de goede en slechte dingen zijn van de techniek die ik zelf in gedachte heb voor interactieve muziek. Cheimoon legde hem al uit, ik zal hem nog eens in mijn eigen woorden uitleggen:

Muziek voor een game wordt gecomponeerd in één lange track (minstens twintig minuten, liefst veel langer). Binnen deze track zijn er meerdere sporen, waarbij er in elk spoor verschillende stukken muziek draaien, die allemaal onderling te combineren zijn. Nu is er bijvoorbeeld een spoor met relaxte drums en een spoor met heftige drums en een spoor met het basisritme. Door deze verschillende te combineren (volume aan of uit), krijg je verschillende feelings aan de muziek. Op het moment dat de game relaxed is (je bent een basis aan het opbouwen), zijn het basisritme en de relaxte drums te horen. Op het moment dat de actie begint (de strijd barst los), wordt snel (binnen een maat misschien, misschien sneller of langzamer) het relaxte drums-spoor uitgefade en het heftige drums-spoor ingefade. Een crossfade dus. Echter, ondertussen speelt het basisritme gewoon door, dus er is niet echt een gat. De muziek verandert van aard, maar blijft wel continue doorgaan.

Het idee is nu dat, door een behoorlijk aantal van zulke sporen te maken die op allerlei manieren te combineren zijn (niet elke combinatie hoeft te kunnen, maar er mag geen overgang zijn waarbij alles dat aanstond uitfade: er moet altijd iets doorgaan), je game-muziek kunt maken die zich volledig soepel en razendsnel aanpast aan elke situatie.

In hoeverre denken jullie dat dit haalbaar is? Zowel technisch als compositorisch? Welke voor- en nadelen heb je ermee? Welke problemen ga je er zeker mee tegenkomen en hoe zijn die op te lossen?

Ik ben overigens C++-programmeur, dus de problemen die Flash geeft, zijn geen probleem voor mij voor zover ze aan Flash lagen. Hardwarebeperkingen zijn natuurlijk wel een probleem. Ik wil dit daadwerkelijke gaan bouwen, dus wat serieuze meningen erover zijn denk ik wel echt belangrijk.

Overigens is dit niet bruikbaar voor wat de topicstarter bouwde, omdat hier de episode-opbouw niet in mogelijk is op de manier zoals zijn project dat vereiste.

 

[Cheimoon]

Origineel geplaatst door Oogst
Ik heb vandaag de presentatie van het project van de topicstarter gezien op de projectenmarkt en ik moet zeggen: puik werk. Zeer strak gedaan allemaal.

Misschien dat jij of Hans er wat meer over kunt zeggen?

In hoeverre denken jullie dat dit haalbaar is? Zowel technisch als compositorisch? Welke voor- en nadelen heb je ermee? Welke problemen ga je er zeker mee tegenkomen en hoe zijn die op te lossen?

Compositorisch lijkt me er wel en niet een probleem:
- niet: je hebt geen last van eenvormigheid. Die track van 20 minuten kan alle kanten op qua akkoorden en klankkleur, en als je instelt welke sporen wel en welke absoluut niet samen te horen mogen zijn kun je zelfs crossfaden naar een heel anders klinkend stuk (qua klankkleur dan dus, niet qua akkoorden);
- wel: inbouwbare overgangen zijn allemaal leuk en aardig, maar als de setting van de game verandert terwijl er net zo'n overgang bezig is (en die duren gewoonlijk toch wel langer dan twee maten), dan moet je binnen een overgangsstuk crossfaden van bijvoorbeeld rustig naar hectisch. Dat lijkt me wel een probleem.

Technisch zit je met rekenkracht. Ik weet niet precies wat waarvandaan moet komen wat dat betreft, maar als je, stel, 20 sporen tegelijk hebt lopen, dan moet dat ergens berekend worden, ook al zijn de meeste gemute. Als dat via een geluidskaart moet, dan ga je bij de overgrote meerderheid van de gamers met moederbordgeluidskaartjes vsatlopen. Puur via processorkracht kan waarschijnlijk wel, maar vreet aan de uitvoering van de rest van de game, hoewel me dat met de huidige superbakken toch wel overkomelijk lijkt.

 

[Oogst]

Origineel geplaatst door Cheimoon
Misschien dat jij of Hans er wat meer over kunt zeggen?

Wat ik ervan begreep is dat het als volgt werkt:
-de gebruiker gaat een filmpje maken;
-er zijn vijf hoofdstukken waaruit het filmpje gaat bestaan;
-voor elk hoofdstuk kiest de gebruiker uit 4 moods er 1 voor dat stuk;
-de gebruiker kan vervolgens binnen een hoofdstuk zoveel loops maken als hij wil om zijn verhaal te passen;
-om de loops meer afwisseling te geven, zijn er van elke loop 5 varianten, wat dus betekent dat er vijf hoofdstukken met ieder 4 moods met ieder 5 varianten zijn;
-de gebruiker kiest welke variant hij wil horen per loop;
-de varianten zijn gemaakt door sporen in de originele files van de componisten aan en uit te zetten en gaan van rustig naar druk;
-het is gerist op 14-/15-jarige HAVO-scholieren.

Ik persoonlijk vond de verschillen binnen de varianten zeer beperkt en moeilijk hoorbaar (ok, het waren prutboxen, maar ook op prutboxen zijn serieuze verschillen te horen normaal). Voor de rest was ik flink onder de indruk van het gemaakte, zeer cool!

Compositorisch lijkt me er wel en niet een probleem:
...
- wel: inbouwbare overgangen zijn allemaal leuk en aardig, maar als de setting van de game verandert terwijl er net zo'n overgang bezig is (en die duren gewoonlijk toch wel langer dan twee maten), dan moet je binnen een overgangsstuk crossfaden van bijvoorbeeld rustig naar hectisch. Dat lijkt me wel een probleem.

Maar is het niet zo dat alle sporen van het stuk tegelijk bezig zijn aan een overgang? Is dat nog een probleem om tijdens de overgang te veranderen?

Technisch zit je met rekenkracht. Ik weet niet precies wat waarvandaan moet komen wat dat betreft, maar als je, stel, 20 sporen tegelijk hebt lopen, dan moet dat ergens berekend worden, ook al zijn de meeste gemute. Als dat via een geluidskaart moet, dan ga je bij de overgrote meerderheid van de gamers met moederbordgeluidskaartjes vsatlopen. Puur via processorkracht kan waarschijnlijk wel, maar vreet aan de uitvoering van de rest van de game, hoewel me dat met de huidige superbakken toch wel overkomelijk lijkt.

Technisch geldt (denk ik) dat je allen rekenkracht verbruikt voor de draaiende sporen. Hoeveel draaiende sporen je tegelijk kunt hebben (met name in overgangen zijn er toch al snel 10 nodig), dat weet ik niet. Iemand hier ervaring mee?

 

[Cheimoon]

Origineel geplaatst door Oogst
Maar is het niet zo dat alle sporen van het stuk tegelijk bezig zijn aan een overgang? Is dat nog een probleem om tijdens de overgang te veranderen?

Hoe gaan overgangen normaal? Dan heb je gee normaal doorlopende muziek. Dan is er een break, wegvallende dingen voor opkomende dingen, tussenstukken op zoek naar een nieuwe akkoordenreeks, enz. In zo'n stuk kan er natuurlijk wel geswitched worden, maar ik denk dat een heftig stuk dan minder aanslaat. Maar je zou het moeten proberen natuurlijk: het heftige stuk gaat uiteindelijk door dezelfde overgang heen als de rest.

Technisch geldt (denk ik) dat je allen rekenkracht verbruikt voor de draaiende sporen. Hoeveel draaiende sporen je tegelijk kunt hebben (met name in overgangen zijn er toch al snel 10 nodig), dat weet ik niet. Iemand hier ervaring mee?

Dat lijkt me niet: alle waves zullen mee moeten lopen, denk ik. Hoe krijg je de timing anders perfect kloppend? De vraag is vooral waar die rekenkracht vandaan zal moeten komen (kunnen waves door de processor verwerkt worden?), lijkt mij.

 

[EnTrancer]

Ik heb de discussie niet helemaal gevolgd (het is voor mij allemaal abracadabra ) , maar dit soort muziek doet mij sterk denken aan de demoscene. Schitterend!

http://www.theprodukkt.com/demoscene.html en http://www.scene.org/

Erg gaaf wat die lui allemaal voorelkaar krijgen op muzikaal en op grafisch gebied.

 

[hansbakker]

Origineel geplaatst door Oogst
Wat ik ervan begreep is dat het als volgt werkt:
-de gebruiker gaat een filmpje maken;
-er zijn vijf hoofdstukken waaruit het filmpje gaat bestaan;
-voor elk hoofdstuk kiest de gebruiker uit 4 moods er 1 voor dat stuk;
-de gebruiker kan vervolgens binnen een hoofdstuk zoveel loops maken als hij wil om zijn verhaal te passen;
-om de loops meer afwisseling te geven, zijn er van elke loop 5 varianten, wat dus betekent dat er vijf hoofdstukken met ieder 4 moods met ieder 5 varianten zijn;
-de gebruiker kiest welke variant hij wil horen per loop;
-de varianten zijn gemaakt door sporen in de originele files van de componisten aan en uit te zetten en gaan van rustig naar druk;
-het is gerist op 14-/15-jarige HAVO-scholieren.

yep, daar komt het op neer.

Wat betreft je concept: ga het gewoon proberen! genoeg mensen die het willen proberen, ook van het derdejaar muziektechnologie. Ze kunnen dit soort projecten ook vaak als project indienen, dus ga anders even daar kijken of er belangstelling is. Dat kan je doen door een mailtje te sturen naar An Jansen, an.jansen@kmt.hku.nl

Belangrijk is dat je de componisten ook de ruimte geeft om input te geven en het concept verder uit te werken.

 

[Mexes]

Allereerst: ik vind het errug knap wat hier gebeurd, ik kan het niet(nog niet), theoretisch ben ik er echt helemaal niet in thuis, dus hiervoor

De stukken vind ik goed overlopen.
Ik vind sommige stukken passen bij een computerspel.
Een soort oorlog voeren ofzo.. aanvallen, overwinning en rust en een nieuw begin.

Tof project. respect voor deze muzikanten.

Ben benieuwd wat voor fimpje erbij komt
Zet je het hier dan ook neer??

 

[hansbakker]

Origineel geplaatst door Mexes
Allereerst: ik vind het errug knap wat hier gebeurd, ik kan het niet(nog niet), theoretisch ben ik er echt helemaal niet in thuis, dus hiervoor

De stukken vind ik goed overlopen.
Ik vind sommige stukken passen bij een computerspel.
Een soort oorlog voeren ofzo.. aanvallen, overwinning en rust en een nieuw begin.

Tof project. respect voor deze muzikanten.

Ben benieuwd wat voor fimpje erbij komt
Zet je het hier dan ook neer??

Het leuke is dat er heel veel filmpjes bij gemaakt kunnen worden...qua muziek kunnen er geloof ik iets van 46000 variaties worden gemaakt ik zal es kijken of ik aan een filmpje kan komen...

 

[Oogst]

Origineel geplaatst door Cheimoon
...
Dat lijkt me niet: alle waves zullen mee moeten lopen, denk ik. Hoe krijg je de timing anders perfect kloppend? De vraag is vooral waar die rekenkracht vandaan zal moeten komen (kunnen waves door de processor verwerkt worden?), lijkt mij. [/B]

Timing perfect kloppend krijgen is niet zo'n heel erg groot probleem, want ik neem aan dat je een beetje muzieklibrary kunt vragen om op een bepaald tijdstip in de muziek te beginnen. Qua hardware: geluidskaarten kunnen wel rauwe muziek decoderen, maar niet bijvoorbeeld MP3. Echter, ook dat is enorm goedkoop. Speel voor de lol eens een MP3 af in WinAMP en kijk wat Windows daarvan vindt. Windows rondt het CPU-gebruik door WinAMP af naar 0% op mijn AMD 2500. Dan is 10 sporen zelfs in het slechtste geval nog maximaal 10% CPU-gebruik. En dat zijn dus de actieve sporen.