Video door audio filter ?

Iceman344

Stamgast
Lid sinds
12 september 2009
Berichten
111
Ik vraag me eigenlijk al een hele tijd iets af , wat zou er gebeuren als je ene videosignaal door een audio filter stuurt , zoals de kaoss pad ?
 
Hoe bedoel je? Met welke aansluitingen wil je dat doen? Heeft de kaoss pad video in?
 
Volgens mij wordt het zwaar distorted rotzooi. Video is niet - zoals audio - een continu signaal. Het is opgesplitst in frames die weer zijn opgesplitst in beeldlijnen die zijn weer opgesplitst in beeldpunten. En die zijn ook weer opgesplitst, afhankelijk van het video formaat.

Met digitale effect-apparatuur zoals het Kaosspad hoef je het sowieso niet te proberen; de "informatie" in een videosignaal is aanwezig op een veel hogere frequentie dan je kunt horen en dat komt dus ook niet door de AD/DA-convertors van digitale apparatuur heen. Met analoge apparatuur kun je denk ik wel flikkerende beelden maken alsof je "net naast het zender zit".

Iets anders om het mee te vergelijken is FM-synthese; een video-signaal is in feite ook FM, maar dan erg complex en in de megahertz-band. Als je in FM de ratio van de carrier tot de modulator veranderd, heb je al vrij snel iets wat nog het meeste op ruis lijkt. Het luistert allemaal enorm nauw. Tel daarbij op dat in video de fase vaak heel veel invloed heeft op de kleuren, en ik zou niet verwachten dat het resultaat ook maar in de buurt komt van iets wat de moeite waard is8)
 
wel met de aansluiting zou ik gewoon krokodilleklemmen gebruiken , en wss zou het idd niets opleveren wat de moeite waard
 
Volgens mij wordt het zwaar distorted rotzooi. Video is niet - zoals audio - een continu signaal. Het is opgesplitst in frames die weer zijn opgesplitst in beeldlijnen die zijn weer opgesplitst in beeldpunten. En die zijn ook weer opgesplitst, afhankelijk van het video formaat.

Met digitale effect-apparatuur zoals het Kaosspad hoef je het sowieso niet te proberen; de "informatie" in een videosignaal is aanwezig op een veel hogere frequentie dan je kunt horen en dat komt dus ook niet door de AD/DA-convertors van digitale apparatuur heen. Met analoge apparatuur kun je denk ik wel flikkerende beelden maken alsof je "net naast het zender zit".

Iets anders om het mee te vergelijken is FM-synthese; een video-signaal is in feite ook FM, maar dan erg complex en in de megahertz-band. Als je in FM de ratio van de carrier tot de modulator veranderd, heb je al vrij snel iets wat nog het meeste op ruis lijkt. Het luistert allemaal enorm nauw. Tel daarbij op dat in video de fase vaak heel veel invloed heeft op de kleuren, en ik zou niet verwachten dat het resultaat ook maar in de buurt komt van iets wat de moeite waard is8)


Vakkundig verhaal!
 
Volkomen offtopic trouwens, maar ik moest toevallig denken aan deze video-effect-software: http://effectv.sourceforge.net/

Daar zit een effect in waarbij alles wat beweegt in brand vliegt. Niets zo leuk als een webcam op de bank richten, beeld op tv, met zijn allen op de bank gaan zitten, een jointje roken (optioneel:)) en dan zo lang mogelijk stilzitten met zijn allen. JE NEUS STAAT IN BRAND!! YOU LOOSE:halleluja:peukie::baco:

Linux-only helaas. Nouja, helaas voor de windows- en mac-mannen dan8~

Misschien ook weer niet helemaal offtopic; er staan wat screenshots van effectjes op die site; als je die bekijkt, ga je al vrij snel begrijpen waarom het geen zin heeft om video door audio-apparatuur te halen. Iets met 1-dimensionaal (audio) vs 2-dimensionaal (video).
 
Korg heeft een kaoss pad voor video: de kaptivator :)
 
Iets met 1-dimensionaal (audio) vs 2-dimensionaal (video).

En dan ga je eens kijken naar hoe een video-signaal analoog wordt doorgestuurd. Dat electronenkanon knalt van links naar rechts, en schiet dan weer terug naar het begin. Zo een heel aantal beeldijnen lang, en dan weer terug naar boven. Hm, da's een hele lange sliert aan kleurtjes - je zou zeggen, bijna 1-dimensionaal ;).

http://homepages.inf.ed.ac.uk/rbf/HIPR2/freqfilt.htm laat zien dat je voor afbeeldingen ook high- en lowpass-filters hebt; alleen werken die inderdaad niet door een videorecorder in een Kaoss Pad te pluggen.
 
vette site yoozer en best logish dat je ze voor beeld ook heb maar denk dat je wel met wat shiekers aan moet komen als een chaospad maar goed jekan het altijd proberen
 
ik ben wel een klein bezorgt dat hij mss schade zou oplopen
 
Mja, mooi zal 't niet altijd worden, denk ik..

Hier is een WMV-formaat filmpje van 5 à 6 minuten in audacity gepropt [zie bijlage], maar er blijft maar een noisy audio stukje over van een seconde of 17..

Als je 't verder gaat bewerken KAN je nog wel eens geinige dingen/soundscapes krijgen. :)
 
En dan ga je eens kijken naar hoe een video-signaal analoog wordt doorgestuurd. Dat electronenkanon knalt van links naar rechts, en schiet dan weer terug naar het begin. Zo een heel aantal beeldijnen lang, en dan weer terug naar boven. Hm, da's een hele lange sliert aan kleurtjes - je zou zeggen, bijna 1-dimensionaal ;).

http://homepages.inf.ed.ac.uk/rbf/HIPR2/freqfilt.htm laat zien dat je voor afbeeldingen ook high- en lowpass-filters hebt; alleen werken die inderdaad niet door een videorecorder in een Kaoss Pad te pluggen.


Een video-signaal geeft een twee-dimensionaal BEELD-signaal weer in de vorm van een 1-dimensionaal TIJD-signaal. Dit puur om transmissie-redenen.
Digitale signaalverwerkingstechnieken, zoals filters, bestaan ook voor 2D. Het effect ervan is bijvoorbeeld contourscherpteverandering. Het principe van 2D-filters is identiek met dat van audio, maar de implementatie bij 2D is ingewikkelder.
Audio: de uitwijking is een 1-dimensionale functie: bij een filterproces kijk je naar "naburige" samples.
Beeld: de lichtwaarde van een pixel is een functie van twee variabelen (x, y); het filterproces betrekt in de berekening niet alleen horizontale, maar ook verticale "buur"-pixels.

Conclusie:
afgezien van de niet-compatibele formattering van audio en video is het niet mogelijk om een beeld te filteren met een 1D (audio) filter.
 
Een video-signaal geeft een twee-dimensionaal BEELD-signaal weer in de vorm van een 1-dimensionaal TIJD-signaal. Dit puur om transmissie-redenen.
Digitale signaalverwerkingstechnieken, zoals filters, bestaan ook voor 2D. Het effect ervan is bijvoorbeeld contourscherpteverandering. Het principe van 2D-filters is identiek met dat van audio, maar de implementatie bij 2D is ingewikkelder.
Audio: de uitwijking is een 1-dimensionale functie: bij een filterproces kijk je naar "naburige" samples.
Beeld: de lichtwaarde van een pixel is een functie van twee variabelen (x, y); het filterproces betrekt in de berekening niet alleen horizontale, maar ook verticale "buur"-pixels.

Conclusie:
afgezien van de niet-compatibele formattering van audio en video is het niet mogelijk om een beeld te filteren met een 1D (audio) filter.

Nou dat valt allemaal wel mee hoor...

intra frame filters zijn in theorie niet vergelijkbaar met audio filters omdat de pixels op hetzelfde moment is opgenomen (bij film). Bij audio vertegenwoordigd elke sample een positie van de conus van een speaker.
Ausio bestaat dus alleen bij de gratie van het verschil van samples onderling. Video niet. de pixel op coordinaat 10,10 heeft geen h0l te maken met die op 11,10...
inter frame filters zoals time-median en optical flow zijn hier het vergelijkbare algoritme met audio. dat is de verandering van dezelfde pixel over tijd.

ook is de kleur/helderheid totaal onafhankelijk van x,y zoals je zegt. dit is alleen het geval bij UV- en normalmaps

Video hoeft ook geen serieel signaal te zijn. denk aan s-video of component video. zelfs digitaal kan je prima parallel signalen transporteren.
Beeldschermen hebben tegenwoordig zo'n hoge frequentie dat lang niet al het beeld braaf van links boven naar rechts onder wordt geschreven. photoshop bijvoorbeeld werkt met 'tiles'.
 
Nou dat valt allemaal wel mee hoor...

intra frame filters zijn in theorie niet vergelijkbaar met audio filters omdat de pixels op hetzelfde moment is opgenomen (bij film). Bij audio vertegenwoordigd elke sample een positie van de conus van een speaker.
Ausio bestaat dus alleen bij de gratie van het verschil van samples onderling. Video niet. de pixel op coordinaat 10,10 heeft geen h0l te maken met die op 11,10...
inter frame filters zoals time-median en optical flow zijn hier het vergelijkbare algoritme met audio. dat is de verandering van dezelfde pixel over tijd.

ook is de kleur/helderheid totaal onafhankelijk van x,y zoals je zegt. dit is alleen het geval bij UV- en normalmaps

Video hoeft ook geen serieel signaal te zijn. denk aan s-video of component video. zelfs digitaal kan je prima parallel signalen transporteren.
Beeldschermen hebben tegenwoordig zo'n hoge frequentie dat lang niet al het beeld braaf van links boven naar rechts onder wordt geschreven. photoshop bijvoorbeeld werkt met 'tiles'.

Nou, Barno, ik denk dat het niet meevalt!
Iceman344 vraagt wat er zou gebeuren als je een videosignaal door een audio filter stuurt. Die vraag lijkt misschien een beetje vreemd, maar is ergens ook heel logisch. Zijn redenering zou heel goed kunnen luiden: als een audio-filter een klankveranderend effect heeft, en als je bedenkt dat zowel audio als video "signalen" zijn, welke werking zal een filter dan hebben op beeld ? Welk soort verandering(en) zie je aan een beeld nadat je het door een filter hebt gehaald? Tenminste dat is wat Iceman volgens mij, zeker door zijn verwijzing naar kaoss pad, wilt weten en dat is een plausibele vraag.

Ik heb daarop geantwoord dat er inderdaad een visuele interpretatie bestaat van filters, nl. dat je er de contourscherpte mee kunt vergroten of verkleinen. Die visuele filterwerking is exact hetzelfde als het laag- of hoogdoorlatend effect bij audio! Ook de berekening ervan verloopt volkomen analoog, nl. via een differentievergelijking. Het enige verschil is dat een plaatje twee dimensies heeft en dat bij beeldbewerking daarom sprake is van een tweedimensionale differentievergelijking (bijv. Laplace operator die benaderd wordt met finite differences. Zie bijv. Gonzales: Digital Image Processing. sec. ed. Hoofdstuk 3). Daarom is het in principe niet mogelijk om een plaatje te filteren met een audio-filter, dat immers slechts 1 dimensie kent en een beeld slechts in 1 richting (horizontaal of verticaal) zou kunnen bewerken.

Daarom heeft Iceman's vraag helemaal niets te maken met compressie-technieken waar jij aan refereert door die intra- en inter- frame filters, net zo min als de vraag iets van doen heeft het gebruik van compressie-filters bij audio - die net zo goed bestaan.

O ja, nog een detail. Ik heb gezegd:
"de lichtwaarde van een pixel is een functie van twee variabelen (x, y); het filterproces betrekt in de berekening niet alleen horizontale, maar ook verticale buur-pixels."
Hierin is functie-zijn-van natuurlijk hetzelfde als: afhankelijk-zijn-van.
Nu beweer jij: "ook is de kleur/helderheid totaal onafhankelijk van x,y, zoals je zegt."
Ik hoor graag waar die kleur/helderheid volgens jou dan wel van afhankelijk is.:?
 
Nou, Barno, ik denk dat het niet meevalt!
Iceman344 vraagt wat er zou gebeuren als je een videosignaal door een audio filter stuurt. Die vraag lijkt misschien een beetje vreemd, maar is ergens ook heel logisch. Zijn redenering zou heel goed kunnen luiden: als een audio-filter een klankveranderend effect heeft, en als je bedenkt dat zowel audio als video "signalen" zijn, welke werking zal een filter dan hebben op beeld ? Welk soort verandering(en) zie je aan een beeld nadat je het door een filter hebt gehaald? Tenminste dat is wat Iceman volgens mij, zeker door zijn verwijzing naar kaoss pad, wilt weten en dat is een plausibele vraag.

je krijgt een grote tering herrie als je een video signaal door een audio filter stuurt, wat zmooc al zegt. Voor elke sample die de audio chip neemt komen er zo'n 4433 binnen (in PAL)...
ALs je dat weer zichtbaar zou willen maken zou je een zwart beeld zien want er is niks meer over.


Ik heb daarop geantwoord dat er inderdaad een visuele interpretatie bestaat van filters, nl. dat je er de contourscherpte mee kunt vergroten of verkleinen. Die visuele filterwerking is exact hetzelfde als het laag- of hoogdoorlatend effect bij audio! Ook de berekening ervan verloopt volkomen analoog, nl. via een differentievergelijking. Het enige verschil is dat een plaatje twee dimensies heeft en dat bij beeldbewerking daarom sprake is van een tweedimensionale differentievergelijking (bijv. Laplace operator die benaderd wordt met finite differences. Zie bijv. Gonzales: Digital Image Processing. sec. ed. Hoofdstuk 3). Daarom is het in principe niet mogelijk om een plaatje te filteren met een audio-filter, dat immers slechts 1 dimensie kent en een beeld slechts in 1 richting (horizontaal of verticaal) zou kunnen bewerken.

blurren is gewoon een gemiddelde nemen van de kleur van omringende pixels. heeft niks met differentie vergelijkingen te maken. het verschil tussen de twee pixels doet er niet toe als je ze bij elkaar optelt en dan deelt door 2.
Het punt is dat bij video alle waardes op precies hetzelfde moment opgenomen worden (bij video in theorie). bij audio bestaat zoiets niet. je kan niet alle frequenties die er op een sample moment zijn in een sample vangen. je kan bij live streaming nooit audio parallel versturen, video wel.

Als je de beeld sample frequentie zou verlagen naar die van audio, kan je het wel door een audio filter halen maar dat heeft niks meer met de vraag te maken.



Daarom heeft Iceman's vraag helemaal niets te maken met compressie-technieken waar jij aan refereert door die intra- en inter- frame filters, net zo min als de vraag iets van doen heeft het gebruik van compressie-filters bij audio - die net zo goed bestaan.

ehm compressie?


O ja, nog een detail. Ik heb gezegd:
"de lichtwaarde van een pixel is een functie van twee variabelen (x, y); het filterproces betrekt in de berekening niet alleen horizontale, maar ook verticale buur-pixels."
Hierin is functie-zijn-van natuurlijk hetzelfde als: afhankelijk-zijn-van.
Nu beweer jij: "ook is de kleur/helderheid totaal onafhankelijk van x,y, zoals je zegt."
Ik hoor graag waar die kleur/helderheid volgens jou dan wel van afhankelijk is.:?

met lichtwaarde neem ik aan dat je de kluer/helderheid bedoelt. wat heeft dat met de positie te maken? rb of yuv staan compleet los van de positie in het beeld. naburige pixels verhouden zich relatief tot de 'huidige' pixel voor filters, net absoluut.
kleur en helderheid zijn afhankelijk van wat de CCD of CMOS opneemt...
 

mooi man die prehistorische technieken!
'k Heb 3 jaar geleden een lezing van Ed Kramer bijgewoond over zijn cariere.
Onder meer over hoe hij met magneten het beeld op een beeldbuis liet bewegen. Gingen ze vervolgens die magneet vervangen door een electromagneet om het te kunnen controleren en animaties maken.
En toen kwam de Scanimate...

Pioneren is mooi ;)
 
Back
Top