De Schrödinger Key : Kijken met je oren

donderdag 4 augustus 2011

Kijken met je oren

vOICe

De letters ‘OIC’ zijn niet zonder reden met een hoofdletter geschreven, spreek ze maar eens uit in het Engels: ‘Oh, I see!’

Een oude techniek in een nieuw jasje. Peter Meijer (toen onderzoeker bij Philips Research) ontwikkelde begin jaren ’90 een techniek genaamd The vOICe, een beeld-naar-geluid-systeem. De laatste jaren krijgt het steeds meer aandacht. Dat komt omdat de technologie van tegenwoordig de toepassing een stuk makkelijker maken. Maar eerst even terug naar het oorspronkelijke idee.

Van beeld naar geluid

De techniek is bedacht als hulpmiddel voor blinden. In plaats van zijzelf, kijkt een camera naar de omgeving en die vertaalt het beeld naar een geluidssignaal. Daarvoor maakt het systeem elke seconde een foto (in grijswaarden) en loopt die langs van links naar rechts. Per beeldlijn (een enkele kolom van pixels) wordt een geluidje gemaakt. Elke pixel doet hierin mee: de verticale positie bepaalt de toonhoogte en de helderheid bepaalt de geluidssterkte. Voor een foto van twaalf beeldlijnen breed en acht beeldlijnen hoog, maakt het systeem dus twaalf geluidjes die elk bestaan uit acht klanken. Die twaalf geluidjes worden achter elkaar afgespeeld, precies in die ene seconde voordat een nieuwe foto wordt gemaakt.

Het vertalingsprincipe: elke pixel van elke beeldlijn wordt vertaald naar een geluidssignaal. Samen vormen die een geluid dat deze foto representeert. Afbeelding: © Meijer, 1992

Je zou misschien zeggen dat dit een raar geluid oplevert, maar dat valt mee. Als je bijvoorbeeld in de tuin loopt en een stoel ziet staan, dan staat de stoel laag in beeld. De pixels van de stoel op de foto geven dus een laag geluid af. Zo’n lage klank associeer je automatisch met ‘laag in beeld’. Kijk maar naar onderstaande filmpje:

Toch is het geluid van een beeld uit de omgeving meestal wel complex; er is tenslotte veel te zien. Op den duur herken je wel bepaalde elementen, net als bij een taal. Voor het gebruik van The vOICe zal een blinde die ‘beeldgeluidtaal’ onder de knie moeten krijgen door zichzelf trainen in het herkennen van geluidspatronen.

In de hersenen

Synethesie

Zintuigvervanging is een soort synethesie op commando. Mensen met synethesie koppelen een waarneming van het ene zintuig aan een niet-bestaande waarneming van een ander zintuig. Je ziet bijvoorbeeld een kleur als je een geluid hoort. Bij zintuigvervanging zou zoiets ook moeten gebeuren: je hoort een geluid en ziet daarbij een bepaald beeld.

Studies laten zien dat het systeem redelijk werkt, maar het hoe en waarom begrijpen onderzoekers nog niet helemaal. Michael Proulx, een neurowetenschapper van Queen Mary, University of London, gaat het systeem deze week presenteren tijdens de American Psychological Association Convention in Washington. Hij verdiept zich in de neurologische kant van het verhaal: kijken doen we namelijk niet zozeer met onze ogen, als wel met onze hersenen.

Proulx onderzoekt hoe we informatie die we normaal gesproken binnenkrijgen via onze ogen, binnen kunnen krijgen via een ander zintuig. Dit heet sensory substitution (zintuigvervanging). In dit geval gaat het erom dat iemand zonder het zintuig ‘gezichtsvermogen’ de ontbrekende informatie ontvangt via het zintuig ‘gehoor’.

Hoewel The vOICe redelijk lijkt te slagen in zintuigvervanging, geeft Proulx aan dat er nog de nodige uitdagingen liggen. Bijvoorbeeld bij het aspect ‘aandacht’. Als we kijken, krijgen we veel meer informatie binnen dan we kunnen verwerken. Daar zijn we op ingesteld: we maken een selectie en richten daar onze aandacht op. Datzelfde gebeurt bij horen, maar de selectieprocedure verschilt. Dat betekent dat het geluid van een beeld iets anders oplevert in ons hoofd dan het oorspronkelijke beeld. Bij het echte beeld zouden we onze aandacht bijvoorbeeld richten op de naderende auto, maar bij het geluid van dat beeld letten we vooral op de strepen van de zebra. Dat kan een cruciaal verschil zijn.

Met een headset

Tijdens zijn demonstratie zal Proulx gebruiken van een camerabril, een (zonne)bril waar een minuscule camera is ingebouwd. Dat apparaat is een belangrijke reden dat The vOICe nu weer in de belangstelling staat. Vijftien jaar geleden bestonden die nog niet, of ze waren in ieder geval niet zo handzaam. Nu dat wel het geval is, wordt het voor consumenten gemakkelijker The vOICe te gebruiken.

In de bril is een camera verwerkt die je vrijwel niet ziet. De beelden worden doorgegeven aan een laptop, die je in een rugzak bij je kunt dragen. Twee ‘oortjes’ (luidsprekertjes) zorgen voor het geluid. Afbeelding: © The vOICe

Maar ook met een mooie bril blijven de geluiden complex en er zijn nog geen trainingsprogramma’s die blinden hierbij helpen. De software is echter wel gratis, dus met het nodige doe-het-zelf-werk kun je het systeem aan de praat krijgen. Daarbij blijkt ‘beeldluisteren’ in de praktijk vrij snel aan te leren als de situatie niet al te ingewikkeld is. Het oppakken van een voorwerp van tafel, waarbij het contrast (verschil in helderheid) groot is, is bijvoorbeeld goed te doen.