Liebe Leser meines Blogs,
heute habe ich wieder etwas interessantes zu berichten.
Von Pixeln zu Tönen: Via Smartphone Farben und Formen hören – heise online Mein Mann und ich haben so etwas ähnliches 2008 in einer Studie an einer Universität getestet. Da hatten wir zwar noch kein Smartphone zur Verfügung. Man gab uns ein kleinen Rechner, Brille mit Kamera und Kopfhörer in die Hand. Dann gab man uns verschiedene Gegenstände die vorerst auf einen Tisch mit dieser Technik zu erkennen waren. Als wir damit besser umgehen konnten sind wir nach draußen gegangen. Ich habe diese Art und Weise die Umwelt so wahrzunehmen für mich nicht entdecken können. Da die unterschiedlichen Töne mich ziemlich angestrengt haben. Ich denke aber, das diese Art und Weise nun, von der ich Euch heute berichten möchte schon besser ausgereift ist.
Also liest selbst und macht Euch Eure eigenen Gedanken dazu.
Ganz lieben Gruß
Eure
Silja
Hier nun der Bericht:
Sehr geehrte Damen und Herren,
Schon im letzten Jahr wurde dieses neuartige System vorgestellt und anscheinend wird es weiterentwickelt, wie der folgende
Bericht auf Heise-Online zeigt: Ein neues System der Echolokation setzt Bildinformation in hörbare Klanglandschaften um und das nun mit handlicher Technik,einer Kamera am Brillengestell, Stereokopfhörern und einem Smartphone. Selbst Sehende können mit dem System arbeiten. Fledermäuse und Delfine können es – und mit viel Übung auch manche Blinde: aus dem Echo eines Klicklauts ihre Umgebung erkennen. Doch die meisten Menschen hören aus Umgebungsgeräuschen nur ungefähre Hinweise heraus. Das wollen israelische Forscher nun mithilfe von Technik ändern: Sie setzen Kamerabilder in Klanglandschaften um, die übers Ohr nicht nur Distanzen und Formen, sondern auch Farben und Materialien vermitteln können.
EyeMusic-System für Grundformen und Farben
Eine einfache Kamera am Brillengestell liefert die Bilder, die das EyeMusic-System in Klänge umwandelt. So kann der Proband unter den Äpfeln auf dem Teller den roten erkennen. Mit ihrem EyeMusic-System, das im Vorjahr bereits erste Tests bestand, sind selbst Gesichtsausdrücke und Körperhaltungen grob zu erkennen. In Kombination mit Kamera und Kopfhörer ist der Algorithmus sogar auf Smartphones einsetzbar. Schon nach wenigen Stunden Übung konnten blinde Testpersonen verschiedene Grundformen und Farben heraushören.
Dasselbe gelang auch sehenden Probanden mit einer Augenbinde, schreibt das Team im Fachblatt Restorative Neurology and Neuroscience. Was dabei im Gehirn geschieht, enthüllt ihr zweiter aktueller Bericht im Magazin Current Biology : Hirnscans beweisen, dass ein solches “Sehen über das Ohr” tatsächlich die visuellen Areale im Gehirn beschäftigt. Teure und unhandliche Technik abgelöst
“Wir zeigen, dass es möglich ist, die grundlegenden Elemente von Formen per EyeMusic zu kodieren”, erklärt Amir Amedi von der Hebrew University in Jerusalem. “Zudem ist der Erfolg beim Assoziieren von Farbe und musikalischem Timbre sehr vielversprechend.” Diese Kombination könnte künftig helfen, auch komplexere Formen über das Ohr zu identifizieren. Amedi und Kollegen nutzen für ihr System das Prinzip der sensorischen Substitution: Dabei wird ein Sinnesreiz – hier das Sehen – durch einen anderen – etwa Hören oder Fühlen – ersetzt. Entsprechende Geräte, sogenannte SSDs (für sensory substitution devices) sind zwar seit längerem bekannt, waren bisher aber unhandlich, teuer und nur auf die Formen beschränkt. Amedis Team hingegen nutzt eine Kamera am Brillengestell, Stereokopfhörer sowie ein handelsübliches Smartphone. Dieses System kann detaillierte Umgebungsinformationen in “akustische Landschaften” verwandeln. Zunächst kamen die Bilder einer einfachen Schwarzweiß-Kamera mit 60 × 60 Pixeln Auflösung zum Einsatz. Bildpunkte und passende Töne.
Das EyeMusic-System schrumpft die Bildgröße zunächst auf 40×24 Pixel und reduziert die Farbinformation auf sechs Grundfarben oder Schwarzweiß. Die X-Achse des Bildes (links) entspricht der Zeitachse der Tonspur (rechts). Unten: Ebenso wird die Y-Achse des Bildes auf die Tonhöhe übertragen: Pixel oben im Bild klingen in höherer Frequenz als solche unten im Bild. Diese Bildpunkte setzt der EyeMusic-Algorithmus in passende Töne um, berichtet Kollegin Ella Striem-Amit: “Denken Sie an eine diagonale Linie von links oben nach rechts unten: Wenn wir eine absteigende Tonleiter nutzen, erhält man eine gute Vorstellung davon.” Je höher der Punkt im Bild, desto höher der zugehörige Ton – während das Timing der Töne den horizontalen Abstand wiedergibt.
Punkte links sind früher zu hören als solche rechts. Liefert eine Kamera hingegen Farben, so steckt diese Information im Typ der Musikinstrumente, die zum Einsatz kommen: Trompetenklang bedeutet blau, Violinen gelb, Holzblasinstrumente grün, Klavier rot und Gesang weiß. Schwarz ist durch Stille repräsentiert. Klanglandschaften interpretieren. Solche Klanglandschaften konnten die Versuchspersonen in Amedis “Center for Human Perception and Cognition” bereits nach zwei bis drei Stunden Übung gut interpretieren. Das galt nicht nur für blinde und sehbehinderte Probanden, denen ein besonders scharfes Gehör nachgesagt wird, sondern auch für Sehende. Diese Kontrollgruppe bekam lediglich die Augen verbunden. Überraschenderweise lernte sie die Klanglandschaften aus dem Kamerasystem aber ähnlich schnell zu interpretieren. Die SSDs funktionieren also unabhängig von der Art der Sehstörung und sind nicht-invasiv, also ohne aufwändige Operation zu nutzen. Auch deshalb scheinen sie derzeit die bessere Lösung im Vergleich zu technischen Netzhaut-Implantaten, an denen Forschergruppen weltweit arbeiten.
Verarbeitung in der “Seh-”, nicht der “Hörrinde”
Was beim “Bilderhören” im Gehirn vor sich geht, betrachtete die zweite Studie der Jerusalemer Forscher: Die Scans funktioneller Magnetresonanztomographen zeigten, dass die akustischen Signale des EyeMusic-Systems nicht in der sogenannten Hörrinde des Gehirns, sondern tatsächlich in der Sehrinde verarbeitet werden. Die Unterschiede von Körperformen zu Texturen, Objekten und Gesichtern zeigten sich nicht im Temporallappen (für das Hören) oder dem Somatosensorischen Cortex (für das Fühlen), sondern nur im visuellen Cortex – speziell in jenem Areal namens EBA, das für die Wahrnehmung von Körpern verantwortlich ist. Diese Hirnregion wurde nach ausführlichem Training selbst bei Menschen aktiv, die von Geburt an blind waren und so kaum Erfahrung mir Körperformen hatten.
Das beweist, so Amedi, dass das Gehirn nicht starr eintreffende Sinneseindrücke verarbeitet, sondern flexibler sei als bisher gedacht: “Es legt nahe, dass Hirnareale zum Verarbeiten visueller Information auch bei Blinden ‘geweckt’ werden können, wenn man passende Technologien und Trainingsansätze nutzt.”
Quelle:
http://www.heise.de/newsticker/meldung/Von-Pixeln-zu-Toenen-Via-Smartphone-Farben-und-Formen-hoeren-2140336.html
Ihr BBSB-Inform
BBSB-Inform wird Ihnen, wann immer Sie das wollen, am Telefon vorgelesen.
Wählen Sie: 0871 7000 14000. Es gilt das für den benutzten Anschluss vereinbarte Verbindungsentgelt ohne Aufschlag.