Schlagwort-Archiv: EyeMusic

Wenn Blinde mit den Ohren sehen – neuartiges Gerät wandelt Bilder in Geräusche um

Liebe Bloggemeinde,

ne super Sache finde ich!

Blinde sehen zu lassen – das ist das Ziel vieler Wissenschaftler. Einer von ihnen hat nun ein Gerät entwickelt, das Bilder in Geräusche umwandelt.
Jerusalem; – Mit einem neuen Gerät können Blinde Farben wahrnehmen und unterscheiden. Eine kleine, auf eine Brille aufgesetzte Kamera filmt dabei ein Objekt und übersetzt seine Eigenschaften in Töne oder Musik. Blinde können so etwa zwischen grünen und roten Äpfeln unterscheiden. Die Technik kann aber auch helfen, Gesichtsausdrücke wie ein Lächeln wahrzunehmen, wie der Neurowissenschaftler Amir Amedi von der Hebräischen Universität in Jerusalem (Israel) erklärt, der das Systementwickelt hat.
Das Projekt EyeMusic wird durch das EU-Forschungsprogramm «Horizon 2020» gefördert. Die Forschungsabteilung der EU-Vertretung in Israel hat es als «großartig» gelobt. «Es ist ähnlich wie Delfine und Fledermäuse mithilfe von Geräuschen «sehen»», sagt Amedi. «Nach einem Training können blinde Personen Buchstaben erkennen, Tierbilder «sehen» und Objekte wie Schuhe finden.» Die Information werde durch das Gehör aufgenommen, bei der Verarbeitung würden aber auch Bereiche des Gehirns aktiviert, die für die visuelle Wahrnehmung zuständig sind – selbst wenn die Person von Geburt an blind ist. Es gibt bereits eine App, mit der man die Sprache von EyeMusic lernen kann. «Ziel Nummer eins ist es, Blinden mehr Unabhängigkeit zu ermöglichen», sagt Amedi. 2014 war vereinbart worden, dass Israel als erstes Land außerhalb von Europa an «Horizon 2020» teilnehmen kann. Das Förderprogramm sieht für die Jahre 2014 bis 2020 Ausgaben in Höhe von fast 80 Milliarden Euro für Forschung vor. Projekte von Amir Amedi werden bisher mit insgesamt 1,5 Millionen Euro unterstützt.

Von Pixeln zu Tönen

Liebe Leser meines Blogs,

heute habe ich wieder etwas interessantes zu berichten.
Von Pixeln zu Tönen: Via Smartphone Farben und Formen hören – heise online Mein Mann und ich haben so etwas ähnliches 2008 in einer Studie an einer Universität getestet. Da hatten wir zwar noch kein Smartphone zur Verfügung. Man gab uns ein kleinen Rechner, Brille mit Kamera und Kopfhörer in die Hand. Dann gab man uns verschiedene Gegenstände die vorerst auf einen Tisch mit dieser Technik zu erkennen waren. Als wir damit besser umgehen konnten sind wir nach draußen gegangen. Ich habe diese Art und Weise die Umwelt so wahrzunehmen für mich nicht entdecken können. Da die unterschiedlichen Töne mich ziemlich angestrengt haben. Ich denke aber, das diese Art und Weise nun, von der ich Euch heute berichten möchte schon besser ausgereift ist.
Also liest selbst und macht Euch Eure eigenen Gedanken dazu.
Ganz lieben Gruß
 Eure
   Silja

Hier nun der Bericht:
Sehr geehrte Damen und Herren,
Schon im letzten Jahr wurde dieses neuartige System vorgestellt und anscheinend wird es weiterentwickelt, wie der folgende
Bericht auf Heise-Online zeigt: Ein neues System der Echolokation setzt Bildinformation in hörbare Klanglandschaften um und das nun mit handlicher Technik,einer Kamera am Brillengestell, Stereokopfhörern und einem Smartphone. Selbst Sehende können mit dem System arbeiten. Fledermäuse und Delfine können es – und mit viel Übung auch manche Blinde: aus dem Echo eines Klicklauts ihre Umgebung erkennen. Doch die meisten Menschen hören aus Umgebungsgeräuschen nur ungefähre Hinweise heraus. Das wollen israelische Forscher nun mithilfe von Technik ändern: Sie setzen Kamerabilder in Klanglandschaften um, die übers Ohr nicht nur Distanzen und Formen, sondern auch Farben und Materialien vermitteln können.
EyeMusic-System für Grundformen und Farben
Eine einfache Kamera am Brillengestell liefert die Bilder, die das EyeMusic-System in Klänge umwandelt. So kann der Proband unter den Äpfeln auf dem Teller den roten erkennen. Mit ihrem EyeMusic-System, das im Vorjahr bereits erste Tests bestand, sind selbst Gesichtsausdrücke und Körperhaltungen grob zu erkennen. In Kombination mit Kamera und Kopfhörer ist der Algorithmus sogar auf Smartphones einsetzbar. Schon nach wenigen Stunden Übung konnten blinde Testpersonen verschiedene Grundformen und Farben heraushören.
Dasselbe gelang auch sehenden Probanden mit einer Augenbinde, schreibt das Team im Fachblatt Restorative Neurology and Neuroscience. Was dabei im Gehirn geschieht, enthüllt ihr zweiter aktueller Bericht im Magazin Current Biology : Hirnscans beweisen, dass ein solches “Sehen über das Ohr” tatsächlich die visuellen Areale im Gehirn beschäftigt. Teure und unhandliche Technik abgelöst
“Wir zeigen, dass es möglich ist, die grundlegenden Elemente von Formen per EyeMusic zu kodieren”, erklärt Amir Amedi von der Hebrew University in Jerusalem. “Zudem ist der Erfolg beim Assoziieren von Farbe und musikalischem Timbre sehr vielversprechend.” Diese Kombination könnte künftig helfen, auch komplexere Formen über das Ohr zu identifizieren. Amedi und Kollegen nutzen für ihr System das Prinzip der sensorischen Substitution: Dabei wird ein Sinnesreiz – hier das Sehen – durch einen anderen – etwa Hören oder Fühlen – ersetzt. Entsprechende Geräte, sogenannte SSDs (für sensory substitution devices) sind zwar seit längerem bekannt, waren bisher aber unhandlich, teuer und nur auf die Formen beschränkt. Amedis Team hingegen nutzt eine Kamera am Brillengestell, Stereokopfhörer sowie ein handelsübliches Smartphone. Dieses System kann detaillierte Umgebungsinformationen in “akustische Landschaften” verwandeln. Zunächst kamen die Bilder einer einfachen Schwarzweiß-Kamera mit 60 × 60 Pixeln Auflösung zum Einsatz. Bildpunkte und passende Töne.
Das EyeMusic-System schrumpft die Bildgröße zunächst auf 40×24 Pixel und reduziert die Farbinformation auf sechs Grundfarben oder Schwarzweiß. Die X-Achse des Bildes (links) entspricht der Zeitachse der Tonspur (rechts). Unten: Ebenso wird die Y-Achse des Bildes auf die Tonhöhe übertragen: Pixel oben im Bild klingen in höherer Frequenz als solche unten im Bild. Diese Bildpunkte setzt der EyeMusic-Algorithmus in passende Töne um, berichtet Kollegin Ella Striem-Amit: “Denken Sie an eine diagonale Linie von links oben nach rechts unten: Wenn wir eine absteigende Tonleiter nutzen, erhält man eine gute Vorstellung davon.” Je höher der Punkt im Bild, desto höher der zugehörige Ton – während das Timing der Töne den horizontalen Abstand wiedergibt.
Punkte links sind früher zu hören als solche rechts. Liefert eine Kamera hingegen Farben, so steckt diese Information im Typ der Musikinstrumente, die zum Einsatz kommen: Trompetenklang bedeutet blau, Violinen gelb, Holzblasinstrumente grün, Klavier rot und Gesang weiß. Schwarz ist durch Stille repräsentiert. Klanglandschaften interpretieren. Solche Klanglandschaften konnten die Versuchspersonen in Amedis “Center for Human Perception and Cognition” bereits nach zwei bis drei Stunden Übung gut interpretieren. Das galt nicht nur für blinde und sehbehinderte Probanden, denen ein besonders scharfes Gehör nachgesagt wird, sondern auch für Sehende. Diese Kontrollgruppe bekam lediglich die Augen verbunden. Überraschenderweise lernte sie die Klanglandschaften aus dem Kamerasystem aber ähnlich schnell zu interpretieren. Die SSDs funktionieren also unabhängig von der Art der Sehstörung und sind nicht-invasiv, also ohne aufwändige Operation zu nutzen. Auch deshalb scheinen sie derzeit die bessere Lösung im Vergleich zu technischen Netzhaut-Implantaten, an denen Forschergruppen weltweit arbeiten.
Verarbeitung in der “Seh-”, nicht der “Hörrinde”
Was beim “Bilderhören” im Gehirn vor sich geht, betrachtete die zweite Studie der Jerusalemer Forscher: Die Scans funktioneller Magnetresonanztomographen zeigten, dass die akustischen Signale des EyeMusic-Systems nicht in der sogenannten Hörrinde des Gehirns, sondern tatsächlich in der Sehrinde verarbeitet werden. Die Unterschiede von Körperformen zu Texturen, Objekten und Gesichtern zeigten sich nicht im Temporallappen (für das Hören) oder dem Somatosensorischen Cortex (für das Fühlen), sondern nur im visuellen Cortex – speziell in jenem Areal namens EBA, das für die Wahrnehmung von Körpern verantwortlich ist. Diese Hirnregion wurde nach ausführlichem Training selbst bei Menschen aktiv, die von Geburt an blind waren und so kaum Erfahrung mir Körperformen hatten.
Das beweist, so Amedi, dass das Gehirn nicht starr eintreffende Sinneseindrücke verarbeitet, sondern flexibler sei als bisher gedacht: “Es legt nahe, dass Hirnareale zum Verarbeiten visueller Information auch bei Blinden ‘geweckt’ werden können, wenn man passende Technologien und Trainingsansätze nutzt.”

Quelle:

http://www.heise.de/newsticker/meldung/Von-Pixeln-zu-Toenen-Via-Smartphone-Farben-und-Formen-hoeren-2140336.html

Ihr BBSB-Inform

BBSB-Inform wird Ihnen, wann immer Sie das wollen, am Telefon vorgelesen.
Wählen Sie: 0871 7000 14000. Es gilt das für den benutzten Anschluss vereinbarte Verbindungsentgelt ohne Aufschlag.