Interfejs mózg-komputer może tłumaczyć myśli na mowę

Neuroinżynierowie stworzyli nowy system, który może przekształcić proste myśli w rozpoznawalną mowę, wykorzystując sztuczną inteligencję i syntezator mowy, według badań opublikowanych we wtorek.

Zespół nowojorskich naukowców był w stanie zrekonstruować słowa, wykorzystując jedynie aktywność mózgu, innowację, która może utorować drogę technologiom kontrolowanym przez mózg, np. Smartfonowi, który może przekształcić twoje myśli w wiadomości tekstowe.

Dr Nima Mesgarani, profesor nadzwyczajny na Uniwersytecie Columbia, prowadziła badania i mówi Odwrotność że widzi wielki potencjał, aby pomóc przywrócić mowę osobom wychodzącym z udaru lub żyjącym ze stwardnieniem zanikowym bocznym (ALS). W dalszej części tego rodzaju technologii można również otworzyć drzwi do smartfonów połączonych z mózgiem, które pozwolą użytkownikom na korzystanie z ich umysłów, choć to jeszcze daleko. Jego prace zostały opublikowane w czasopiśmie Raporty naukowe.

„Jednym z motywów tej pracy… są alternatywne metody interakcji człowiek-komputer, takie jak możliwy interfejs między użytkownikiem a smartfonem” - mówi. „Jednak wciąż jest to dalekie od rzeczywistości, a obecnie informacje, które można wyodrębnić za pomocą nieinwazyjnych metod, nie są wystarczająco dobre dla aplikacji interfejsu mózg-mózg”.

Posłuchaj mowy wygenerowanej przez interfejs mózg-komputer.

Aby opracować nową technikę, Mesgarani i jego kolega, dr Ashesh Dinesh Mehta z Instytutu Neurobiologii Lekarza Zdrowia Northwell Health, rozpoczęli od zbadania aktywności mózgu pacjentów z padaczką w celu ich badania. Pacjenci ci mieli już wszczepione elektrody do mózgu, aby monitorować napady, które Mesgarani i Mehta mogli wykorzystać do zebrania danych do swoich badań.

Duet poprosił chętnych uczestników, aby wysłuchali mówców recytujących liczby od zera do dziewięciu, a następnie zarejestrowali sygnały mózgowe z tej interakcji. Następnie wyszkolili sieć neuronową - program imitujący strukturę neuronów w ludzkim mózgu - w celu rozpoznawania wzorców w sygnałach i przekształcania ich w słowa brzmiące za pomocą syntezatora mowy, zwanego wokoderem.

W rezultacie powstał krótki klip głosowy, który brzmi jak Microsoft Sam, licząc od zera do dziewięciu. Imponującą częścią jest to, jak wyraźnie mowa jest porównywana z innymi metodami testowanymi przez naukowców. Wciąż jednak pozostaje wiele do zrobienia.

„Może upłynąć dziesięć lat, zanim ta technologia stanie się dostępna”, mówi Mesgarani. „Potrzebujemy większych postępów zarówno w zakresie długoterminowych, kompatybilnych biologicznie wszczepialnych elektrod i / lub przełomowych technologii w nieinwazyjnych metodach zapisu neuronowego. Potrzebujemy także lepszego zrozumienia, w jaki sposób mózg reprezentuje mowę, abyśmy mogli udoskonalić nasze metody dekodowania. ”

Pacjenci, którzy byli częścią tego badania, na przykład, wszyscy mieli operację mózgu w celu implantacji monitorów elektrokortykografii. Jest to niezwykle inwazyjny proces, który wymaga otwartej operacji mózgu, coś, czego większość ludzi może nie chcieć poddać, nawet jeśli istnieje możliwość przywrócenia niektórych możliwości mowy.

Na razie badanie to wprowadziło metodę dekodowania sygnałów mózgowych na mowę. Jeśli dowiemy się, jak dokładnie wykryć aktywność mózgu bez operacji, będziemy o krok bliżej nie tylko zrewolucjonizowania terapii mowy, ale potencjalnie wprowadzenia smartfonów połączonych z mózgiem.

Badania interfejsu mózg-komputer zyskały nowe zainteresowanie w ciągu ostatnich kilku lat. W kwietniu 2017 r. Facebook ogłosił, że pracuje nad BCI podczas dorocznej konferencji F8. A Elon Musk ogłosił w listopadzie 2018 roku, że Neuralink, jego własny startup BCI, zatrudniał.

Abstrakcyjny

Rekonstrukcja bodźca słuchowego jest techniką, która znajduje najlepsze przybliżenie bodźca akustycznego z populacji wywołanej aktywności neuronalnej. Rekonstrukcja mowy z ludzkiej kory słuchowej stwarza możliwość neuroprotezy mowy w celu ustanowienia bezpośredniej komunikacji z mózgiem i okazała się możliwa zarówno w jawnych, jak i ukrytych warunkach. Jednak niska jakość odtworzonej mowy poważnie ograniczyła użyteczność tej metody w aplikacjach interfejsu mózg-komputer (BCI). Aby rozwinąć najnowsze osiągnięcia w neuroprotezie mowy, połączyliśmy najnowsze postępy w głębokim uczeniu się z najnowszymi innowacjami w technologiach syntezy mowy, aby zrekonstruować zrozumiałą mowę zamkniętą z ludzkiej kory słuchowej. Zbadaliśmy zależność dokładności rekonstrukcji od metod regresji liniowej i nieliniowej (głębokiej sieci neuronowej) oraz reprezentacji akustycznej, która jest wykorzystywana jako cel rekonstrukcji, w tym parametry spektrogramu słuchowego i syntezy mowy. Ponadto porównaliśmy dokładność rekonstrukcji z niskich i wysokich zakresów częstotliwości neuronowych. Nasze wyniki pokazują, że model głębokiej sieci neuronowej, który bezpośrednio szacuje parametry syntezatora mowy ze wszystkich częstotliwości neuronalnych, osiąga najwyższe subiektywne i obiektywne wyniki w zadaniu rozpoznawania cyfr, poprawiając zrozumiałość o 65% w stosunku do metody bazowej, w której zastosowano regresję liniową do zrekonstruować spektrogram słuchowy. Wyniki te pokazują skuteczność algorytmów głębokiego uczenia się i syntezy mowy do projektowania następnej generacji systemów mowy BCI, które nie tylko mogą przywrócić komunikację dla sparaliżowanych pacjentów, ale także mogą przekształcić technologie interakcji człowiek-komputer.

Powiązane wideo: Roboty do wykrywania fal mózgowych mogą służyć jako przedłużenia ludzkiego ciała