Парализирана жена проговори отново, след като мозъчните й сигнали бяха прихванати и превърнати в говорещ аватар, пълен с изражения на лицето и звукови проби от истинския глас на жената, всичко това за първи път в света.
48-годишната Ан претърпя инсулт на мозъчния ствол, когато беше на 30, оставяйки я парализирана.
След това учени от Калифорнийския университет имплантираха тънък като хартия правоъгълник от 253 електрода върху повърхността на мозъка й, покривайки зоната, критична за речта. След това те използваха изкуствен интелект, за да създадат интерфейса мозък-компютър (BCI).
Те прихващат „говорещи“ мозъчни сигнали и се подават в група от компютри чрез кабел, включен в порт, фиксиран към главата й.
Компютрите могат да декодират сигналите в текст със скорост от 80 думи в минута, докато аудиозапис на гласа й от сватбения й ден години преди удара възпроизвежда гласа й и след това го предава на аватар на екрана, който го използва с лицеви изрази.
Екипът от Калифорнийския университет в Сан Франциско казва, че това е първият път, когато речта или изражението на лицето са били синтезирани от мозъчни сигнали.
„Нашата цел е да възстановим пълноценен, въплътен начин на общуване, който наистина е най-естественият начин за нас да говорим с другите“, каза д-р Едуард Чанг, председател на неврологичната хирургия в UCSF. „Тези постижения ни доближават много повече до превръщането на това в истинско решение за пациентите.“
Седмици наред Ан работи с екипа, за да обучи алгоритмите за изкуствен интелект на системата да разпознават нейните уникални мозъчни сигнали за реч.
Това включва повтаряне на различни фрази от разговорен речник от 1024 думи отново и отново, докато компютърът разпознае моделите на мозъчна активност, свързани със звуците.
Вместо да обучат AI да разпознава цели думи, изследователите създадоха система, която декодира думи от фонеми. „Здравей“ например съдържа четири фонеми: „HH“, „AH“, „L“ и „OW“.
Използвайки този подход, компютърът трябваше да научи само 39 фонеми, за да дешифрира всяка дума на английски. Това едновременно подобри точността на системата и я направи три пъти по-бърза.
„Точността, скоростта и речникът са от решаващо значение“, каза Шон Мецгър, който разработи текстовия декодер в съвместната програма за биоинженерство в UC Berkeley и UCSF. „Това е, което дава на потребителя потенциала след време да комуникира почти толкова бързо, колкото ние, и да води много по-натуралистични и нормални разговори.“
С помощта на персонализиран процес на машинно обучение, който позволи на софтуера на компанията да се свърже със сигналите, изпращани от нейния мозък, компютърният аватар успя да имитира движенията на Ан, карайки челюстта да се отваря и затваря, устните да излизат напред и да се свиват, а езикът да се повдига и надолу, както и движенията на лицето за щастие, тъга и изненада.
Екипът сега работи върху безжична версия, която ще означава, че потребителят не трябва да бъде свързан към компютрите.
Настоящото проучване, публикувано в списание Nature, допълва предишни изследвания на екипа на д-р Чанг, в които те декодират мозъчни сигнали в текст при човек, който също е имал инсулт на мозъчния ствол много години по-рано.
Но сега те могат да декодират сигналите в богатството на речта, заедно с движенията, които оживяват лицето на човек по време на разговор.
