В возрасте 30 лет Энн перенесла инсульт ствола головного мозга, в результате которого она потеряла контроль над всеми мышцами своего тела и не могла даже дышать. Потребовались годы физиотерапии, прежде чем она смогла восстановить контроль над лицевыми мышцами в пределах, достаточных для того, чтобы смеяться или плакать. Однако восстановить контроль над мышцами, которые позволили бы ей говорить, так и не удалось. Спустя 18 лет новая разработка ученых позволила Энн вернуть речь.
Ученые из Университета Калифронии (Сан-Франциско) разработали интерфейс мозг-компьютер, способный преобразовывать импульсы от головного мозга в разговорную речь. Результаты представлены в журнале Nature.
На поверхность мозга женщины в область сенсомоторной коры головного моза был имплантирован датчик, состоящий из 253 электродов. Датчик воспринимал сигналы мозга, направленные к мимическим и речевым мышцам. С помощью кабеля данный датчик был соединен с компьютером.
В течение нескольких недель участница вместе с командой ученых обучала алгоритмы искусственного интеллекта системы распознавать ее уникальные речевые импульсы головного мозга. Для этого нужно было повторять различные фразы из разговорного словаря, состоящего из 1024 слов, до тех пор, пока компьютер не распознает паттерны мозговой активности, связанные с данными звуками.
Вместо того чтобы обучать искусственный интеллект распознавать целые слова, исследователи создали алгоритм, декодирующий слова из фонем. Фонемы – это единицы языка, которые образуют устные слова так же, как буквы образуют письменные слова. Например, английское слово "Hello" состоит из четырех фонем: "HH", "AH", "L" и "OW". При таком подходе для расшифровки любого слова на английском языке компьютеру необходимо выучить всего 39 фонем. Это позволило повысить точность работы системы и увеличить ее скорость. Используя записи голоса пациентки до инсульта, ученым удалось воссоздать ее голос с применением разработанного алгоритма синтеза речи.
Исследователи создали специализированные методы машинного обучения, которые позволили программному обеспечению компании преобразовать сигналы от головного мозга в движения на лице цифрового аватара, заставляя челюсть открываться и закрываться, губы выпячиваться и сжиматься, язык подниматься и опускаться, а также воссоздавать движения лица, выражающие счастье, грусть и удивление.
Таким образом, ученым впервые удалось синтезировать речи и мимику на основе сигналов мозга. Данная система позволяет декодировать сигналы от мозга в текст со скоростью почти 80 слов в минуту, что значительно превосходит доступные на данный момент технологии, позволяющие развить скорость не более 14 слов в минуту.
Материал подготовлен в рамках проекта «Медицина в точке бифуркации». Проект поддержан грантом Минобрнауки России в рамках федерального проекта «Популяризация науки и технологий»