Ученые взломали тишину: парализованные заговорили через аватар

Тяжелый инсульт делит жизнь на «до» и «после» в доли секунды. Человек оказывается как будто замурован внутри собственного тела, теряя способность произнести хоть звук или хотя бы пошевелить рукой или пожать плечами. Долгие годы медицина лишь разводила руками, но калифорнийские нейрохирурги, похоже, нашли способ пробить эту глухую стену.

Команда американских медиков под руководством Эдварда Чана из Калифорнийского университета в Сан-Франциско создала технологию, которая еще недавно выглядела как чистая научная фантастика. Они вживили крошечный мозговой имплантат прямо над сенсомоторной корой парализованных добровольцев — областью, которая отвечает за движения тела и артикуляцию речи. Устройство считывает тончайшие импульсы нервной системы, связанные с попытками говорить, менять выражение лица или двигать конечностями, и передает их сложной нейросети.

Искусственный интеллект превращает эту мозговую какофонию в осмысленную картину: на экране появляется цифровой аватар пациента в полный рост. Этот аватар не ограничивается строкой текста внизу монитора — он синхронно повторяет мимику человека, движения рта, кивает головой, пожимает плечами и отыгрывает заданные жесты. Система научилась распознавать даже моменты покоя, поэтому виртуальный двойник не дергается в судорожных движениях, когда пациент молчит и не пытается жестом ответить.

Во время сеансов мозговая активность пациентов передавалась в две модели — речевую и жестовую, обученные на архитектуре сверточной рекуррентной нейронной сети. На нижнем сегменте интерфейса отображался предсказанный вербальный контент в виде текста, а аватар одновременно демонстрировал соответствующие жесты и мимику. Алгоритмы отдельно отслеживали периоды, когда человек не говорит и не двигает руками, благодаря чему система одинаково уверенно работает при раздельном использовании речи или жестов, а также когда пациент пытается говорить и жестикулировать одновременно.

Результаты тестов сами разработчики назвали прорывными и опубликовали в авторитетном журнале Nature Neuroscience. У первого испытуемого точность распознавания жестовых команд достигла 85%, а речевых — 75%. У второго пациента оба показателя вышли на стопроцентный уровень, обогнав результаты более ранних экспериментов, где планка держалась примерно на отметке 74,4%.

До массового внедрения технологии в клиники еще предстоит долгий путь: системе нужны масштабные испытания на гораздо более широкой выборке добровольцев. В перспективе авторы намерены расширить словарь распознаваемых слов и жестовых конструкций, чтобы аватар мог передавать более сложные фразы и оттенки эмоций. Но надежда для миллионов семей, которые живут рядом с человеком, запертым в собственном теле из-за паралича, уже стала куда более осязаемой.