Brain2Qwerty восстановил набранный текст по сигналам мозга без имплантов

Французские исследователи показали, что набранный на клавиатуре текст можно восстанавливать по сигналам мозга и без вживленных электродов. Они соединили магнитоэнцефалографию, электроэнцефалографию и нейросетевую модель Brain2Qwerty. Лучше всего сработала МЭГ: средняя символьная ошибка составила 29%, тогда как у ЭЭГ она выросла до 65%.

Работа вышла в Nature Neuroscience. Ее авторы, группа под руководством Жарода Леви из Meta* AI в Париже, взялись за старую проблему нейроинтерфейсов: самые точные системы обычно требуют операции, потому что электроды нужно размещать прямо на поверхности мозга или внутри него. Сигнал получается отличным, но вместе с ним приходят хирургические риски, да и круг возможных пользователей сразу сужается.

В эксперименте участвовали 35 здоровых носителей испанского языка. Им показывали короткие фразы по одному слову, а потом просили напечатать предложение по памяти на QWERTY-клавиатуре. Пока они набирали текст, исследователи снимали активность мозга либо через ЭЭГ, либо через МЭГ, а каждое нажатие клавиши синхронизировали с записью.

Дальше в дело вступала Brain2Qwerty. Сначала модель делила непрерывный сигнал на короткие фрагменты вокруг каждого нажатия, потом вытаскивала из них пространственно-временные признаки, а затем трансформер разбирал уже всю последовательность символов внутри предложения. На финальном шаге подключалась языковая модель — она исправляла часть ошибок и собирала более правдоподобную строку.

Разница между методами вышла заметной. Для МЭГ средняя частота символьных ошибок составила 29%, а у лучших участников она опускалась до 18%. У ЭЭГ показатель дошел до 65%, и с такой точностью систему трудно представить как удобный инструмент для обычного общения. Авторы отдельно пишут, что модель часто путала соседние буквы. Похоже, она считывает именно моторные команды, связанные с расположением клавиш, а не пытается угадать слова наугад.

Brain2Qwerty и история нейроинтерфейсов

Нейроинтерфейсы для общения развиваются быстро, но почти весь заметный прогресс пока пришелся на инвазивные системы. В 2023 году две американские группы независимо показали речевые интерфейсы на имплантах: они переводили мозговую активность в текст и синтезированную речь со скоростью, уже близкой к обычному разговору. На этом фоне особенно видно, насколько труднее добиться внятного результата без операции.

У неинвазивных систем одна и та же беда: сигнал слабый и шумный. ЭЭГ дешева и сравнительно доступна, но кости черепа сильно искажают электрическую активность. МЭГ чище, потому что измеряет магнитные поля, которые меньше страдают от таких искажений, но за это приходится платить громоздкими стационарными установками. Из-за этого МЭГ долго оставалась скорее лабораторным инструментом, чем основой для прикладных интерфейсов.

У новой работы есть отличие от многих прежних экспериментов с «мысленным набором». Исследователи не ограничились отдельными командами или маленьким словарем. Они восстанавливали последовательности символов в задаче, близкой к обычному печатанию, а потом подтягивали результат контекстом целого предложения. И вот тут работа уже выглядит не как красивый трюк, а как промежуточный шаг к нормальному текстовому вводу.

До практики, впрочем, еще далеко. Brain2Qwerty выдает результат только после того, как фраза уже набрана, а не в реальном времени. Плюс модель обучали на здоровых людях, которые действительно нажимали клавиши, тогда как основная аудитория таких интерфейсов — пациенты с параличом и БАС, способные лишь представлять движение. В нейроинтерфейсах такое уже бывало: в лаборатории система держится уверенно, а в клинике начинает заметно спотыкаться.

Следующий шаг понятен: переход к потоковому режиму и проверка на пациентах. Если это получится, МЭГ может занять место между медленной ЭЭГ и точными, но хирургическими имплантами. Еще один шанс технологии дает рынок датчиков: за последние годы несколько групп и стартапов взялись за компактные магнитометры, так что большой сканер со временем может смениться носимым шлемом. А вот насколько эта схема окажется полезной на практике, станет ясно только после первых клинических испытаний.

* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.