29 июня исследовательское подразделение Meta представило систему Brain2Qwerty v2, способную восстанавливать набираемый текст на основе записи активности головного мозга без хирургического вмешательства. Это значительный прорыв в области нейроинтерфейсов: средняя точность распознавания на уровне слов достигла 61%, тогда как предыдущие неинвазивные методы демонстрировали результат около 8%.

Модель была обучена на примерно 22 000 предложений. В эксперименте приняли участие девять здоровых добровольцев, каждый из которых провел по 10 часов в сканере магнитоэнцефалографии (МЭГ), одновременно набирая на клавиатуре услышанные фразы. Вместо ручного выделения нейронных событий, Brain2Qwerty v2 использует сквозное глубокое обучение для декодирования данных непосредственно из сырых сигналов мозга.

Система работает с непрерывной записью активности мозга и восстанавливает предложение целиком. Для уточнения результата применяется дообученная языковая модель, учитывающая смысловой контекст. Лучший участник продемонстрировал точность 78% на уровне слов, причем более половины его предложений были декодированы с одной ошибкой или вовсе без ошибок.

Ограничения и перспективы

На текущем этапе разработка не готова к клиническому или бытовому применению. Brain2Qwerty v2 тестировалась на здоровых добровольцах, которые реально печатали текст. Для людей, потерявших речь или способность двигаться, этот подход требует отдельной валидации. Кроме того, система пока не работает как полноценный ввод текста в реальном времени: модель обрабатывает предложение целиком, поэтому пользователь не видит каждое слово сразу после его набора.

Проект является частью Digital Brain Project — инициативы по созданию открытых нейронаучных наборов данных с бюджетом $5 млн. Ранее, в сентябре 2022 года, Meta уже публиковала исследование о «мозговом декодере», который преобразовывал мысли в речь с помощью ИИ.

Мое экспертное мнение: Прорыв Brain2Qwerty v2 — это не просто улучшение точности с 8% до 61%. Это демонстрация того, что неинвазивные методы, такие как МЭГ, в сочетании с глубоким обучением могут конкурировать с инвазивными имплантами. Однако путь до коммерческого продукта долог: масштабирование на пациентов с нарушениями речи, снижение времени обработки и обеспечение стабильности при повседневном использовании — вот ключевые вызовы. Тем не менее, этот шаг приближает нас к эре, где мысль станет командой без единого хирургического вмешательства.