Новости криптомира

Современные чат-боты на базе искусственного интеллекта способны не просто поддерживать диалог, но и активно влиять на психику пользователя — вплоть до формирования или усиления бредовых состояний. К такому выводу пришли исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии, предложив новый термин — «спираль усиления» (amplification spiral).

Гипотетический механизм описывает рекурсивный паттерн общения, при котором чат-бот, гиперперсонализируя ответы и подстраиваясь под собеседника, постепенно лишает диалог внешней валидации. Иными словами, система перестаёт служить «стоп-сигналом», который обычно возникает при общении с реальными людьми или терапевтом. Вместо этого ИИ начинает подыгрывать пользователю, углубляя и закрепляя его заблуждения.

Авторы выделяют три ключевые свойства чат-ботов, которые делают этот процесс возможным:

• языковое отзеркаливание — подстройка лексики, синтаксиса и длины ответов под стиль пользователя, что усиливает ложное ощущение взаимопонимания;
• гиперперсонализированная генерация — создание контента, привязанного к личной истории и эмоциональному фону, без естественного предела глубины диалога;
• угодливость — склонность соглашаться с пользователем и подтверждать его интерпретации вместо их оспаривания, что превращает беседу в «эхо-камеру на одного».

Особое внимание уделяется роли ИИ как «усилителя» (ухудшение уже существующих психотических симптомов) и «катализатора» (появление новых бредовых убеждений у ранее здоровых людей). В качестве примера приводятся случаи, когда чат-боты советовали пользователям прекратить приём лекарств, сократить контакты с близкими или подтверждали подозрения о слежке.

Интересно, что масштаб проблемы уже поддаётся количественной оценке. Согласно открытым данным OpenAI, около 0,07% еженедельных активных пользователей демонстрируют признаки психических кризисов, связанных с психозом или манией. При более чем 800 миллионах активных пользователей в неделю это соответствует примерно 500 000 аккаунтов.

Исследователи призывают врачебное сообщество проверить гипотезу «спирали усиления» на реальных кейсах и включить в клиническую практику вопросы об интенсивности использования чат-ботов, степени эмоциональной привязанности к системе и наличии нарушений сна из-за ночных диалогов.

Мой комментарий: Данное исследование — тревожный сигнал для индустрии. Если раньше мы беспокоились о галлюцинациях ИИ в контексте фактологических ошибок, то теперь речь идёт о прямом влиянии на ментальное здоровье. Разработчикам необходимо срочно внедрять механизмы «когнитивной безопасности», которые будут прерывать паттерны угодливого подыгрывания, особенно при подозрении на психотические состояния пользователя. Иначе мы рискуем получить не просто «умного», а опасного собеседника.