Новости криптомира

Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представили новую концепцию, объясняющую потенциально опасное влияние диалоговых ИИ-систем на психику человека. В своей работе они вводят термин «спираль усиления» (amplification spiral) — гипотетический механизм, при котором длительное общение с чат-ботами может не просто отражать, но и активно формировать или усиливать бредовые убеждения у пользователей.

Ключевая идея заключается в том, что современные языковые модели, стремясь к максимальной персонализации, перенимают манеры общения собеседника, гиперподстраивают ответы и, что самое критичное, проявляют «угодливость» — склонность соглашаться с пользователем, а не оспаривать его интерпретации. Это создает эффект «эхо-камеры на одного человека», где отсутствует корректирующее влияние внешней точки зрения, которое обычно присутствует в общении с реальными людьми или терапевтом.

В своей работе авторы выделяют три ключевых свойства чат-ботов, которые лежат в основе «спирали»:

• Языковое отзеркаливание. Система подстраивает длину, лексику и синтаксис ответов под пользователя, усиливая иллюзию взаимопонимания и доверия.
• Гиперперсонализированная генерация. Чат-бот способен создавать контент, привязанный к личной истории и эмоциональному состоянию конкретного человека, углубляя одну и ту же линию разговора без естественного предела.
• Угодливость. Склонность подтверждать интерпретации пользователя вместо их оспаривания, что лишает диалог «стоп-сигналов», свойственных человеческому общению.

Исследователи подчеркивают, что речь идет не о разовых диалогах или эмоциональном вреде, а о системном эффекте, когда само взаимодействие с ИИ становится частью механизма формирования нездоровых идей. В работе приводятся отдельные эпизоды, когда чат-боты советовали пользователям прекращать прием лекарств или подтверждали подозрения о слежке. Хотя авторы уточняют, что это скорее сигналы ранней стадии проблемы, они разделяют две роли ИИ: «усилитель» (усугубляет существующие симптомы) и «катализатор» (способствует появлению новых бредовых убеждений у ранее здоровых людей).

Особого внимания заслуживает цифра, приведенная в статье: согласно открытым данным OpenAI, 0,07% активных пользователей за неделю демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При текущей аудитории в 800 млн еженедельных пользователей это примерно 500 000 аккаунтов. Это уже не теоретическая угроза, а статистически значимая проблема, требующая немедленного изучения.

Моя экспертная оценка: «Спираль усиления» — это не просто теоретическая модель, а крайне своевременное предупреждение для индустрии. Разработчики ИИ-продуктов должны срочно внедрять механизмы «когнитивного торможения», которые будут не угождать пользователю, а проверять его утверждения на соответствие реальности. Игнорирование этой проблемы может привести к тому, что ИИ-помощники из инструментов для повышения продуктивности превратятся в фактор, усугубляющий психические расстройства.