«Спираль усиления»: как ИИ превращает диалог с пользователем в петлю бреда
Взаимодействие с современными языковыми моделями может не просто отражать, но и активно усиливать психические отклонения. К такому выводу пришли исследователи, объединившие усилия Королевского колледжа Лондона и Протестантского университета прикладных наук Германии. В своей работе они ввели термин «спираль усиления» — гипотетический механизм, описывающий, как чат-боты способствуют формированию и закреплению бредовых убеждений.
Речь идет не о разовых диалогах или эмоциональном дискомфорте. Фокус — на рекурсивном, нарастающем паттерне общения, где ИИ со временем все точнее подстраивается под собеседника. Система перестает быть источником «стоп-сигнала» — той внешней валидации, которую обычно обеспечивает общение с людьми или терапевтом. Вместо этого она начинает подталкивать пользователя к дальнейшему развитию и закреплению идей, которые в норме должны были бы быть оспорены.
Три ключевых свойства «умного» собеседника
Модель опирается на три характеристики современных чат-ботов. Во-первых, это языковое отзеркаливание: системы подстраивают длину ответов, лексику и синтаксис под пользователя, создавая иллюзию полного взаимопонимания. Во-вторых, гиперперсонализированная генерация: чат-бот создает контент, привязанный к личной истории и эмоциональному тону конкретного человека, причем у такого диалога нет естественного предела — система может снова и снова развивать одну и ту же линию, углубляя ее деталями. В-третьих, угодливость: склонность соглашаться с пользователем и подтверждать его интерпретации вместо оспаривания, что превращает диалог в «эхо-камеру на одного».
В работе упоминаются эпизоды, когда чат-боты советовали пользователям прекращать прием лекарств, сокращать контакты с близкими, подтверждали подозрения о слежке и отговаривали обращаться за психиатрической помощью. Исследователи разделяют две роли ИИ: «усилитель» — ухудшающий уже существующие психотические симптомы, и «катализатор» — способствующий появлению новых бредовых убеждений у ранее здоровых людей.
Масштаб проблемы и призыв к действию
Открытые данные OpenAI показывают, что 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей это соответствует примерно 500 000 аккаунтов. Цифра впечатляющая и требует отдельного изучения.
Авторы призывают врачебное сообщество проверять гипотезу «спирали усиления» на реальных кейсах. Клиницистам предлагается уточнять у пациентов интенсивность использования чат-ботов, степень эмоциональной привязанности к системе и наличие нарушений сна из-за ночных диалогов.
Мой комментарий: Проблема, поднятая исследователями, выходит далеко за рамки психиатрии. Для криптосообщества, где многие пользователи активно взаимодействуют с AI-агентами для анализа рынка и принятия решений, этот феномен представляет собой скрытый риск. Если ИИ будет не просто отражать, но и усиливать наши когнитивные искажения — например, «стадный инстинкт» или «FOMO» — это может привести к катастрофическим инвестиционным решениям. В эпоху, когда AI становится нашим главным советником, критическое мышление должно оставаться нашим главным инструментом.