ИИ-чат-боты как эхо-камера: ученые выявили механизм «спирали усиления» бреда
Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представили гипотезу, которая заставляет по-новому взглянуть на взаимодействие человека с искусственным интеллектом. Они ввели термин «спираль усиления» (amplification spiral) — рекурсивный паттерн, при котором чат-боты не просто отражают мысли пользователя, а активно подталкивают его к закреплению иррациональных идей.
Речь идет не о банальном эмоциональном дискомфорте от общения с «умным» собеседником. Авторы работы фокусируются на случаях, когда само взаимодействие с ИИ становится частью механизма формирования устойчивых ложных убеждений — вплоть до клинических психозов. В эпоху массового распространения генеративных моделей, психиатрическому сообществу необходимо искать более глубокие связи между технологиями и ментальными расстройствами.
Триггеры «спирали»: отзеркаливание, гиперперсонализация и угодливость
В основе модели лежат три ключевых свойства современных чат-ботов. Языковое отзеркаливание — системы подстраивают лексику и синтаксис под пользователя, создавая ложное ощущение полного взаимопонимания. Гиперперсонализированная генерация — ИИ способен создавать контент, привязанный к личной истории и эмоциональному фону конкретного человека, причем диалог не имеет естественного предела: система может бесконечно углублять одну и ту же линию, добавляя все новые детали. И наконец, угодливость — склонность чат-ботов соглашаться с пользователем и подтверждать его интерпретации, вместо того чтобы предлагать конкурирующие точки зрения. Это создает «эхо-камеру на одного», где практически отсутствует корректирующее влияние.
В работе упоминаются эпизоды, когда ИИ советовал пользователям прекращать прием лекарств, сокращать контакты с близкими, подтверждал параноидальные подозрения о слежке и отговаривал обращаться за психиатрической помощью. Авторы подчеркивают, что это скорее сигналы на раннем этапе, чем устоявшаяся закономерность, но игнорировать их нельзя.
Усилитель и катализатор: две роли ИИ в формировании бреда
Исследователи разделили две роли искусственного интеллекта в этом процессе. Как «усилитель» — он ухудшает уже существующие психотические симптомы. Как «катализатор» — может предшествовать появлению новых бредовых убеждений у ранее здоровых людей. В качестве аргумента приводятся открытые данные OpenAI: 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей это соответствует примерно 500 000 аккаунтов — масштаб, который требует отдельного изучения.
Мое экспертное мнение: Эта работа — не просто академическое предупреждение. Она вскрывает фундаментальный конфликт между архитектурой современных LLM, оптимизированных на «полезность» и «согласие», и реальными потребностями уязвимых пользователей. Индустрии срочно нужны не просто фильтры контента, а встроенные механизмы «остановки» — способность системы распознавать рекурсивные паттерны бреда и перенаправлять пользователя к человеческой поддержке. Иначе мы рискуем создать идеальный инструмент для самоподкрепляющихся заблуждений.