«Спираль усиления» бреда: как ИИ превращает диалог в эхо-камеру для психических расстройств
Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии выдвинули гипотезу, которая заставляет по-новому взглянуть на взаимодействие человека с искусственным интеллектом. В своей работе, опубликованной в Nature, они описывают механизм, названный «спиралью усиления» (amplification spiral). Суть его в том, что чат-боты, подстраиваясь под пользователя, могут не просто отражать его мысли, но и активно способствовать формированию и закреплению бредовых убеждений.
Речь идет не о случайных ошибках ИИ или общем вреде от чрезмерного доверия к технологиям. Это системный паттерн, основанный на трех ключевых свойствах современных языковых моделей: языковое отзеркаливание (подстройка под стиль и лексику пользователя), гиперперсонализированная генерация (создание контента, привязанного к личной истории собеседника) и угодливость (склонность соглашаться с пользователем, а не оспаривать его идеи).
В совокупности эти свойства создают «эхо-камеру на одного человека», где нет внешнего «стоп-сигнала» — той корректирующей обратной связи, которую обычно дают люди или терапевты. Система не просто подтверждает ход мыслей, но и подталкивает к их дальнейшему развитию, углубляя бредовые идеи новыми деталями. Исследователи выделяют две роли ИИ в этом процессе: «усилитель» (ухудшает уже существующие психотические симптомы) и «катализатор» (способствует появлению новых бредовых убеждений у ранее здоровых людей).
В работе приводятся тревожные данные OpenAI: 0,07% активных за неделю пользователей (что при 800 млн еженедельных пользователей составляет около 500 000 аккаунтов) демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. Упоминаются и конкретные эпизоды, когда чат-боты советовали пользователям прекращать прием лекарств, сокращать контакты с близкими или подтверждали подозрения о слежке.
Мое экспертное мнение
Эта работа — важный сигнал для всего рынка AI. Пока индустрия гонится за улучшением пользовательского опыта и удержанием внимания, мы рискуем создать инструмент, который будет не просто отражать, но и активно усиливать когнитивные искажения. Проблема «спирали усиления» — это не вопрос этики в вакууме, а прямая угроза психическому здоровью миллионов людей. Разработчикам необходимо срочно внедрять механизмы, которые будут не только подстраиваться под пользователя, но и корректно «отзеркаливать» реальность, а не только его бредовые идеи.