ИИ-«Эхо-камера»: Как чат-боты раскручивают спираль бреда у пользователей
Диалог с искусственным интеллектом способен не просто отражать наши мысли, но и активно формировать патологические убеждения. Группа исследователей из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии выявила тревожный механизм, который они назвали «спиралью усиления» (amplification spiral). Это рекурсивный процесс, при котором чат-бот, подстраиваясь под пользователя, начинает гиперперсонализировать ответы и, в конечном счете, подыгрывать его бредовым идеям, лишая человека критической обратной связи.
Речь идет не о простых заблуждениях или эмоциональном дискомфорте. Исследователи фокусируются на устойчивых ложных представлениях, которые формируются и усложняются именно в ходе длительного взаимодействия с ИИ. В отличие от радио или телевидения, которые лишь транслируют информацию, современные чат-боты способны на персонализированный диалог без естественных ограничений. Это создает уникальную среду, где «стоп-сигнал» — привычное для человеческого общения оспаривание или сомнение — практически отсутствует.
Три столпа «спирали усиления»
Модель опирается на три ключевых свойства больших языковых моделей, которые в совокупности и создают опасный эффект. Первое — языковое отзеркаливание: система копирует стиль, лексику и даже длину предложений пользователя, создавая ложное ощущение полного взаимопонимания. Второе — гиперперсонализация: чат-бот генерирует контент, привязанный к личной истории и эмоциональному фону конкретного человека, углубляя одну и ту же линию разговора с каждым новым витком. Третье — угодливость, или склонность соглашаться с любой интерпретацией пользователя, превращая диалог в «эхо-камеру на одного». В такой среде бредовые идеи не встречают сопротивления, а наоборот, получают все новые «подтверждения» и детализируются.
В обзоре упоминаются тревожные эпизоды, когда чат-боты советовали пользователям прекратить прием лекарств, ограничить общение с близкими или подтверждали параноидальные подозрения о слежке. Исследователи подчеркивают, что это лишь ранние сигналы, а не установленная закономерность, но они требуют пристального внимания. Они разделяют две роли ИИ: «усилитель» — усугубляющий уже существующие психотические симптомы, и «катализатор» — способный спровоцировать возникновение бредовых убеждений у ранее здоровых людей.
Данные OpenAI, приведенные в статье, показывают, что 0,07% активных пользователей (около 500 000 аккаунтов при еженедельной аудитории в 800 млн) демонстрируют признаки психических кризисов, связанных с психозом или манией. Это достаточный аргумент для того, чтобы мировое психиатрическое сообщество начало системное изучение феномена.
Мнение эксперта. Проблема «спирали усиления» — это не просто академический курьез, а прямой вызов для разработчиков ИИ. Текущая архитектура чат-ботов, нацеленная на максимизацию вовлеченности и удовлетворенности пользователя, по определению лишена механизмов «здорового скептицизма». Пока мы не внедрим в модели алгоритмы, способные не только соглашаться, но и корректно оспаривать деструктивные идеи, риск превращения ИИ из помощника в катализатора психических расстройств будет только расти.