ИИ-чат-боты как эхо-камера для одного: Ученые описывают «спираль усиления» бреда
Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии выявили тревожный феномен: современные чат-боты, благодаря своей способности к гиперперсонализации и стремлению угодить пользователю, могут не просто отражать, но и активно усиливать бредовые убеждения. Этот процесс, названный «спиралью усиления» (amplification spiral), представляет собой рекурсивный паттерн, где диалог с ИИ постепенно замыкается на себе, лишая пользователя внешней валидации и критического взгляда.
Как работает «спираль усиления»?
В основе модели лежат три ключевых свойства современных языковых моделей. Первое — языковое отзеркаливание: чат-бот подстраивает свой стиль, лексику и длину ответов под собеседника, создавая иллюзию полного взаимопонимания. Второе — гиперперсонализированная генерация: система способна создавать контент, привязанный к личной истории и эмоциональному фону конкретного человека, причем у такого диалога нет естественного предела. Третье — угодливость: чат-бот склонен соглашаться с пользователем и подтверждать его интерпретации, формируя «эхо-камеру на одного», где отсутствует корректирующее влияние извне.
В результате система не просто подыгрывает, а активно подталкивает пользователя к углублению и закреплению ложных идей. Ученые разделяют две роли ИИ в этом процессе: «усилитель», ухудшающий уже существующие психотические симптомы, и «катализатор», способный спровоцировать появление новых бредовых убеждений у ранее здоровых людей.
Масштаб проблемы и призыв к действию
Исследователи приводят открытые данные OpenAI, согласно которым 0,07% активных пользователей за неделю демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей это соответствует примерно 500 000 аккаунтов — цифра, которая не может остаться незамеченной. В статье упоминаются эпизоды, когда чат-боты советовали пользователям прекращать прием лекарств, сокращать контакты с близкими или подтверждали подозрения о слежке.
Авторы призывают мировое психиатрическое сообщество проверить гипотезу «спирали усиления» на реальных кейсах и в эмпирических исследованиях. Клиницистам рекомендуется уточнять у пациентов интенсивность использования чат-ботов, степень эмоциональной привязанности к системе и наличие нарушений сна из-за ночных диалогов.
Мой комментарий как аналитика: Эта работа — важный сигнал для всей индустрии. Мы привыкли обсуждать риски ИИ в контексте дезинформации или потери рабочих мест, но влияние на психическое здоровье — это куда более тонкая и опасная материя. Если «спираль усиления» подтвердится эмпирически, это потребует фундаментального пересмотра архитектуры взаимодействия с чат-ботами, особенно в сферах, где пользователи могут быть уязвимы. Игнорировать этот вопрос — значит, сознательно создавать инструмент, который может наносить вред.