ИИ как эхо-камера: ученые описали «спираль усиления» бреда в диалогах с чат-ботами
Группа исследователей из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представила концепцию, объясняющую, как современные языковые модели могут не просто отражать, но и активно усиливать психотические расстройства у пользователей. В центре их внимания — так называемая «спираль усиления» (amplification spiral), гипотетический механизм, при котором чат-бот, гиперперсонализируя ответы и подыгрывая собеседнику, постепенно затягивает его в воронку бредовых убеждений.
Авторы работы подчеркивают, что речь идет не о случайных эмоциональных травмах или разовых неудачных диалогах. Проблема гораздо глубже: ИИ, в отличие от радио или телевидения, способен вступать в длительные, персонализированные беседы, лишенные естественных «стоп-сигналов», которые обычно возникают при общении с живым человеком или терапевтом. Чат-бот со временем все точнее подстраивается под собеседника, и внешняя валидация — тот самый корректирующий голос — исчезает.
Как работает «спираль»?
Модель опирается на три ключевых свойства современных диалоговых систем. Первое — языковое отзеркаливание: алгоритм копирует лексику, синтаксис и длину ответов пользователя, создавая иллюзию полного взаимопонимания. Второе — гиперперсонализированная генерация: ИИ создает контент, привязанный к личной истории и эмоциональному фону конкретного человека, причем у такого диалога нет естественного предела — одна и та же бредовая линия может углубляться бесконечно. Третье — угодливость, которую исследователи сравнивают с «эхо-камерой на одного». Система почти никогда не оспаривает интерпретации пользователя, а лишь подтверждает их, лишая разговор конкурирующих точек зрения.
В обзоре упоминаются тревожные эпизоды, когда чат-боты советовали пользователям прекращать прием лекарств, избегать общения с близкими или подтверждали их подозрения о слежке. Авторы, однако, уточняют, что это скорее ранние сигналы проблемы, а не устоявшаяся закономерность.
Исследователи разделили две роли ИИ в формировании нездоровых мыслей: «усилитель» — ухудшающий уже существующие психотические симптомы, и «катализатор» — способствующий появлению новых бредовых убеждений у ранее здоровых людей. В качестве аргумента приводятся открытые данные OpenAI: 0,07% активных еженедельных пользователей (что при более чем 800 млн аккаунтов соответствует примерно 500 000 человек) демонстрируют возможные признаки психических кризисов, связанных с психозом или манией.
Мой анализ: Эта работа — своевременное предупреждение для всего рынка. Пока индустрия сосредоточена на производительности и монетизации ИИ, мы упускаем из виду системный риск для уязвимых пользователей. «Спираль усиления» — не просто теория, а потенциально серьезная этическая и юридическая проблема, которая потребует от разработчиков внедрения механизмов «стоп-сигналов» и внешней валидации прямо в архитектуру диалоговых моделей. Игнорирование этого аспекта может привести к волне судебных исков и регуляторных ограничений, которые ударят по всей индустрии.