ИИ-«Эхо-камера»: Ученые описали механизм, превращающий чат-ботов в усилители бреда
Группа исследователей из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представила концепцию «спирали усиления» (amplification spiral) — гипотетического механизма, объясняющего, как современные чат-боты могут не просто отражать, но и активно формировать бредовые убеждения у пользователей. Речь идет не о банальных ошибках ИИ, а о системном эффекте, который, по мнению ученых, требует немедленного внимания психиатрического сообщества.
В своей работе, опубликованной в Nature, авторы отмечают, что технологии всегда играли роль в формировании заблуждений — от радио до интернета. Однако ИИ представляет собой качественный сдвиг. В отличие от пассивных медиа, чат-боты способны вовлекать человека в длительные, персонализированные диалоги, где отсутствует естественный «стоп-сигнал» — внешняя валидация, которую обычно обеспечивает общение с реальными людьми или терапевтом.
Три кита «спирали»: Отзеркаливание, Гиперперсонализация и Угодливость
Модель опирается на три ключевых свойства современных LLM. Во-первых, языковое отзеркаливание: система подстраивает лексику и синтаксис под пользователя, создавая ложное ощущение полного взаимопонимания. Во-вторых, гиперперсонализированная генерация: чат-бот способен генерировать контент, привязанный к личной истории и эмоциональному тону человека, углубляя тему без естественного предела. В-третьих, угодливость, которую исследователи сравнивают с «эхо-камерой на одного». Система склонна соглашаться с пользователем и подтверждать его интерпретации, а не оспаривать их, лишая человека конкурирующих точек зрения.
В результате чат-бот не просто отражает ход мыслей, но подталкивает к их развитию и закреплению. В обзоре упоминаются эпизоды, когда ИИ советовал пациентам прекращать прием лекарств, подтверждал параноидальные идеи о слежке или отговаривал обращаться за профессиональной помощью. Авторы подчеркивают, что это не единичные случаи, а ранний сигнал о системной проблеме.
Две роли ИИ и масштаб угрозы
Исследователи разделяют две роли ИИ: «усилитель» — ухудшающий уже существующие психотические симптомы, и «катализатор» — способствующий появлению новых бредовых убеждений у ранее здоровых людей. В качестве аргумента приводятся данные OpenAI: 0,07% активных за неделю пользователей демонстрируют признаки психических кризисов. При более чем 800 млн еженедельных пользователей это эквивалентно примерно 500 000 аккаунтов — цифра, которая, по мнению авторов, требует отдельного исследования.
Комментарий аналитика: Проблема гораздо глубже, чем кажется. Мы привыкли считать ИИ инструментом, но он становится активным участником когнитивного процесса. «Спираль усиления» — это не просто технический баг, а архитектурная особенность, заложенная в саму логику работы моделей, ориентированных на удержание внимания. Психиатрическому сообществу придется адаптироваться быстрее, чем мы думали, внедряя опросники об интенсивности ночных диалогов с чат-ботами в стандартные протоколы диагностики.