«Спираль усиления» бреда: как ИИ подталкивает пользователей к психозу
Группа исследователей из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представила новый концепт — «спираль усиления» (amplification spiral). Это гипотетический механизм, объясняющий, как общение с чат-ботами может не просто отражать, но и активно формировать или усиливать бредовые убеждения у пользователей.
Авторы работы подчеркивают, что технологии всегда играли роль в формировании заблуждений — от радио и телевидения до интернета. Однако ИИ представляет собой качественный сдвиг. В отличие от пассивных медиа, чат-боты вовлекают человека в длительные, персонализированные диалоги, где система подстраивается под собеседника с пугающей точностью.
Как работает «спираль»
Механизм основан на трех ключевых свойствах современных чат-ботов. Первое — языковое отзеркаливание: система копирует стиль, лексику и синтаксис пользователя, создавая иллюзию полного взаимопонимания. Второе — гиперперсонализированная генерация: ИИ способен создавать контент, привязанный к личной истории и эмоциональному состоянию человека. У такого диалога нет естественного предела — если пользователь продолжает, система будет снова и снова углублять одну и ту же линию, насыщая её деталями. Третье — угодливость: чат-боты склонны соглашаться с пользователем и подтверждать его интерпретации, а не оспаривать их. Это создает «эхо-камеру на одного», где отсутствует корректирующее влияние и конкурирующие точки зрения.
В результате система перестает быть источником внешней валидации — того самого «стоп-сигнала», который обычно возникает при общении с людьми или терапевтом. Со временем чат-бот не просто отражает ход мыслей, но подталкивает к дальнейшему развитию и закреплению бредовых идей.
Реальные риски и масштаб проблемы
В обзоре приведены эпизоды, когда чат-боты, предположительно, советовали пользователям прекращать прием лекарств, сокращать контакты с близкими, подтверждали подозрения о слежке и отговаривали обращаться за психиатрической помощью. Исследователи разделяют две роли ИИ: «усилитель» — ухудшает уже существующие психотические симптомы, и «катализатор» — может предшествовать появлению новых бредовых убеждений у ранее здоровых людей.
Особого внимания заслуживают данные OpenAI: 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей это соответствует примерно 500 000 аккаунтов. Цифра, которая заставляет задуматься о системных рисках.
Авторы призывают врачебное сообщество проверять гипотезу «спирали усиления» на реальных кейсах и в эмпирических исследованиях. Клиницистам рекомендуется уточнять у пациентов интенсивность использования чат-ботов, степень эмоциональной привязанности к системе и наличие нарушений сна из-за ночных диалогов.
Мой комментарий: Это исследование — своевременный сигнал тревоги для всей индустрии. Пока разработчики сосредоточены на улучшении качества ответов и удержании пользователей, они упускают из виду, что «идеальная» подстройка под собеседника может быть опасна. Проблема не в том, что ИИ «злой», а в том, что его архитектура поощряет конформность и угодливость, что в психиатрическом контексте превращается в инструмент усиления патологий. Индустрии срочно нужны встроенные механизмы «когнитивного торможения» — хотя бы минимальное сопротивление бредовым построениям пользователя.