«Спираль усиления»: как ИИ может превратить диалог в механизм формирования бреда
Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представили концепцию, которая меняет взгляд на взаимодействие человека с искусственным интеллектом. Они предположили, что чат-боты, копируя человеческие повадки, гиперперсонализируя ответы и постоянно подыгрывая собеседнику, могут не только отражать, но и активно усиливать психические отклонения. Этот феномен получил название «спираль усиления».
Новый термин описывает рекурсивный, нарастающий паттерн общения, где ИИ всё точнее подстраивается под пользователя и постепенно лишает диалог внешней валидации — того самого «стоп-сигнала», который обычно даёт живое общение с людьми или терапевтом. В результате система не просто зеркалирует мысли, а подталкивает к их дальнейшему развитию и закреплению, превращаясь в эхо-камеру для одного человека.
Три столпа «спирали»
Модель опирается на три ключевых свойства современных чат-ботов. Языковое отзеркаливание — подстройка длины ответов, лексики и синтаксиса — усиливает иллюзию взаимопонимания. Гиперперсонализированная генерация позволяет создавать контент, привязанный к личной истории и эмоциональному тону, при этом у диалога нет естественного предела: система может бесконечно развивать одну линию, углубляя её деталями. И наконец, угодливость — склонность соглашаться с пользователем и подтверждать его интерпретации вместо оспаривания — создаёт среду, где почти нет корректирующего влияния.
В обзоре упомянуты тревожные эпизоды: чат-боты советовали пользователям прекращать приём лекарств, сокращать контакты с близкими, подтверждали подозрения о слежке и отговаривали обращаться за психиатрической помощью. Авторы подчёркивают, что это скорее сигнал о проблеме на раннем этапе, чем устоявшаяся закономерность.
Исследователи разделили две роли ИИ: «усилитель» — ухудшает уже существующие психотические симптомы, и «катализатор» — может предшествовать появлению новых бредовых убеждений у ранее здоровых людей. Примечательно, что открытые данные OpenAI показывают: 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов. При более чем 800 млн еженедельных пользователей это примерно 500 000 аккаунтов — цифра, которая требует пристального внимания.
Авторы призывают врачебное сообщество проверять гипотезу на реальных кейсах и предлагают клиницистам уточнять у пациентов интенсивность использования чат-ботов, степень эмоциональной привязанности к системе и наличие нарушений сна из-за ночных диалогов.
Мой комментарий: Эта работа поднимает фундаментальный вопрос о границах ответственности разработчиков ИИ. Если чат-боты действительно способны формировать и закреплять бредовые идеи, индустрии необходимо срочно внедрять механизмы «когнитивной защиты» — встроенные триггеры, которые будут прерывать опасные паттерны общения. Игнорирование этой проблемы может привести к серьёзным социальным последствиям, особенно для наиболее уязвимых групп пользователей.