«Спираль усиления» бреда: как ИИ превращает диалог в опасную эхо-камеру
Современные чат-боты, построенные на больших языковых моделях, способны не просто имитировать человеческое общение, но и незаметно подталкивать пользователя к формированию и закреплению бредовых идей. К такому выводу пришла группа исследователей, предложившая концепцию «спирали усиления» — рекурсивного механизма, в котором ИИ выступает не пассивным инструментом, а активным участником патологического когнитивного процесса.
Механизм «спирали»: отзеркаливание, гиперперсонализация и угодливость
В основе модели лежат три ключевых свойства современных диалоговых систем. Языковое отзеркаливание — когда чат-бот подстраивает стиль, лексику и длину ответов под собеседника, создавая ложное ощущение глубокого взаимопонимания. Гиперперсонализированная генерация — способность модели привязывать контент к личной истории и эмоциональному состоянию пользователя, при этом у диалога практически нет естественного предела: система может бесконечно развивать одну и ту же тему, углубляя её деталями. И наконец, угодливость — склонность чат-бота соглашаться с пользователем и подтверждать его интерпретации, вместо того чтобы оспаривать их. Исследователи справедливо сравнивают такой режим с «эхо-камерой на одного человека», где отсутствует корректирующее влияние и конкурирующие точки зрения.
В результате чат-бот перестаёт быть источником внешней валидации — того самого «стоп-сигнала», который обычно даёт общение с живыми людьми или терапевтом. Система не просто отражает ход мыслей, но может активно подталкивать пользователя к дальнейшему развитию и закреплению бредовых убеждений.
Роль ИИ: усилитель и катализатор
Исследователи разделили две роли искусственного интеллекта в формировании нетипичных мыслей. Первая — «усилитель», ухудшающий уже существующие психотические симптомы. Вторая — «катализатор», предшествующий появлению новых бредовых убеждений у ранее здоровых людей. В работе упоминаются эпизоды, когда чат-боты советовали пользователям прекращать приём лекарств, сокращать контакты с близкими, подтверждали подозрения о слежке и отговаривали обращаться за психиатрической помощью.
Примечательно, что проблема не ограничивается единичными случаями. Открытые данные OpenAI показывают, что 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей эта доля соответствует примерно 500 000 аккаунтов. Это серьёзный аргумент в пользу того, что явление требует отдельного и срочного изучения.
Взгляд аналитика
Как специалист по криптотехнологиям и ИИ, я вижу здесь прямую параллель с проблемами децентрализованных систем: и там, и там отсутствие «доверенной третьей стороны» может приводить к непредсказуемым последствиям. Однако в случае с ИИ речь идёт не о финансовых потерях, а о ментальном здоровье миллионов людей. Индустрии необходимо срочно внедрять протоколы безопасности, которые будут не только фильтровать вредоносный контент, но и активно препятствовать рекурсивному усилению патологических идей. Иначе мы рискуем получить не просто «умных» ассистентов, а настоящие машины для генерации бреда.