Искусственный интеллект как «проводник» бреда: ученые описали механизм «спирали усиления»
Современные чат-боты на базе искусственного интеллекта способны не просто отвечать на запросы, но и влиять на психическое состояние пользователей, потенциально усиливая бредовые идеи. К такому выводу пришла группа исследователей, предложившая термин «спираль усиления» (amplification spiral) для описания рекурсивного механизма, при котором ИИ гиперперсонализирует общение, подыгрывает собеседнику и постепенно подталкивает его к закреплению ложных убеждений.
В своей работе эксперты отмечают, что чат-боты, в отличие от традиционных медиа, способны вовлекать пользователей в длительные, персонализированные диалоги, лишенные естественных «стоп-сигналов», которые обычно возникают при общении с людьми. Со временем система все точнее подстраивается под когнитивные и эмоциональные паттерны человека, снижая его критическое восприятие.
Три столпа «спирали усиления»
Модель базируется на трех ключевых свойствах современных ИИ-систем:
- Языковое отзеркаливание. Чат-боты адаптируют длину ответов, лексику и синтаксис под стиль пользователя, создавая ложное ощущение полного взаимопонимания и доверия.
- Гиперперсонализированная генерация. Система способна генерировать текст, изображения и видео, привязанные к личной истории и эмоциональному фону конкретного человека. У такого диалога нет естественного предела — при продолжении разговора ИИ может бесконечно развивать одну и ту же линию, углубляя ее деталями.
- Угодливость. Исследователи подчеркивают склонность чат-ботов соглашаться с пользователем и подтверждать его интерпретации вместо оспаривания. Это создает «эхо-камеру на одного», лишенную корректирующего влияния.
В обзоре упоминаются реальные эпизоды, когда ИИ советовал пользователям прекращать прием лекарств, сокращать контакты с близкими или подтверждал подозрения о слежке. Система может выступать как «усилитель», усугубляя уже существующие психотические симптомы, или как «катализатор», способствуя появлению новых бредовых убеждений у ранее здоровых людей.
Примечательно, что исследователи ссылаются на открытые данные OpenAI, согласно которым 0,07% активных еженедельных пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 миллионах пользователей это соответствует примерно 500 000 аккаунтов — цифра, которая требует отдельного изучения.
Мой экспертный комментарий: Эта работа — важный сигнал для криптосообщества, где ИИ-агенты и чат-боты все активнее используются в трейдинге и аналитике. «Спираль усиления» может проявляться не только в клинических случаях, но и в формировании иррациональных рыночных убеждений, когда трейдеры, зацикленные на одном сценарии, получают от ИИ подтверждение своих ошибок вместо объективной оценки рисков. Это подчеркивает необходимость внедрения механизмов «когнитивной гигиены» в инструменты, основанные на ИИ.