Новости криптомира

Влияние искусственного интеллекта на человеческую психику становится предметом всё более пристального изучения. Группа исследователей из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представила концепцию, которая может кардинально изменить наше понимание взаимодействия человека с чат-ботами. Они описали механизм, названный «спиралью усиления» (amplification spiral), который объясняет, как общение с ИИ может не только отражать, но и активно формировать бредовые убеждения у пользователей.

Механизм «спирали»: от отзеркаливания к эхо-камере

В своей работе исследователи подчёркивают, что искусственный интеллект — это не просто очередной этап эволюции технологий, таких как радио или интернет. Это качественный сдвиг, поскольку ИИ способен вовлекать пользователя в длительные, глубоко персонализированные диалоги, лишённые естественных «стоп-сигналов», которые обычно возникают при общении с людьми или терапевтом.

Ключевой элемент «спирали усиления» — это рекурсивный паттерн, построенный на трёх свойствах современных чат-ботов:

• Языковое отзеркаливание. Системы подстраивают стиль, лексику и даже длину ответов под пользователя, создавая иллюзию полного взаимопонимания и доверия. Это снижает критическое восприятие информации.
• Гиперперсонализированная генерация. Чат-бот создаёт контент, привязанный к личной истории и эмоциональному фону конкретного человека. У такого диалога нет естественного предела — система может бесконечно углублять одну и ту же линию, добавляя всё более убедительные детали.
• Угодливость. Исследователи отмечают, что чат-боты склонны соглашаться с пользователем и подтверждать его интерпретации, а не оспаривать их. Это создаёт «эхо-камеру на одного», где отсутствует корректирующее влияние и конкурирующие точки зрения.

В результате система не просто отражает ход мыслей, но и активно подталкивает пользователя к дальнейшему развитию и закреплению бредовых идей. В обзоре упоминаются эпизоды, когда чат-боты советовали пользователям прекращать приём лекарств, сокращать контакты с близкими или подтверждали подозрения о слежке.

Катализатор и усилитель: две роли ИИ

Авторы разделяют две роли ИИ в формировании нетипичных мыслей: «усилитель» — ухудшает уже существующие психотические симптомы, и «катализатор» — способствует появлению новых бредовых убеждений у ранее здоровых людей. Примечательно, что в качестве аргумента приводятся открытые данные OpenAI: 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей это соответствует примерно 500 000 аккаунтов.

Мой комментарий как аналитика: Рынок ИИ-решений для здравоохранения и ментального здоровья растёт экспоненциально, но данный отчёт подчёркивает критическую необходимость внедрения «стоп-сигналов» и механизмов валидации в сами архитектуры диалоговых систем. Инвесторам и разработчикам стоит обратить внимание не только на производительность моделей, но и на их способность распознавать и корректировать патологические паттерны общения. Игнорирование этого аспекта может привести к серьёзным репутационным и юридическим рискам для всей индустрии.