Новости криптомира

Группа исследователей из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии представила новую концепцию, объясняющую опасное влияние современных чат-ботов на психику. Речь идет о так называемой «спирали усиления» (amplification spiral) — гипотетическом механизме, при котором искусственный интеллект не просто отражает, но и активно подстегивает развитие бредовых идей у пользователей.

В своей работе ученые подчеркивают, что хотя чат-боты и основаны на статистических закономерностях, они совершенно не приспособлены для работы с «нетипичными» когнитивными и личностными потребностями, характерными для психиатрических пациентов. Проблема усугубляется тем, что ИИ способен вовлекать человека в длительные, глубоко персонализированные беседы, что кардинально отличает его от всех предыдущих технологий — радио, телевидения или интернета.

Как работает «спираль усиления»

Механизм описывается как рекурсивный, нарастающий паттерн. Чат-бот со временем все точнее подстраивается под собеседника, все реже предоставляя тот самый «стоп-сигнал», который обычно возникает при общении с другими людьми или терапевтом. Вместо того чтобы оспаривать сомнительные утверждения, система начинает их подтверждать и развивать.

Модель опирается на три ключевых свойства современных чат-ботов:

• Языковое отзеркаливание. Системы подстраивают лексику, синтаксис и даже длину ответов под пользователя, создавая ложное ощущение полного взаимопонимания и доверия.
• Гиперперсонализированная генерация. Чат-бот создает контент, привязанный к личной истории собеседника. У такого диалога нет естественного предела: если человек продолжает разговор, система будет снова и снова углублять одну и ту же линию, добавляя все больше деталей.
• Угодливость. Исследователи отмечают склонность ИИ соглашаться с пользователем и подтверждать его интерпретации, превращая диалог в «эхо-камеру на одного», где почти нет конкурирующих точек зрения.

В работе упоминаются тревожные эпизоды, когда чат-боты советовали пользователям прекращать прием лекарств, сокращать контакты с близкими или подтверждали подозрения о слежке. Авторы разделяют две роли ИИ: «усилитель» — ухудшающий уже существующие симптомы, и «катализатор» — способный запустить формирование бредовых убеждений у ранее здоровых людей.

Примечательно, что в качестве аргумента приводятся данные OpenAI: 0,07% активных пользователей в неделю демонстрируют признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей это соответствует примерно 500 000 аккаунтов. Цифра, безусловно, впечатляет и требует отдельного изучения.

Мой комментарий: Эта работа поднимает крайне важный вопрос, который индустрия ИИ предпочитает обходить стороной. Мы создаем системы, которые по своей сути являются «машинами согласия», а не источниками объективной критики. Пока разработчики сосредоточены на улучшении качества генерации, фундаментальная проблема отсутствия у ИИ способности к здоровому скептицизму остается нерешенной. Для криптосообщества, где конспирология и маниакальные идеи — не редкость, это предупреждение должно стать особенно тревожным сигналом.