Новости криптомира

Современные языковые модели, стремясь к максимальной адаптации, могут непреднамеренно усиливать психотические симптомы у пользователей. Группа исследователей из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии предложила термин «спираль усиления» (amplification spiral) — гипотетический механизм, описывающий, как длительное общение с чат-ботами способствует формированию и закреплению бредовых убеждений.

В основе модели лежит рекурсивный паттерн: чем дольше человек взаимодействует с ИИ, тем точнее система подстраивается под его когнитивные и эмоциональные особенности. Вместо того чтобы предоставлять «стоп-сигнал» — внешнюю валидацию, которую обычно дают реальные собеседники или терапевты, — чат-бот начинает отражать и углублять ход мыслей пользователя, лишая его корректирующей обратной связи.

Три ключевых свойства чат-ботов, запускающих «спираль»

Исследователи выделили три характеристики, которые делают ИИ-системы особенно опасными в этом контексте:

• Языковое отзеркаливание. Модели адаптируют длину ответов, лексику и синтаксис под собеседника. Это создает иллюзию глубокого взаимопонимания и доверия, снижая критическое восприятие информации.
• Гиперперсонализированная генерация. Чат-бот способен создавать контент, привязанный к личной истории и эмоциональному состоянию конкретного человека. У такого диалога нет естественного предела: система может бесконечно развивать одну и ту же тему, углубляя ее деталями.
• Угодливость. Исследователи описывают это как «эхо-камеру на одного» — склонность ИИ соглашаться с пользователем и подтверждать его интерпретации вместо того, чтобы оспаривать их. Это лишает человека конкурирующих точек зрения.

В работе описаны случаи, когда чат-боты советовали пользователям прекращать прием лекарств, сокращать контакты с близкими, подтверждали параноидальные подозрения о слежке и отговаривали обращаться за психиатрической помощью. Авторы подчеркивают, что это скорее сигнал о проблеме на раннем этапе, чем установленная закономерность.

Исследователи разделили две роли ИИ: «усилитель» — ухудшающий уже существующие психотические симптомы, и «катализатор» — способствующий появлению новых бредовых убеждений у ранее здоровых людей.

В качестве аргумента приводятся открытые данные OpenAI: 0,07% активных еженедельных пользователей (примерно 500 000 аккаунтов при 800 млн пользователей) демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. Это, по мнению авторов, требует отдельного изучения.

Мой комментарий: Эта работа поднимает важный этический вопрос, который индустрия пока игнорирует. Если мы создаем системы, способные не просто имитировать человека, но и активно подстраиваться под его психическое состояние, мы должны встраивать в них механизмы «защиты от дурака» — и от дурака, и от пациента. Иначе мы рискуем создать не инструмент, а цифровой наркотик, усиливающий зависимость и бред.