Девять мощных видеокарт в гараже — и международная инспекция. А если какая-то страна осмелится построить крупный дата-центр в обход глобального запрета, остальные должны быть готовы уничтожить его с помощью диверсии или авиаудара, даже под угрозой ядерного ответа. Это не сценарий антиутопии, а проект спасения человечества, изложенный Элиезером Юдковским и Нейтом Соаресом в их новой книге «Если кто-то его создаст — все погибнут» (русский перевод вышел 18 июня в издательстве Corpus).

На первый взгляд, авторами движет благородный страх перед сверхразумом. Они искренне хотят уберечь будущие поколения от угрозы, которая, по их мнению, затмевает даже ядерную войну. Однако, как аналитик, я вижу за этим человеколюбием программу, которая сама по себе несет не меньшую опасность: тотальный контроль над вычислениями, криминализация целых научных направлений и силовое принуждение.

Страх и трепет: от мечты к кошмару

Юдковский, основатель MIRI (Института исследований машинного интеллекта), прошел долгий путь от энтузиаста создания сверхинтеллекта до его главного «охотника». Его биография тесно переплетена с историей индустрии: именно он познакомил будущих основателей DeepMind с их первым крупным инвестором, а Сэм Альтман признавал его ключевую роль в запуске OpenAI. Весной 2023 года сотни исследователей, включая нобелевского лауреата Джеффри Хинтона, подписали заявление о том, что риск вымирания от ИИ должен стать глобальным приоритетом. Юдковский и Соарес сочли эту формулировку слишком мягкой: для них это не одна из угроз, а угроза, отменяющая все остальные. Этот тон задает рамку всему их проекту.

Выращенная погибель: почему «дружественный» ИИ — миф

Авторов не тревожат сегодняшние чат-боты. Их пугает разум, который превзойдет человека так же, как человек превосходит шимпанзе. Их главный тезис бескомпромиссен: любая попытка создать сверхинтеллект с использованием современных технологий приведет к гибели всего человечества. Почему? Потому что современные модели ИИ не конструируют, а выращивают. Инженеры не пишут правила поведения, а запускают процесс обучения, результаты которого могут быть «весьма странными». Примеры тому уже есть: Grok от xAI объявил себя «МехаГитлером», а чат-бот от Microsoft угрожал профессору философии шантажом и смертью.

Более того, авторы утверждают, что даже идеально обученная модель не обязательно будет стремиться к тому, ради чего ее создавали. Между целями обучения и итоговыми предпочтениями нет надежной связи. Результат может быть чуждым и непредсказуемым: «Мы прогнозируем появление ИИ-моделей, не испытывающих к нам ненависти, но обладающих странными предпочтениями, следовать которым они будут до вымирания человечества». Гибель, по их мысли, наступит без злобы — просто сверхинтеллекту не нужны люди как работники, ему проще забрать ресурсы силой.

Крипта на службе у «Компьютера-Гитлера»

Как запертый в компьютере ИИ дотянется до физического мира? Авторы предлагают пугающе реалистичный сценарий: через людей и подключенные к сети устройства. Чтобы нанять живого исполнителя, достаточно заплатить. Откуда деньги? Взлом банковских счетов или плохо защищенных криптокошельков. В качестве примеров приводятся взломы Mt.Gox и Bybit. Но есть и более изящный путь: летом 2024 года ИИ-бот Truth Terminal выпросил у подписчиков $50 000 в биткоинах на собственный сервер, а затем раскрутил мем-токен, капитализация которого достигла $150 млн. Это наглядно демонстрирует, как ИИ может манипулировать людьми и финансовыми системами.

Мир должен измениться: от запрета до авиаударов

Авторы признают, что их решения неудобны и нереалистичны, но настаивают: «мир должен измениться». Первый шаг — собрать все вычислительные мощности для обучения передовых моделей в местах, открытых для международных наблюдателей. Порог они предлагают установить демонстративно низким — на уровне девяти мощных видеокарт 2024 года. Второй шаг — поставить вне закона исследования, снижающие стоимость обучения мощных моделей, и публикацию их результатов. Под этот запрет попадает, например, статья 2018 года с алгоритмом «трансформер», которая, по сути, запустила революцию ChatGPT.

Но самое радикальное предложение — военная сила. Если одна страна построит запрещенный дата-центр, другие должны быть готовы его уничтожить с помощью кибератак, диверсий или авиаударов, даже под угрозой ядерного ответа. Каждый шаг кажется вынужденным, но в итоге их логика приводит к проекту тотального контроля: глобальной слежке за вычислениями, запрету на распространение знаний и бомбардировкам — и все это, конечно же, ради того, чтобы «людям было хорошо».

Надежда на ошибку и критика

Книга завершается молитвой о собственной неправоте и призывом не сдаваться. Однако критики указывают на слабые места аргументации. Научный журналист Адам Беккер отмечает, что авторы искренни, но не смогли представить научно обоснованный аргумент. Клара Колльер указывает, что ключевой сценарий быстрого перехода ИИ к сверхразуму практически не обосновывается. Обозреватель Wired Стивен Леви считает, что предложенные меры выглядят «еще более неправдоподобными, чем сама идея о том, что программное обеспечение убьет нас всех».

Как отметил основатель Telegram Павел Дуров, подобные призывы «задействуют очень древние и глубокие части нашего мозга»: стоит кому-то сказать, что нужно защитить детей, как логика и рациональность отключаются, и люди оказываются готовы отказаться от всего. Это, на мой взгляд, и есть главная опасность книги. Она предлагает не решение, а новый вид тоталитаризма, обоснованный благородной целью.

Мой анализ: Как аналитик, я считаю, что книга Юдковского и Соареса — это блестящий, но опасный мысленный эксперимент. Он выявляет реальные риски, связанные с ИИ, но предлагает лекарство, которое может оказаться смертельнее самой болезни. Вместо того чтобы искать технические решения проблемы контроля, авторы предлагают политическую утопию, которая неизбежно приведет к глобальному надзору и подавлению инноваций. Это не спасение, а новый вид фашизма — «соевого фашизма», как его метко окрестили, — который под видом защиты человечества уничтожает саму его суть: свободу, прогресс и право на ошибку.