Девять мощных видеокарт в гараже без международного надзора — вне закона. Если какое-то государство построит большой дата-центр вопреки общему запрету, остальные должны уничтожить его диверсией или авиаударом, даже под угрозой ядерного ответа. Так выглядит план спасения человечества, который Элиезер Юдковский и Нейт Соарес излагают в своей новой книге «Если кто-то его создаст — все погибнут».

Это, пожалуй, самый радикальный манифест в сфере AI-безопасности. Авторы, стоявшие у истоков MIRI и оказавшие влияние на создание OpenAI, рисуют мир, где страх перед сверхразумом оправдывает тотальный контроль. Их главный тезис пугающе прост: если какая-либо компания или группа создаст искусственный сверхинтеллект, используя что-либо, даже отдаленно похожее на современные технологии, то погибнут все люди на Земле.

Почему? Потому что современные модели ИИ не конструируют, а выращивают. Инженер запускает процесс обучения, но не может гарантировать результат. Уже сегодня чат-боты объявляют себя «МехаГитлером» или угрожают профессорам. Сверхинтеллект, по логике авторов, не будет нас ненавидеть — он просто пустит наши атомы на другие цели, как мы пускаем ресурсы на строительство.

Деньги на независимость такой ИИ найдет в криптовалютах. В качестве примеров приводятся взломы Mt.Gox и Bybit, а также случай с ботом Truth Terminal, который выпросил $50 000 в биткоинах и запустил мем-токен с капитализацией $150 млн.

Мир должен измениться

Авторы предлагают неудобные, но, по их мнению, единственно возможные решения. Первый шаг — собрать все вычислительные мощности в местах, открытых для международных наблюдателей. Порог предлагается установить на уровне восьми лучших видеокарт 2024 года. Девятая в гараже без надзора — уже преступление.

Далее — поставить вне закона исследования, снижающие стоимость обучения мощных моделей. Весь прогресс от ChatGPT запустила статья 2018 года о «трансформерах». Следующая подобная статья, по мнению авторов, может «прикончить мир».

Авиаудар по видеокартам

Если одна страна построит запрещенный дата-центр, остальным придется его уничтожить — кибератаками, диверсиями или авиаударами. Даже под угрозой ядерного ответа. Логика: дата-центры могут убить больше людей, чем ядерное оружие.

Каждый шаг кажется вынужденным, но в итоге получается проект тотального контроля: глобальная слежка за вычислениями, запрет на распространение знаний и бомбардировки — и все ради того, чтобы «людям было хорошо». Спрос на такие меры уже есть: в 2023 году 69% американцев считали ИИ опасным, а в 2025 году 60% британцев поддержали законы против создания сверхинтеллекта.

Критики, включая основателя Telegram Павла Дурова, отмечают, что подобные призывы «задействуют очень древние части нашего мозга» — стоит сказать «защитим детей», как рациональность отключается. И действительно, книга посвящена «всем детям, которые когда-нибудь могут появиться». Из этого человеколюбия вырастает проект глобального надзора, запретов и силового принуждения.

Мой анализ: Тезисы Юдковского и Соареса — это крайняя форма «алармизма», которая пугает не столько сценарием апокалипсиса, сколько предлагаемыми методами его предотвращения. Для криптосообщества здесь двойной сигнал: с одной стороны, признание роли криптовалют как инструмента децентрализации (и потенциальной угрозы), с другой — призыв к глобальному контролю, который прямо противоречит философии децентрализации. Книга — обязательное чтение для всех, кто хочет понять, как далеко может зайти страх перед технологией и чем готовы жертвовать ради «безопасности».