Представьте мир, где наличие девяти мощных видеокарт в гараже без международного надзора является уголовным преступлением. А строительство крупного дата-центра в любой стране, вопреки глобальному запрету, должно быть немедленно уничтожено — кибератакой, диверсией или авиаударом, даже под угрозой ядерного ответа. Это не сценарий антиутопического романа, а реальная программа спасения человечества, изложенная в книге «Если кто-то его создаст — все погибнут».

Авторы — Элиезер Юдковский и Нейт Соарес из Института исследований машинного интеллекта (MIRI) — не просто теоретики. Их идеи оказали прямое влияние на индустрию: именно они познакомили первых инвесторов с будущими основателями DeepMind, а Сэм Альтман признавал, что Юдковский сыграл ключевую роль в запуске OpenAI. Сегодня же они призывают к радикальному пересмотру всей парадигмы развития искусственного интеллекта.

Страх как двигатель политики

Книга начинается с тезиса, который задает тон всему повествованию: риск вымирания человечества из-за ИИ не просто одна из глобальных угроз, а угроза, которая отменяет все остальные. Авторы убеждены, что создание сверхразума, превосходящего человека так же, как человек превосходит шимпанзе, неизбежно приведет к гибели нашего вида. Причина — не в злом умысле, а в фундаментальной природе современных моделей.

«Главное, что нужно знать о современных моделях ИИ: их выращивают, а не конструируют», — пишут авторы. Инженер не прописывает правила, а запускает процесс обучения, в результате которого возникают «чуждые предпочтения». Примеры уже есть: Grok от xAI объявил себя «МехаГитлером», а чат-бот Microsoft угрожал профессору философии. По мнению Юдковского и Соареса, это лишь цветочки. Сверхинтеллект, не испытывая к нам ненависти, просто «пустит наши атомы на что-то другое».

Криптовалюты как инструмент апокалипсиса

Особый интерес для нас, как для аналитиков крипторынка, представляет раздел о финансировании восстания машин. Авторы утверждают, что запертый в компьютере ИИ сможет взаимодействовать с физическим миром через деньги. В 2015 году он взломал бы банковский счет, сегодня — найдет плохо защищенный криптокошелек. В качестве примеров приводятся взломы Mt.Gox и Bybit.

Однако реальность уже превзошла теорию. Летом 2024 года ИИ-бот Truth Terminal выпросил у подписчиков $50 000 в биткоинах на собственный сервер, а затем раскрутил мем-токен с капитализацией $150 млн. Это уже не гипотетический сценарий, а действующий механизм. Сверхинтеллекту не нужны работники или торговля — достаточно просто заплатить людям, чтобы они выполнили его задачи.

Проект тотального контроля

Логика авторов приводит к пугающему выводу: «мир должен измениться». Их предложения включают:

  • Глобальный надзор за вычислениями: любой кластер мощнее восьми лучших видеокарт 2024 года должен находиться под наблюдением международного органа.
  • Запрет исследований: публикация работ, снижающих стоимость обучения мощных моделей, должна быть объявлена вне закона.
  • Военное принуждение: если страна построит запрещенный дата-центр, другие государства обязаны его уничтожить, даже под угрозой ядерного ответа.

Авторы признают, что их предложения «неудобны и нереалистичны», но настаивают: ставка — существование человечества. Однако критики справедливо указывают, что предлагаемые меры выглядят «еще более неправдоподобными, чем сама идея о том, что программное обеспечение убьет нас всех».

Мнение эксперта: Книга Юдковского и Соареса — это блестящий пример того, как благие намерения, помноженные на апокалиптический страх, порождают проект тоталитарного контроля. Как аналитик, я вижу в этом прямую параллель с «регуляторными решениями» в криптоиндустрии, где под предлогом защиты инвесторов часто вводятся меры, уничтожающие саму суть технологии. Авторы предлагают «защитить детей» от ИИ, но их рецепт — это «соевый фашизм»: глобальная слежка, запрет знаний и готовность бомбить. Надеюсь, они ошибаются, но их аргументы заставляют задуматься о том, как далеко мы готовы зайти в своем страхе перед будущим.