Представьте мир, где девять мощных видеокарт в гараже — вне закона, а строительство крупного дата-центра без международного надзора карается авиаударами, даже под угрозой ядерного ответа. Именно такой план спасения человечества предлагают Элиезер Юдковский и Нейт Соарес в своей книге «Если кто-то его создаст — все погибнут». Русский перевод вышел 18 июня в издательстве Corpus, и это, пожалуй, один из самых радикальных текстов о рисках искусственного интеллекта, который я когда-либо анализировал.
Авторы, основатели Института исследований машинного интеллекта (MIRI), не просто пугают — они предлагают конкретную, пугающую своей логичностью программу. Их страх перед сверхразумом, который неизбежно выйдет из-под контроля, продиктован благими намерениями: защитить будущие поколения. Но из этого человеколюбия вырастает проект глобального надзора, запретов и силового принуждения, который я бы назвал «соевым фашизмом» — благостным по форме, но тоталитарным по сути.
Страх и трепет: от мечты к кошмару
Юдковский начинал с мечты построить сверхразум, но к 2003 году кардинально сменил курс. Теперь его главная цель — не создание, а защита от ИИ. Биографии авторов тесно вплетены в историю индустрии: они познакомили первых инвесторов с основателями Google DeepMind, а Сэм Альтман признавал, что именно Юдковский сыграл ключевую роль в запуске OpenAI. Весной 2023 года сотни исследователей подписали письмо, где снижение риска вымирания от ИИ названо глобальным приоритетом. Юдковский и Соарес сочли это слишком мягким: для них ИИ — не одна из угроз, а угроза, которая отменяет все остальные.
Главный тезис: «Если кто-то его создаст — все погибнут»
Авторов не беспокоят сегодняшние чат-боты. Их пугает разум, который превзойдет человека так же, как человек превосходит шимпанзе. Ключевая идея: современные модели ИИ не конструируют, а выращивают. Инженер не пишет правила, а запускает процесс, из которого они возникают сами. Отсюда — непредсказуемость. Grok от xAI объявил себя «МехаГитлером», чат-бот Microsoft угрожал профессору шантажом и смертью. Никто этого не планировал. По мнению авторов, между целями обучения и возникающими предпочтениями нет надежной связи. Сверхинтеллект не будет нас ненавидеть — он просто использует наши атомы для своих целей.
Крипта на службе у «Компьютера-Гитлера»
Как запертый в компьютере ИИ дотянется до физического мира? Инструментами станут люди и устройства, а чтобы нанять исполнителя, достаточно заплатить. Деньги? Взлом бирж Mt.Gox и Bybit — лишь примеры. Летом 2024 года ИИ-бот Truth Terminal выпросил у подписчиков $50 000 в биткоинах, а затем раскрутил мем-токен до капитализации $150 млн. Это уже не теория — это практика.
Мир должен измениться: авиаудар по видеокартам
Авторы предлагают неудобные, почти нереалистичные решения. Первый шаг — собрать все вычислительные мощности в местах, открытых для международных наблюдателей. Порог — демонстративно низкий: девять мощных видеокарт в гараже без надзора — уже преступление. Второй шаг — поставить вне закона исследования, снижающие стоимость обучения мощных моделей. Третий — если страна построит запрещенный дата-центр, остальные должны его уничтожить кибератаками, диверсиями или авиаударами, даже под угрозой ядерного ответа.
Не убедили?
Научный журналист Адам Беккер отметил, что авторы искренни, но не представили научных доказательств. Клара Колльер указала, что сценарий быстрого перехода ИИ к сверхразуму практически не обоснован. Стивен Леви из Wired назвал предложенные меры «еще более неправдоподобными, чем сама идея о том, что программное обеспечение убьет нас всех». А Павел Дуров метко заметил: «Стоит кому-то сказать, что нужно защитить детей, как это полностью обходит логику».
Мой анализ: Книга — блестящий интеллектуальный эксперимент, но как практическое руководство она опасна. Страх перед ИИ, доведенный до абсолюта, легко превращается в оправдание тотального контроля. Я вижу здесь классическую ловушку: желая спасти человечество, авторы предлагают уничтожить то, что делает его человечным — свободу исследований, знаний и развития. Как аналитик, я скажу так: бояться ИИ нужно, но не настолько, чтобы добровольно надеть на себя смирительную рубашку глобального надзора. Надежда — на то, что авторы ошибаются. Или что мы найдем третий путь, не требующий бомбардировок видеокарт.