Сооснователь Ethereum Виталик Бутерин вновь ворвался в публичную дискуссию, но на этот раз его критика направлена не на блокчейн-индустрию, а на амбиции гигантов искусственного интеллекта. По его мнению, человечество застряло в тупике между двумя наивными сценариями развития событий, и ни один из них не предлагает реального плана управления переходом к искусственному суперинтеллекту (ASI).
Поводом для заявления стала дискуссия вокруг прогноза «ИИ 2040», который предполагает появление суперинтеллекта к 2040 году практически при любом раскладе — если только не будут предприняты титанические усилия для его полной остановки. Критики этого сценария, по словам Бутерина, называют его наивным в оценке способности людей к координации. Однако сам разработчик указывает на их собственную наивность: они допускают, что переход к ASI по умолчанию пройдет гладко.
Бутерин подчеркивает, что позиция скептиков имеет смысл лишь в мире, где ИИ остается «обычной технологией». Но в мире, где суперинтеллект возможен уже к 2030 году, она не выдерживает критики. Он признается в неопределенности: если бы он был уверен хотя бы в одном из сценариев, то присоединился бы к соответствующему лагерю. Но пока он не понимает, в каком из миров мы живем.
Риторика «открытый код — это плохо» вызывает тревогу
Отдельного внимания заслуживает критика Бутерина в адрес риторики крупных ИИ-компаний. Его настораживает установка, которая сводится к «открытый код — это плохо, а хороший исход — тот, где наши парни получают контролирующее мировое господство». По его мнению, подобные заявления в «нормальном» мире должны включать все политические тревожные сигналы одновременно.
Сам суперинтеллект Бутерин рассматривает как колоссальный риск концентрации власти. Именно поэтому он продвигает платформу d/acc, которая включает развитие формальной верификации, криптографии, защищенного открытого оборудования, устойчивости к пандемиям и общественной эпистемологии. Ценность этих направлений в том, что они полезны в обоих сценариях будущего.
Компромисс: триггеры для паузы
Ключевым элементом своей позиции Бутерин считает поиск сделки, приемлемой для обеих сторон. Он предлагает заранее согласовать набор триггеров, сигнализирующих о том, что «происходит нечто серьезное»: суперпандемии, безработица выше 25% или появление автономного оружия. Если достаточное количество таких триггеров сработает в оговоренный срок, стороны обязуются серьезно рассмотреть замедление или паузу.
По его замыслу, критики примут это, ожидая, что триггеры не сработают, а обеспокоенные — ожидая обратного. Обращаясь к лидерам tech-гигантов, Бутерин признает, что на месте Илона Маска или Марка Цукерберга он бы перестроил социальные платформы под поиск таких взаимовыгодных сделок. Но тут же добавляет, что и эта идея наивна.
Мой анализ: Позиция Бутерина — редкий пример прагматичного гуманизма в мире, где технологические корпорации грезят о тотальном контроле. Его идея с триггерами — это попытка внедрить механизмы «kill switch» на глобальном уровне, что может стать единственным разумным компромиссом между ускорением и катастрофой. Однако, как и сам Виталик признает, наивность этого подхода лишь подчеркивает глубину проблемы.