Бутерин предупреждает: ИИ-гиганты грезят о «мировом господстве», а человечество застряло между двух наивностей
Сооснователь Ethereum Виталик Бутерин вновь ворвался в дискуссию о будущем искусственного интеллекта, и его слова — это не просто критика, а глубокая аналитическая оценка текущего тупика. Он заявил, что не видит ни одного реалистичного плана по управлению переходом к искусственному суперинтеллекту (ASI). По его мнению, человечество оказалось перед выбором между двумя сценариями: «наивным» и «наивным в квадрате».
Поводом для этого заявления стал спор вокруг прогнозного сценария «ИИ 2040» и его критиков. Бутерин отмечает, что обе стороны «заперты во взаимно несовместимых картинах мира» относительно темпов развития ИИ. Сценарий «ИИ 2040» предполагает появление суперинтеллекта к 2040 году практически при любом развитии событий, за исключением титанических усилий по его полной остановке. Критики же, по наблюдению разработчика, называют такой прогноз наивным, переоценивая способность людей к координации. При этом они сами, по мнению Бутерина, проявляют наивность, допуская, что переход к суперинтеллекту пройдет гладко и бесконфликтно по умолчанию.
Бутерин подчеркивает, что позиция критиков имеет смысл лишь в мире, где ИИ остается «обычной технологией». Однако в мире, где суперинтеллект возможен уже к 2030 году, она, по его словам, не выдерживает критики. Сам Виталик признается в глубокой неопределенности: будь он уверен хотя бы в одном из сценариев, он бы присоединился к соответствующему лагерю. Но пока он не понимает, в каком из миров живет человечество.
Опасения по поводу концентрации власти
Отдельно Бутерин выразил дискомфорт от риторики некоторых крупных ИИ-компаний. Его настораживает установка вида: «открытый код — это плохо, а хороший исход тот, где наши парни получают контролирующее мировое господство». Он считает, что в «нормальном» мире подобные заявления должны включать все политические тревожные сигналы одновременно.
Сам суперинтеллект Бутерин рассматривает как огромный риск концентрации власти. Именно поэтому он продвигает платформу d/acc, которая включает развитие формальной верификации, криптографии, защищенного открытого оборудования, устойчивости к пандемиям и общественной эпистемологии. Ценность этих направлений в том, что они полезны в обоих сценариях будущего.
Как найти компромисс
Ключевым разработчик Ethereum считает поиск сделки, приемлемой для обеих сторон. «Выигрышной будет договоренность, которую обе стороны примут, исходя из своих нынешних убеждений, пусть и по разным причинам», — отметил он.
Бутерин предлагает заранее согласовать набор триггеров, сигнализирующих о том, что «происходит нечто серьезное». В качестве примеров он назвал суперпандемии, уровень безработицы выше 25% или появление автономного оружия. Если достаточное число таких триггеров сработает в оговоренный срок, стороны заранее соглашаются серьезно рассмотреть замедление или паузу. По его идее, критики примут это, ожидая, что триггеры не сработают, а обеспокоенные — ожидая обратного.
Обращаясь к главам технологических гигантов, Бутерин признал, что будь он на месте Илона Маска или Марка Цукерберга, то перестроил бы социальные платформы под поиск подобных взаимовыгодных сделок. Однако он тут же добавил, что и эта идея наивна.
Аналитический комментарий Cryptalist: Позиция Бутерина — это редкий пример системного мышления в хаосе ИИ-гонки. Его предложение по триггерам — это, по сути, попытка применить принципы смарт-контрактов к глобальному управлению рисками. Пока же рынок и разработчики зациклены на скорости, забывая, что в гонке без правил победитель может оказаться в пустом и радиоактивном мире.