Сооснователь Ethereum Виталик Бутерин вновь поднял острый вопрос, заявив, что не видит ни одного вразумительного сценария перехода к искусственному суперинтеллекту (ASI). По его словам, человечество застряло между двумя крайностями: «наивным» и «наивным в квадрате» подходами к будущему ИИ.
Поводом стала дискуссия вокруг сценария «ИИ 2040», который предсказывает появление суперинтеллекта к 2040 году практически при любом раскладе, за исключением титанических усилий по его полной остановке. Критики этого сценария, по наблюдению Бутерина, называют его наивным в оценке способности людей к координации. Однако сам разработчик Ethereum указывает на зеркальную проблему: оппоненты столь же наивно полагают, что переход к ASI пройдет гладко и безболезненно.
Власть, открытый код и тревожные сигналы
Особое беспокойство Бутерина вызывает риторика некоторых крупных ИИ-компаний. Его настораживает установка, которая сводится к формуле: «открытый код — это плохо, а хороший исход — это когда наши парни получают контролирующее мировое господство». По мнению основателя Ethereum, подобные заявления в «нормальном» мире должны включать все политические тревожные сигналы одновременно. Он рассматривает сам суперинтеллект как колоссальный риск концентрации власти.
Именно поэтому Бутерин продвигает платформу d/acc, которая фокусируется на развитии формальной верификации, криптографии, защищенного открытого оборудования, устойчивости к пандемиям и общественной эпистемологии. Ценность этого направления в том, что оно полезно при любом сценарии развития событий — и при быстром, и при медленном приходе ASI. Примечательно, что сам сценарий «ИИ 2040» он оценил позитивно за его дружелюбность к открытому коду.
Поиск компромисса: триггеры и паузы
В качестве выхода из тупика Бутерин предлагает заранее согласовать набор триггеров, сигнализирующих о том, что «происходит нечто серьезное». Среди примеров — суперпандемии, уровень безработицы выше 25% или появление автономного оружия. Если достаточное количество таких триггеров сработает к оговоренному сроку, стороны обязуются серьезно рассмотреть замедление или паузу в развитии. Идея в том, что критики примут это, ожидая, что триггеры не сработают, а обеспокоенные — наоборот.
Бутерин также обратился к главам технологических гигантов, предположив, что будь он на месте Илона Маска или Марка Цукерберга, он перестроил бы социальные платформы для поиска подобных взаимовыгодных сделок. Впрочем, он сам признает наивность этой идеи.
Мой анализ: Позиция Бутерина — это редкий случай, когда лидер криптоиндустрии предлагает не просто критику, а конкретный механизм управления рисками. Идея с триггерами и паузами — это, по сути, попытка применить принципы смарт-контрактов и децентрализованного управления к глобальной проблеме ИИ. Это может стать той самой «договоренностью», которую обе стороны примут исходя из своих нынешних убеждений, пусть и по разным причинам. Пока же мы видим классический тупик: ни одна из сторон не готова уступить, а ставки растут с каждым днем.