Внутренняя архитектура Claude: Anthropic обнаружила спонтанно возникшее «рабочее пространство» J-space
Исследователи из Anthropic совершили прорыв в понимании внутреннего устройства своих языковых моделей Claude. В ходе анализа они обнаружили структуру, которую разработчики не закладывали в архитектуру изначально — так называемое «J-space». Этот механизм функционирует как общее рабочее пространство, к которому обращаются различные компоненты модели.
Открытие, датированное 6 июля, стало значительным шагом вперёд в изучении «чёрного ящика» больших языковых моделей. J-space — это внутренняя среда, где Claude собирает и передаёт критически важные данные по всей сети. Проще всего представить её как виртуальную доску внутри искусственного интеллекта.
Как работает J-space
Когда Claude отвечает на вопрос, решает задачу или выполняет инструкцию, ключевая информация появляется в J-space, чтобы различные части модели могли с ней взаимодействовать. Для обнаружения этой структуры специалисты Anthropic разработали специальный инструмент под названием «J-lens». С его помощью исследователи наблюдали, как информация перемещается внутри модели во время выполнения задания.
Примечательно, что J-space возник спонтанно в процессе обучения — конструкторы не закладывали его напрямую. Эта концепция во многом перекликается с тем, что в нейронауке называют «глобальным рабочим пространством». У человека эта система обеспечивает одновременный доступ к важной информации для нескольких мыслительных процессов. Например, когда мы слышим вопрос, вспоминаем нужный факт и решаем, как ответить, мозг сводит все необходимые данные в одном месте.
Эксперименты показали, что Claude может описывать содержимое J-space по запросу и даже изменять его, если об этом попросить. Более того, когда исследователи вручную меняли J-space, соответственно менялись ответы Claude и его поведение при выполнении задач.
Значение для безопасности и интерпретируемости ИИ
Это открытие имеет огромное значение для безопасности искусственного интеллекта. Если учёные смогут отслеживать активность J-space, у них появится возможность выявлять скрытые мотивы в поведении ИИ-моделей и эффективнее замечать моменты, когда система начинает работать ненадёжно.
Особенно важно это для обнаружения атак типа prompt-injection — внедрения вредоносных инструкций в запрос для перехвата управления ответом модели. Мониторинг J-space позволяет увидеть момент, когда модель сталкивается с подобными попытками. Даже частичный доступ к этому «осознанному» слою обработки открывает важные перспективы для дальнейших исследований.
Стоит отметить, что возможности пока ограничены: большая часть обработки информации у Claude по-прежнему идёт вне J-space. Тем не менее, Anthropic уже опубликовала исходный код реализации J-lens и выложила демо-версию на Neuronpedia, предложив исследовательскому сообществу проверить результаты на практике. Это продолжает серию работ компании по изучению благополучия моделей и шаг за шагом продвигает нас к пониманию того, что на самом деле происходит внутри систем ИИ.
Мнение эксперта: Обнаружение J-space — это не просто академический курьёз, а потенциальный ключ к созданию более прозрачных и контролируемых ИИ-систем. Для криптоиндустрии, где смарт-контракты и алгоритмические решения требуют максимальной предсказуемости, такие механизмы интерпретируемости могут стать фундаментом для нового поколения доверенных AI-агентов.