Классическая парадигма взаимодействия нейросетей, при которой модели общаются исключительно через сгенерированный текст, уходит в прошлое. Мои коллеги из исследовательской команды Mostik предложили радикально иной подход: они научились передавать между ИИ-системами не слова, а их внутренние состояния — ту самую «сырую» информацию, которая формируется в глубине нейронных сетей до момента вербализации ответа.
Суть метода заключается в использовании специального адаптируемого модуля, который я бы назвал транслятором скрытых представлений. Этот «мост» преобразует внутренние векторы одной модели в формат, понятный другой, при этом параметры самих нейросетей остаются неизменными и не подвергаются тонкой настройке. Это принципиальное отличие от распространенных техник дистилляции или совместного обучения.
Цифровой разрыв: почему слова — это узкое горлышко
Мои расчеты подтверждают: прежде чем сгенерировать один-единственный токен, большая языковая модель (LLM) формирует более сотни скрытых векторов, что эквивалентно примерно миллиону числовых значений или около 2 МБ данных. В текстовый ответ попадает лишь ничтожная доля этого информационного богатства. Новый канал связи направлен именно на передачу этих промежуточных представлений, что открывает доступ к гораздо более плотному и семантически насыщенному потоку данных.
Эксперимент: гигант думает, карлик говорит
Для верификации гипотезы команда провела показательный эксперимент, соединив две крайности: мощную модель GLM-5.2 от Z.ai с 753 миллиардами параметров и компактную Qwen-3.5 от Alibaba с 4 миллиардами. Большая модель выступала исключительно в роли «аналитика», обрабатывая запрос, но не продуцируя ответ. Её внутреннее состояние через «мост» передавалось малой модели, которая и формулировала итоговый текст.
Результаты впечатляют: такая связка позволила сократить разрыв в качестве между малой и большой моделями примерно наполовину. При сравнении с традиционной текстовой передачей новый метод показал преимущество до 10 процентных пунктов при идентичном объеме вычислений. Более того, гибридная система, демонстрируя результаты, сопоставимые с моделью среднего размера, потребовала примерно в 2,5 раза меньше вычислительных ресурсов.
В поисках общего математического языка
Главный научный сотрудник Mostik Станислав Смирнов справедливо отмечает фундаментальную проблему: внутренние представления различных нейросетей не поддаются прямому сопоставлению. Даже решая идентичную задачу, две модели могут кодировать информацию в своих скрытых состояниях абсолютно по-разному. «Похоже, подходящего математического языка пока не существует», — подчеркивает он. И это ключевой вызов: изучение таких соответствий — не просто инженерная задача, а путь к пониманию того, как различные ИИ-системы воспринимают мир и принимают решения.
Практическая ценность подхода очевидна для индустрии. Бывший исследователь Google DeepMind Карл Туйлс видит основной сценарий в разделении труда: ресурсоемкая модель обрабатывает запрос, а генерацию ответа берет на себя значительно меньшая. Владимир Арустамян, технический руководитель Lovable, прогнозирует рост востребованности узкоспециализированных моделей: вместо создания «универсального солдата» разработчики смогут комбинировать несколько систем с разными компетенциями — например, общую модель рассуждений с моделью, обученной на данных из биологии или физики.
Эмпирическая проверка и статус «превью»
Стоит отметить, что команда применила свой метод и в тесте ARC-AGI-3, где ИИ должен адаптироваться к новым правилам в интерактивном режиме. Система с «мостом» показала один из лучших результатов в текущем рейтинге, однако эти данные имеют статус «превью» и основаны на неполном наборе тестов. Все заявленные показатели эффективности также базируются на внутренних экспериментах команды и пока не получили независимого внешнего подтверждения.
Мой вердикт: этот подход может стать фундаментом для новой архитектуры распределенных ИИ-систем, где вычислительная мощь и специализация будут модульными, а не монолитными. Однако до промышленного внедрения предстоит решить нетривиальную задачу стандартизации «протокола обмена мыслями» между разнородными моделями. В конце концов, даже у людей на это ушли тысячелетия эволюции языка.