Генеральный директор Coinbase Брайан Армстронг раскрыл механизм, который позволил компании сократить затраты на искусственный интеллект почти вдвое, несмотря на экспоненциальный рост потребления вычислительных токенов. По его словам, ключ к успеху — не в жёстких лимитах и бюрократических запретах, а в умной архитектуре: настройках по умолчанию, маршрутизации запросов и агрессивном кэшировании.
Армстронг подчеркнул, что инженеры Coinbase могут выбирать любую модель для работы, но решающее значение имеют именно дефолтные конфигурации. Компания активно экспериментирует, устанавливая по умолчанию лёгкие модели с открытыми весами, такие как GLM 5.2 и Kimi 2.7, доступные через внутренний шлюз. Удивительно, но 91% сотрудников ни разу не упёрлись в установленные лимиты — поэтому компания пошла по пути удешевления базовых настроек, а не снижения потолков расходов.
Маршрутизация, кэш и экономия контекста
Внутренняя система Coinbase предварительно анализирует каждый запрос и автоматически направляет его к наиболее подходящей модели, учитывая вероятность попадания в кэш и итоговую стоимость. Например, для стратегического планирования нужна передовая модель, но для рутинного исполнения она избыточна и дорога. Армстронг настаивает, что выбор модели в идеале должен автоматизировать сам ИИ, а не человек.
Особое внимание уделено кэшированию. Промахи мимо сохранённых данных — самый быстрый способ взвинтить счёт. Все запросы в Coinbase настроены на повторное использование уже обработанной информации. В сервисе LibreChat доля попаданий в кэш выросла с 5% до 60% после правильной настройки. Также критически важна «экономия контекста»: Армстронг советует начинать новые сессии при смене задач, жёстко ограничивать контекст файлов и отключать неиспользуемые инструменты. Цель — не тратить меньше токенов в принципе, а не растрачивать их впустую. Именно такой подход позволил Coinbase сократить расходы на ИИ почти вдвое при продолжающемся росте потребления.
Стратегия «штанг» от Дойчера
Аналогичный метод популяризирует аналитик Майлз Дойчер, называя его «инженерией токенов». Он предлагает стратегию «штанг» для сокращения расходов на ИИ на 50% и более. Первые 10% работы и планирование проекта Дойчер рекомендует доверять самым умным моделям (Opus, GPT) — это критически важный этап. Основные 80% рутины следует выполнять более дешёвой моделью с открытым исходным кодом. Финальные 10% и проверку результата он снова поручает моделям высокого уровня. Дойчер применяет эту схему уже несколько месяцев и считает её лучшим способом обуздать чрезмерные траты на ИИ.
Мнение эксперта: Опыт Coinbase — наглядный пример того, что в эпоху высоких затрат на вычисления побеждает не тот, кто тратит больше, а тот, кто тратит умнее. Переход от модели «всем по самой мощной модели» к интеллектуальной маршрутизации и кэшированию — это не просто экономия, а новый стандарт инженерной культуры. Стратегия «штанг» Дойчера логично дополняет этот подход, предлагая прагматичный шаблон для любой команды разработчиков. Рынок ИИ движется к тотальной оптимизации, и Coinbase здесь — один из ярких первопроходцев.