Генеральный директор Coinbase Брайан Армстронг поделился деталями стратегии, которая позволила компании сократить расходы на искусственный интеллект почти вдвое при одновременном экспоненциальном росте потребления токенов. Это не результат жестких лимитов или бюрократических ограничений, а следствие грамотной инженерной оптимизации: настройки моделей по умолчанию, маршрутизации запросов и агрессивного кэширования.

Армстронг отмечает, что инженеры вольны выбирать любую модель, но решающее значение имеют дефолтные настройки. Coinbase экспериментирует с установкой в качестве базовых open-weight моделей вроде GLM 5.2 и Kimi 2.7 через внутренний шлюз. Примечательно, что 91% сотрудников никогда не упирались в лимиты, поэтому компания пошла по пути снижения стоимости, а не ужесточения квот.

Ключевой элемент экономии — интеллектуальная маршрутизация. Запросы предварительно анализируются и направляются к наиболее подходящей модели с учетом попадания в кэш и стоимости. Например, для стратегического планирования нужна передовая модель, но для рутинного исполнения она избыточна. Армстронг подчеркивает: выбор модели в идеале должен автоматизировать сам ИИ, а не человек.

Отдельно выделена роль кэширования. Промахи мимо сохраненных данных — самый простой способ взвинтить расходы. В Coinbase все запросы настроены на повторное использование уже обработанной информации. В сервисе LibreChat доля попаданий в кэш выросла с 5% до 60% после правильной настройки.

Также важна экономия контекста. Армстронг советует начинать новые сессии при смене задач, узко ограничивать контекст файлов и отключать неиспользуемые инструменты. Цель — не тратить меньше токенов, а не растрачивать их впустую.

Стратегия «штанги» от Дойчера

Аналитик Майлз Дойчер описывает схожий подход, называя его «инженерией токенов» и стратегией «штанги» для сокращения расходов на 50% и более. Первые 10% работы (планирование) он доверяет самым умным моделям вроде Opus или GPT. Основные 80% рутины выполняются более дешевой open-source моделью. Финальные 10% (проверка результата) снова поручаются моделям высокого уровня. Дойчер применяет эту схему уже несколько месяцев и считает ее лучшим способом снизить чрезмерные траты на ИИ.

Аналитика Cryptalist: Опыт Coinbase — наглядный пример того, что эффективность внедрения ИИ определяется не бюджетом, а архитектурой. Разделение задач по сложности и максимизация кэширования — это те «быстрые победы», которые доступны любой компании, а не только гигантам. Рынок переходит от гонки за самыми дорогими моделями к эпохе их рационального применения.