Генеральный директор Coinbase Брайан Армстронг поделился неожиданным кейсом: компания сократила расходы на искусственный интеллект почти вдвое, несмотря на экспоненциальный рост потребления токенов. Ключевой вывод — эффективность достигается не за счет жестких ограничений, а через оптимизацию настроек по умолчанию, умную маршрутизацию запросов и агрессивное кэширование.

Армстронг подчеркивает, что инженеры Coinbase могут выбирать любую модель, но решающее значение имеют именно дефолтные настройки. Компания экспериментирует с использованием в качестве базовых моделей с открытыми весами, таких как GLM 5.2 и Kimi 2.7, доступных через внутренний шлюз. Примечательно, что 91% сотрудников никогда не упирались в лимиты, поэтому компания перешла на более дешевые настройки, а не стала снижать квоты.

Маршрутизация, кэш и экономия контекста

Внутренняя архитектура Coinbase построена на предварительной обработке запросов. Система автоматически направляет задачу к наиболее подходящей модели, учитывая процент попаданий в кэш и стоимость. Например, для планирования используется передовая модель, но для выполнения рутинных задач она избыточна. Армстронг настаивает, что выбор модели должен автоматизировать сам ИИ, а не человек.

Отдельно выделена роль кэширования. Промахи мимо сохраненных данных — самый простой способ взвинтить расходы. В сервисе LibreChat доля попаданий в кэш выросла с 5% до 60% после правильной настройки. Также важна экономия контекста: Армстронг рекомендует начинать новые сессии при смене задач, узко ограничивать контекст файлов и отключать неиспользуемые инструменты. Цель — не тратить меньше токенов, а меньше растрачивать их впустую.

Стратегия «штанги» от Дойчера

Аналитик Майлз Дойчер описывает схожий подход, называя его «инженерией токенов». Его стратегия «штанги» позволяет сократить расходы на ИИ на 50% и более. Первые 10% работы и планирование проекта он доверяет самым умным моделям (Opus, GPT), так как это критически важный этап. Основные 80% рутины выполняются более дешевой open-source моделью. Финальные 10% и проверку результата снова поручают моделям высокого уровня. Дойчер применяет эту схему несколько месяцев и считает ее лучшим способом снизить чрезмерные траты на ИИ.

Мнение эксперта: Кейс Coinbase — это блестящий пример прагматичного подхода к внедрению ИИ в инфраструктуру. Рынок часто гонится за самыми дорогими моделями, забывая, что 80% задач не требуют такой вычислительной мощности. Автоматизация маршрутизации и агрессивное кэширование — это те самые «низко висящие фрукты», которые позволяют масштабировать использование ИИ без кратного роста бюджета. Для криптокомпаний, где каждый цент на счету, это не просто экономия, а вопрос выживания в конкурентной борьбе.