Генеральный директор Coinbase Брайан Армстронг поделился впечатляющими результатами оптимизации расходов на искусственный интеллект. Вопреки распространённому мнению, компания сумела сократить затраты на ИИ почти вдвое, при этом потребление токенов продолжало расти. Ключ к успеху — не в жёстких лимитах и тотальном контроле, а в умной настройке по умолчанию, маршрутизации запросов и эффективном кэшировании.

Армстронг отметил, что инженеры Coinbase могут выбирать любую модель, но именно настройки по умолчанию имеют решающее значение. Компания экспериментирует с использованием более дешёвых моделей с открытыми весами, таких как GLM 5.2 и Kimi 2.7, через внутренний шлюз. Примечательно, что 91% сотрудников никогда не упирались в лимиты, поэтому компания перешла к более дешёвым настройкам вместо снижения лимитов. Это позволило сохранить продуктивность, одновременно снизив издержки.

Маршрутизация, кэш и экономия контекста

По словам Армстронга, в собственных системах Coinbase запросы предварительно обрабатываются и направляются к наиболее подходящей модели с учётом попаданий в кэш и стоимости. Например, передовая модель необходима для планирования, но избыточна для исполнения. Выбор модели должен автоматизировать сам ИИ, а не человек.

Особое внимание уделено кэшированию. Промахи мимо сохранённых данных — самый простой способ взвинтить расходы, поэтому все запросы настроены на повторное использование уже обработанной информации. В сервисе LibreChat доля таких попаданий выросла с 5% до 60% после правильной настройки.

Важным фактором названа и экономия контекста. Армстронг советует начинать новые сессии при смене задач, узко ограничивать контекст файлов и отключать неиспользуемые инструменты. Цель — не тратить меньше токенов, а меньше растрачивать их впустую. Такой подход позволил Coinbase сократить расходы почти вдвое при продолжающемся росте потребления.

Стратегия «штанг» от Дойчера

Схожий подход описал аналитик Майлз Дойчер, назвав происходящее эрой «инженерии токенов». Он предложил стратегию «штанг» для сокращения расходов на ИИ на 50% и более. Первые 10% работы и планирование проекта он советует доверять самым умным моделям (Opus, GPT), так как это важнейший этап. Основные 80% рутинной работы стоит выполнять более дешёвой моделью с открытым исходным кодом. Финальные 10% и проверку результата снова поручать моделям высокого уровня. Дойчер применяет эту схему уже несколько месяцев и считает её лучшим способом снизить чрезмерные траты на ИИ.

Мнение эксперта: Стратегия Coinbase — яркий пример того, как грамотная архитектура и инженерная культура могут кардинально повысить эффективность ИИ-инфраструктуры. В эпоху, когда каждый токен на счету, умение правильно маршрутизировать запросы и использовать кэширование становится конкурентным преимуществом. Рекомендую всем компаниям, внедряющим ИИ, обратить внимание на эти практики — они не только экономят бюджет, но и повышают скорость работы систем.