Генеральный директор Coinbase Брайан Армстронг раскрыл впечатляющие результаты оптимизации затрат на искусственный интеллект: компания сократила расходы на ИИ почти вдвое, несмотря на экспоненциальный рост потребления токенов. Это наглядный пример того, как грамотная инженерная культура и стратегический подход могут обратить вспять тренд бесконтрольного роста издержек.

Ключевой вывод Армстронга: экономия достигается не за счет жестких лимитов и бюрократического контроля над тратами, а благодаря более умным настройкам по умолчанию, интеллектуальной маршрутизации запросов и эффективному кэшированию. В Coinbase инженеры вольны выбирать любую модель, но именно дефолтные конфигурации играют решающую роль. Более того, 91% сотрудников никогда не упирались в лимиты, поэтому компания перешла на более дешевые настройки, не снижая порогов.

Маршрутизация, кэш и экономия контекста

Внутренняя система Coinbase предварительно обрабатывает запросы и направляет их к наиболее подходящей модели, оценивая попадания в кэш и стоимость. Например, передовая модель нужна для стратегического планирования, но избыточна для рутинного исполнения. Выбор модели, по мнению Армстронга, должен автоматизировать сам ИИ, а не человек.

Особое внимание уделено кэшированию. Промахи мимо сохраненных данных — самый простой способ взвинтить расходы, поэтому все запросы настроены на повторное использование уже обработанной информации. В сервисе LibreChat доля таких попаданий выросла с 5% до 60% после правильной настройки. Также важна экономия контекста: Армстронг советует начинать новые сессии при смене задач, узко ограничивать контекст файлов и отключать неиспользуемые инструменты. Цель — не тратить меньше токенов, а меньше растрачивать их впустую.

Стратегия «штанги» от Дойчера

Аналитик Майлз Дойчер описывает схожий подход, называя его «инженерией токенов» и стратегией «штанги». Первые 10% работы (планирование проекта) он доверяет самым умным моделям (Opus, GPT). Основные 80% рутины выполняются более дешевыми моделями с открытым кодом. Финальные 10% и проверку результатов снова поручают моделям высокого уровня. Дойчер применяет эту схему уже несколько месяцев и считает ее лучшим способом снизить чрезмерные траты на ИИ.

Мой экспертный анализ: Опыт Coinbase — это не просто кейс экономии, а сдвиг парадигмы. Рынок переходит от гонки за самой мощной моделью к эре интеллектуального оркестрирования. Компании, которые научатся эффективно комбинировать разные модели и внедрят культуру «токен-эффективности», получат колоссальное конкурентное преимущество. Те же, кто продолжит использовать LLM как «молоток для всех гвоздей», столкнутся с неконтролируемым ростом издержек и потерей гибкости.