Генеральный директор Coinbase Брайан Армстронг поделился с сообществом впечатляющими результатами оптимизации затрат на искусственный интеллект. Компании удалось сократить расходы на ИИ практически вдвое, и это при том, что потребление токенов продолжало экспоненциально расти. Секрет, по словам Армстронга, кроется не в жестких лимитах и запретах, а в интеллектуальной настройке инфраструктуры.
Ключевым элементом стратегии стала многоуровневая маршрутизация запросов. В Coinbase внедрили систему, где запросы от инженеров автоматически направляются к наиболее подходящей модели. Для сложных задач планирования и архитектуры используется передовая модель, а для рутинного кодинга — более легкая и дешевая. Армстронг подчеркивает, что выбор модели должен быть автоматизирован самим ИИ, а не человеком. Эксперименты с моделями с открытыми весами, такими как GLM 5.2 и Kimi 2.7, через внутренний шлюз также дали значительную экономию.
Кэширование и контекст: где прячутся лишние 50% затрат
Армстронг выделил два критически важных аспекта: кэширование и управление контекстом. Промахи мимо кэша — самый быстрый способ взвинтить расходы. В Coinbase перенастроили систему так, чтобы повторно использовать уже обработанную информацию. В сервисе LibreChat доля попаданий в кэш выросла с 5% до 60% после правильной настройки. Это означает, что 60% запросов не требуют повторных вычислений, что напрямую сокращает затраты.
Не менее важна «экономия контекста». Армстронг рекомендует начинать новые сессии при смене задач, жестко ограничивать контекст файлами и отключать неиспользуемые инструменты. Цель — не тратить меньше токенов, а не растрачивать их впустую на избыточный контекст. В результате, при росте потребления, Coinbase удалось выйти на плато расходов, а затем и сократить их почти вдвое.
Стратегия «штанги» от Майлза Дойчера
Аналитик Майлз Дойчер независимо описал схожую стратегию, назвав её «эрой инженерии токенов». Его подход — это стратегия «штанги»: 10% самых сложных и критических задач (планирование, архитектура) доверять самым умным и дорогим моделям (Opus, GPT), 80% рутинной работы выполнять дешевыми open-source моделями, а оставшиеся 10% (финальная проверка и доработка) снова поручать топовым моделям. Дойчер утверждает, что применяет эту схему уже несколько месяцев и считает её лучшим способом сократить чрезмерные траты на ИИ на 50% и более.
Аналитический комментарий Cryptalist: Опыт Coinbase — это не просто кейс экономии, а демонстрация зрелости рынка ИИ. Мы переходим от эпохи «чем больше, тем лучше» к эпохе «умной оптимизации». Для криптокомпаний, где каждый доллар на счету, эти принципы — не роскошь, а необходимость выживания в условиях высокой конкуренции. Стратегия «штанги» и интеллектуальная маршрутизация станут стандартом де-факто для эффективного использования ИИ в 2024-2025 годах.