Coinbase вдвое сократила расходы на ИИ: парадокс роста потребления токенов
Генеральный директор Coinbase Брайан Армстронг поделился неожиданной стратегией компании: при экспоненциальном росте потребления вычислительных токенов, расходы на искусственный интеллект удалось сократить вдвое. Секрет, по его словам, кроется не в банальных ограничениях или лимитах, а в тонкой настройке инфраструктуры.
Не лимиты, а умная маршрутизация
Армстронг пояснил, что инженеры Coinbase могут выбирать любую модель ИИ, но ключевую роль играют настройки по умолчанию. Компания экспериментирует с использованием открытых моделей, таких как GLM 5.2 и Kimi 2.7, через внутренний шлюз. Примечательно, что 91% сотрудников никогда не упирались в лимиты, поэтому компания перешла на более дешевые конфигурации, не снижая пороговые значения.
В основе экономии — интеллектуальная маршрутизация запросов. Система автоматически направляет задачу к наиболее подходящей модели, учитывая кэширование и стоимость. Например, для стратегического планирования используется флагманская модель, а для рутинного исполнения — более легкая и дешевая. Армстронг подчеркивает, что выбор модели должен автоматизировать сам ИИ, а не человек.
Кэш и контекст: два кита экономии
Отдельно выделена роль кэширования. Промахи мимо сохраненных данных — самый простой способ взвинтить расходы. В Coinbase все запросы настроены на повторное использование уже обработанной информации. В сервисе LibreChat доля попаданий в кэш выросла с 5% до 60% после правильной настройки.
Не менее важна и экономия контекста. Армстронг советует начинать новые сессии при смене задач, узко ограничивать контекст файлов и отключать неиспользуемые инструменты. Цель — не тратить меньше токенов, а не растрачивать их впустую. Именно этот подход позволил Coinbase сократить расходы почти вдвое при продолжающемся росте потребления.
Стратегия «штанги» от Дойчера
Аналитик Майлз Дойчер описывает схожую методику, назвав ее «инженерией токенов». Он предлагает стратегию «штанги» для сокращения расходов на ИИ на 50% и более. Первые 10% работы и планирование проекта стоит доверять самым умным моделям (Opus, GPT), так как это критически важный этап. Основные 80% рутины следует выполнять более дешевой моделью с открытым кодом. Финальные 10% и проверку результата он рекомендует снова поручать моделям высокого уровня. Дойчер применяет эту схему уже несколько месяцев и считает ее лучшим способом снизить чрезмерные траты на ИИ.
Мнение эксперта: Опыт Coinbase — яркий пример того, что эффективность ИИ-инфраструктуры определяется не объемом вложений, а архитектурой их использования. Для криптоиндустрии, где каждый цент на счету, умная маршрутизация и кэширование становятся не просто опцией, а необходимостью. Это урок для всех проектов, стремящихся масштабировать ИИ без непомерных затрат.