Visa представила специализированный бенчмарк Visa Agentic Commerce Benchmark, призванный оценить, насколько эффективно ИИ-агенты справляются с реальными сценариями покупок товаров. Результаты первого раунда тестирования оказались далеки от идеала и наглядно демонстрируют разрыв между амбициями автономной коммерции и текущим уровнем технологий.
В испытаниях приняли участие 22 модели от 12 лабораторий — внушительная выборка, охватывающая широкий спектр ведущих игроков рынка искусственного интеллекта. Средний показатель успешности составил лишь 57,2% пройденных попыток. Иными словами, почти каждое второе задание по подбору товаров завершилось провалом.
Что стоит за цифрой 57,2%
Показатель чуть выше половины — это не просто статистическая погрешность, а системный сигнал. Агентная коммерция предполагает, что ИИ самостоятельно интерпретирует запрос пользователя, ориентируется в каталогах, сравнивает параметры и принимает решение о покупке. Именно на этом многоступенчатом пути модели и демонстрируют уязвимость: ошибки накапливаются на каждом этапе, снижая итоговую надёжность.
Для платёжной индустрии и e-commerce это принципиально важный вывод. Автономные агенты обещают радикально изменить пользовательский опыт, но при текущей точности массовое доверие к ним преждевременно. Бизнес-модели, построенные на полной передаче закупочных и покупательских функций ИИ, пока не могут опираться на стабильный результат.
Бенчмарк Visa задаёт важный ориентир для всей отрасли: он переводит дискуссию об агентной коммерции из плоскости маркетинговых обещаний в плоскость измеримых метрик. Дальнейшие раунды тестирования покажут, насколько быстро модели способны преодолеть порог надёжности, необходимый для реальных транзакций.
Анализ Cryptalist: Результат в 57,2% отражает фундаментальную незрелость агентных ИИ-решений для коммерции: разрыв между демонстрационными возможностями и продакшн-надёжностью остаётся значительным. Для рынка это сигнал о том, что инфраструктура автономных платежей и закупок будет формироваться постепенно, а спрос сместится в сторону гибридных моделей с участием человека. Инвесторам и платёжным платформам стоит закладывать длительный горизонт внедрения агентной коммерции.