ИИ с глазами: почему визуальные агенты тратят в 40 раз больше ресурсов, чем обычные API

Но за впечатляющими демонстрациями мультимодальных моделей скрываются неочевидные эксплуатационные издержки.

Использование визуальных ИИ-агентов обходится компаниям в разы дороже по сравнению с традиционными API. На это указали специалисты платформы Reflex, проведя эксперимент с двумя типами агентов: один использовал машинное зрение, а другой полагался на стандартный доступ через API.

Расход токенов на одну задачу (данные Reflex):
Визуальный агент (машинное зрение)  ===>  500 000 токенов
Текстовый агент (стандартный API)    ===>   12 150 токенов
Разница в расходе вычислительных ресурсов: более чем в 41 раз

👁️ 1. Анатомия расхода: почему зрению не хватает контекста

Визуальный агент потратил на выполнение задания колоссальные 500 000 токенов, тогда как агент со стандартным API справился за считанные секунды и всего с 12 150 токенами. Всё дело в том, что визуальный ИИ требует обработки изображений и дополнительных шагов для анализа контента.

Подобный подход напоминает поиск информации в огромной библиотеке без каталогизации: визуальный ИИ может «видеть» данные, но при этом ему не хватает контекстуального понимания исходных структур интерфейса.

Визуальный агент вынужден действовать вслепую, перебирая пиксели вместо мгновенного обращения к структурированным данным.

🔒 2. Иллюзия инноваций и открытые двери для уязвимостей

Масштабные затраты вычислительных мощностей поднимают вопросы об экономической целесообразности интерфейсных агентов. Каждый шаг вперед без точной архитектурной оценки связан с рисками: компании рискуют не только потерять в эффективности, но и стать жертвами критических уязвимостей.

Многие сайты и веб-сервисы, сгенерированные и управляемые нейросетями, оказались открытыми для атак из-за отсутствия базовой изоляции данных. При этом разработчики инструментов часто перекладывают ответственность за безопасность на конечного пользователя.

Поспешная замена надежных API на модные визуальные нейросетевые оболочки часто оказывается неоправданным усложнением, которое многократно увеличивает счет за вычисления и создает бреши в защите корпоративного контура.