Когда организации переходят от экспериментов с небольшим числом ИИ-агентов к круглосуточной работе десятков или сотен агентов, одно лишь качество модели перестаёт быть решающим фактором. Во второй части беседы Leaders of Code, опубликованной Stack Overflow, Энди Гутман из Google обсудил с Питером О’Коннором, руководителем отдела разработки платформ Stack Overflow, экономику этого перехода: необходимый объём контекста, стоимость токенов, измерение окупаемости инвестиций и то, что должны создавать команды разработки платформ, чтобы практически управлять агентами.
Основной тезис беседы заключается в том, что проблема стала проблемой комплексной системы, а не отдельной модели. Итоговая производительность зависит от модели, механизма её запуска, предоставленного ей контекста, степени её специализации и вызываемых ею инструментов. По словам Гутмана, цель состоит не в использовании наиболее продвинутой модели для каждой задачи, а в выборе наименее сложной модели, которая обеспечивает требуемый результат при минимальной стоимости. Для некоторых вариантов использования могут быть достаточны лёгкие модели, такие как Gemini 3.5 Flash, тогда как в других случаях требуется модель Gemini Pro.
Подходящий контекст важнее количества токенов
Гутман критикует то, что он называет «максимизацией токенов»: увеличение объёма входных данных или удлинение циклов рассуждения не обязательно означает лучший результат. Практическое направление, по его словам, заключается в сокращении контекста до информации, которая действительно влияет на результат, и в повышении точности путей выполнения, чтобы агенту требовалось меньше циклов размышления. Это напрямую связывает стоимость с качеством поиска и извлечения данных, а не только с ценой модели.
Однако определить «минимально достаточный контекст» непросто. Гутман говорит, что данные и модель следует оценивать вместе, чтобы выяснить, какая именно часть контекста действительно улучшает результат. Поэтому он скептически относится к организациям, утверждающим, что полностью решили проблему контекста, подчёркивая, что Google сама не решила её полностью и опирается на оценки, отслеживание траекторий агентов, совершенствование поиска и обогащение данных, чтобы определить, что стоит включать в каждую задачу.
Этот момент важен для команд, занимающихся ИИ, поскольку предостерегает от превращения структурированных знаний или схем данных в самостоятельную цель. То, что люди считают определённую информацию полезной, не доказывает, что она приведёт к лучшему результату агента. Измерение должно исходить из фактических результатов и траекторий, при этом человек должен оставаться в контуре, когда необходимы полномочия по принятию решений или человеческое суждение.
Масштаб меняет уравнение затрат и отдачи
В традиционной рабочей среде объём использования можно приблизительно оценить по числу сотрудников и продолжительности их рабочего времени. Агенты работают быстрее и круглосуточно; у одного сотрудника могут быть десятки агентов, а у организации — миллионы агентов, в зависимости от сценария, предложенного Гутманом. Поэтому использование и затраты могут расти нелинейно, что требует чёткого управления потреблением и понимания отдачи от каждого варианта использования.
Гутман не считает, что окупаемость инвестиций следует измерять числом обработанных токенов. Критерием является то, достигает ли организация иного или лучшего результата по сравнению с тем, чего она добивалась раньше. Он сослался на такие варианты использования, как поддержка клиентов, совершенствование процессов обеспечения работоспособности и надёжности сайтов, а также автономное управление сетями в Deutsche Telekom, включая профилактическое обслуживание. При этом это примеры, приведённые в беседе, а не количественные результаты или опубликованное сравнительное исследование в рамках материала.
Среди практических аспектов беседы — снижение стоимости экспериментов. Гутман рассказал, что за выходные создал прототип идеи, на которую раньше могло потребоваться от трёх до четырёх месяцев работы инженера. Он пояснил, что прототип не был готовым к производственной эксплуатации кодом, но помог на раннем этапе выявить риски проектирования и снизить вероятность вложения средств в неверное направление в течение нескольких месяцев. Ценность здесь заключается не в замене производственной разработки, а в ускорении проверки гипотез до привлечения больших ресурсов.
Агент — новая роль для платформы
Гутман предлагает командам платформ рассматривать агента как отдельную роль, которую необходимо обслуживать, наряду с разработчиками, специалистами по данным, инженерами по данным и пользователями из бизнес-подразделений. Это означает, что существующие инструменты не обязательно переходят в эпоху агентов без изменений, однако некоторые их направления остаются основополагающими: безопасность и управление, стоимость, доступность и масштабируемость, а также операционный мониторинг, специфичный для агентов.
На практике организации необходимо знать, что агент делает в производственной среде, какие инструменты и данные он вызывает, сколько это стоит и движется ли он к требуемому результату. Ей также нужны навыки и средства контроля, предотвращающие неуправляемое использование. В беседе отмечается, что инфраструктура должна брать на себя большую часть ответственности за предотвращение ошибок, вместо того чтобы оставлять каждое операционное решение пользователю или агенту.
Гутман считает, что привлечение специалистов по данным и инженеров по данным в команды платформ может быть полезным, даже если их численность невелика. Инженерия данных по-прежнему необходима для обеспечения доступа к корректным, управляемым и пригодным к использованию данным в нужном месте, тогда как такие приложения, как выявление мошенничества и прогнозирование, продолжают получать пользу от традиционного машинного обучения. Это подтверждает, что принцип «сначала ИИ» не отменяет необходимости в качестве данных или специализированном суждении.
Чему следует учиться новым специалистам?
В заключительной части беседы Гутман подчеркнул сохраняющуюся важность основ информатики, включая математику, архитектуру систем и понимание того, как создаются технологии, также отметив возвращение важности аппаратного обеспечения после многих лет сосредоточения на программном обеспечении. Однако он добавил, что программирование с использованием агентов и достижение результатов с их помощью станет востребованным навыком наряду с пониманием бизнес-проблем.
Редакционный комментарий certi.news: фактическое изменение, описанное в материале, заключается не в запуске новой платформы или модели, а в перемещении узкого места от вопроса «способна ли модель?» к вопросу «как спроектировать, настроить и измерить систему?». При этом интервью не предоставляет независимых данных об экономии затрат или сопоставимых показателей производительности, а его примеры основаны на опыте и представлениях участников. Поэтому к нему следует относиться как к практическому анализу и направлению проектирования, а не как к количественному доказательству того, что каждая организация снизит затраты лишь за счёт расширения использования агентов.