기업이 소수의 인공지능 에이전트를 시험하는 단계에서 벗어나 수십 또는 수백 개의 에이전트를 24시간 운영하게 되면, 더 이상 모델의 품질만이 결정적인 요소가 아니다. Stack Overflow가 게시한 Leaders of Code 대담의 두 번째 부분에서 Google의 앤디 굿맨은 Stack Overflow의 플랫폼 엔지니어링 디렉터인 피터 오코너와 함께 이러한 전환의 경제성을 논의했다. 여기에는 필요한 컨텍스트의 양, 토큰 비용, 투자수익률 측정, 그리고 플랫폼 엔지니어링 팀이 에이전트를 실질적으로 관리하기 위해 구축해야 할 것들이 포함된다.
대담의 핵심 주장은 문제가 개별 모델의 문제가 아니라 통합 시스템의 문제가 되었다는 것이다. 최종 성능은 모델, 모델을 실행하는 방식, 제공되는 컨텍스트, 맞춤화 수준, 호출하는 도구에 좌우된다. 굿맨에 따르면 목표는 모든 작업에 가장 발전된 모델을 사용하는 것이 아니라, 필요한 결과를 가장 낮은 비용으로 달성하는 가장 덜 복잡한 모델을 선택하는 것이다. Gemini 3.5 Flash와 같은 경량 모델로 일부 사용 사례를 충분히 처리할 수 있지만, 다른 경우에는 Gemini Pro 모델이 필요할 수 있다.
토큰 수보다 중요한 적절한 컨텍스트
굿맨은 자신이 «토큰 극대화»라고 부르는 접근을 비판한다. 입력 규모를 늘리거나 추론 루프를 길게 만든다고 해서 반드시 더 나은 결과가 나오는 것은 아니다. 그가 제시한 실용적인 방향은 실제로 결과를 움직이는 정보만 남도록 컨텍스트를 줄이고, 에이전트가 더 적은 사고 주기를 필요로 하도록 실행 경로의 정확도를 개선하는 것이다. 이는 비용을 단순한 모델 가격이 아니라 검색과 데이터 검색 품질에 직접 연결한다.
그러나 «사용 가능한 최소 컨텍스트»를 정하는 일은 간단하지 않다. 굿맨은 어떤 컨텍스트의 일부가 실제로 결과를 개선하는지 파악하려면 데이터와 모델을 함께 평가해야 한다고 말한다. 따라서 그는 컨텍스트 문제를 완전히 해결했다고 주장하는 기관들에 회의적이며, Google 역시 이 문제를 완전히 해결하지 못했다고 강조한다. Google은 평가, 에이전트 경로 추적, 검색 개선, 데이터 보강을 활용해 각 작업에 포함할 가치가 있는 정보를 결정한다.
이 지점은 조정된 지식이나 데이터 스키마를 독립적인 목적 자체로 바꾸지 말라고 경고한다는 점에서 인공지능 팀에 중요하다. 사람이 어떤 정보를 유용하다고 판단한다고 해서 그것이 에이전트에게 더 나은 결과를 가져온다는 뜻은 아니다. 측정은 실제 출력과 경로에서 출발해야 하며, 의사결정 권한이나 인간의 판단이 필요한 경우에는 인간을 계속 참여시켜야 한다.
규모가 비용과 수익의 방정식을 바꾼다
전통적인 업무 환경에서는 직원 수와 근무 시간을 기준으로 사용량을 대략 추정할 수 있다. 그러나 에이전트는 더 빠른 속도로 24시간 작동하며, 굿맨이 제시한 시나리오에 따르면 한 명의 직원이 수십 개의 에이전트를 보유할 수도 있고 조직이 수백만 개의 에이전트를 보유할 수도 있다. 따라서 사용량과 비용이 비선형적으로 확대될 수 있으며, 이는 소비에 대한 명확한 거버넌스와 각 사용으로 발생하는 수익에 대한 파악을 요구한다.
굿맨은 투자수익률을 처리한 토큰 수로 측정해야 한다고 보지 않는다. 기준은 조직이 이전에 달성하던 결과와 비교해 다른 결과나 더 나은 결과를 얻고 있는지 여부다. 그는 고객 지원, 사이트 운영 및 신뢰성 개선, Deutsche Telekom의 네트워크 자율 관리와 사전 유지보수 등을 사용 사례로 들었다. 이러한 사례는 대담에 등장한 예시일 뿐이며, 본문에 정량적 결과나 발표된 비교 연구가 포함된 것은 아니다.
대담이 제시하는 실용적인 측면 중 하나는 실험 비용을 낮추는 것이다. 굿맨은 과거라면 엔지니어의 작업으로 3~4개월이 걸릴 수 있었던 아이디어의 프로토타입을 주말 동안 만들었다고 말했다. 그는 이 모델이 프로덕션에 바로 사용할 수 있는 코드였던 것은 아니지만, 설계 위험을 조기에 발견하고 잘못된 방향에 수개월 동안 투자할 가능성을 줄이는 데 도움이 됐다고 설명했다. 여기서 가치는 프로덕션 개발을 대체하는 것이 아니라, 더 많은 자원을 투입하기 전에 가설 검증을 앞당기는 데 있다.
플랫폼의 새로운 주체인 에이전트
굿맨은 플랫폼 팀이 에이전트를 개발자, 데이터 과학자, 데이터 엔지니어, 비즈니스 부문 사용자와 더불어 지원해야 하는 주체로 다뤄야 한다고 제안한다. 이는 기존 도구가 에이전트 시대에 반드시 그대로 이전되지는 않지만, 보안과 거버넌스, 비용, 가용성과 확장성, 그리고 에이전트에 특화된 운영 모니터링이라는 일부 축은 여전히 핵심이라는 뜻이다.
실제로 조직은 에이전트가 프로덕션 환경에서 무엇을 하는지, 어떤 도구와 데이터를 호출하는지, 그 비용이 얼마인지, 원하는 결과를 향해 나아가고 있는지를 파악해야 한다. 또한 통제되지 않은 사용을 막을 기술과 통제 장치도 필요하다. 대담은 인프라가 오류 방지 책임의 더 큰 부분을 맡아야 하며, 모든 운영 결정을 사용자나 에이전트에게 맡겨서는 안 된다고 지적한다.
굿맨은 데이터 과학자와 데이터 엔지니어를 플랫폼 팀에 합류시키는 것이 유용할 수 있다고 본다. 그 수가 많지 않더라도 그렇다. 데이터 엔지니어링은 올바르고 통제 가능하며 실행 가능한 데이터가 적절한 장소에 도달하도록 보장하는 데 여전히 필수적이다. 한편 사기 탐지와 예측 같은 애플리케이션은 전통적인 머신러닝의 혜택을 계속 받고 있다. 이는 «인공지능 우선» 접근이 데이터 품질이나 전문적 판단의 필요성을 없애지 않는다는 점을 보여준다.
새로운 전문가들은 무엇을 배워야 하는가?
대담의 마지막에서 굿맨은 수학, 시스템 구조, 기술 구축 방식에 대한 이해를 포함한 컴퓨터 과학의 기초가 계속 중요하다고 강조했다. 또한 수년간 소프트웨어에 집중했던 이후 하드웨어의 중요성이 다시 커지고 있다고 언급했다. 다만 그는 에이전트를 활용한 프로그래밍과 에이전트를 통해 결과를 달성하는 능력이 비즈니스 문제에 대한 이해와 함께 요구되는 기술이 될 것이라고 덧붙였다.
certi.news의 편집적 해석: 이 글이 설명하는 실제 변화는 새로운 플랫폼이나 모델의 출시가 아니라, 병목 지점이 «모델이 가능한가?»에서 «시스템을 어떻게 설계하고 통제하며 측정할 것인가?»로 이동하는 것이다. 그러나 인터뷰는 비용 절감이나 비교 가능한 성능 지표에 관한 독립적인 수치를 제시하지 않으며, 사례 역시 연사들의 경험과 견해에 기반한다. 따라서 이를 모든 조직이 에이전트 사용을 늘리기만 하면 비용을 낮출 수 있다는 정량적 증거가 아니라, 실용적 분석이자 설계 방향으로 받아들여야 한다.