Together AI는 자사의 추론 인프라를 구동하는 GPU 코드를 최적화하는 작업을 수행하는 AI 코딩 에이전트 기반의 혁신적인 시스템인 Together Compiler를 공개했습니다. 이 시스템은 과거 엔지니어들이 수동으로 며칠 또는 몇 주씩 소요하던 성능 조정 작업을 자동화하는 것을 목표로 합니다.
인간의 감독하에 이루어지는 완전 자동화
Together Compiler 시스템은 엔지니어의 개별적인 지시 없이도 GPU 커널을 생성, 테스트 및 최적화합니다. 회사는 최적화 주기가 완전히 독립적으로 작동하며, 시스템이 하룻밤 사이에 실질적인 성능 향상을 달성할 수 있다고 설명했습니다. 그럼에도 불구하고 Together AI는 '인간 개입(Human-in-the-loop)' 접근 방식을 따르고 있으며, 최종 평가 및 실제 프로덕션 환경으로의 배포는 변경 사항을 검토하는 엔지니어의 승인이 있어야 가능하다고 강조했습니다.
AI 모델 가속화의 과제
이번 조치는 새로운 AI 모델이 출시되는 가속화된 속도에 대응하기 위한 것입니다. 회사 데이터에 따르면, 현재 OpenRouter 플랫폼 트래픽의 80%는 지난 3개월 이내에 출시된 모델에서 발생합니다. 각 모델마다 기술적 요구 사항이 다르기 때문에 특정 모델에 최적화된 코드가 다른 모델에서는 동일한 효율성을 발휘하지 못할 수 있으며, 이는 엔지니어들이 수동으로 이러한 변화를 따라잡아야 하는 엄청난 부담을 안겨줍니다.
실험 속도와 성능의 도약
Together AI는 테스트 프로세스를 획기적으로 가속화하는 방법을 고안했습니다. AI 에이전트가 코드를 변경할 때마다 추론 엔진을 재시작하는 대신, Together Compiler는 실행 중인 엔진에 새로운 코드를 직접 로드합니다. 이 조치로 초기화 시간이 약 467초에서 9초로 단축되었으며, 기존 시스템 대비 252배 더 많은 최적화 실험을 수행할 수 있게 되었습니다.
실질적인 결과 측면에서, 회사는 모델 유형과 사용된 하드웨어에 따라 표준 설정 대비 최대 2.6배의 추론 처리량(Inference Throughput) 향상을 기록했습니다. 이 시스템은 현재 회사의 인프라를 통해 매일 수조 개의 토큰을 처리하고 있습니다.
개발자에게 실질적으로 변화하는 점
Together AI 서비스를 사용하는 개발자와 기업에게 이번 발전은 반드시 즉각적인 가격 인하를 의미하는 것은 아니며, 동일한 비용으로 더 높은 성능과 효율성을 얻는 것을 의미합니다. 실질적인 이점은 다음과 같습니다.
- 하드웨어 효율성: 가용 GPU에서 최대 성능을 추출하여 자원 낭비를 줄입니다.
- 적응 속도: 긴 수동 최적화 주기 없이 최신 모델이 출시되는 즉시 최고 성능으로 실행할 수 있습니다.
- 성능 신뢰성: 수백 번의 자동화된 실험을 통해 인간 엔지니어가 시간 부족으로 발견하지 못할 수 있는 소프트웨어 솔루션을 도출합니다.
Together Compiler는 AI 인프라 관리 방식의 중요한 전환점을 의미합니다. 이제 AI는 단순한 최종 제품이 아니라 하드웨어와 소프트웨어를 최적화하는 핵심 도구가 되었으며, 이는 스스로 최적화하는 시스템을 향한 기술적 순환을 완성하고 있습니다.
뉴스 출처
The New Stack - Software Development
원문 보기 ↗