오픈에이아이(OpenAI)는 결정 API(Decisions API)를 일반 사용자들과 개발자들에게 최초로 전면 개방한다고 발표했습니다. 이는 최근 타입사프(TypeSafe)와 그들의 모델인 제브(Jev) 같은 스타트업들이 주도해 온 초고속·저비용 인공지능 시장에 공식적으로 진입하는 행보를 나타냅니다.
이 범주의 딥러닝 모델들은 초고성능 분류기로 작동하는 방식을 취합니다. 사용자들이 여러 옵션 중에서 특정 옵션을 매우 빠른 속도로 선택할 수 있게 하면서도 내려진 결정에 대한 신뢰도 평가를 제공합니다. 소프트웨어 개발자들은 이러한 결정 모델들, 즉 시스템 원(System One) 시스템으로 알려진 것들이 운영 워크플로의 많은 부분에서 거대 언어 모델을 대체할 수 있으며, 매우 낮은 비용과 훨씬 적은 지연 시간으로 이를 수행할 수 있음을 발견했습니다.
챗지피티 모델에서 결정 인터페이스로
오픈에이아이의 API 제품 담당자인 니쿵 한다(Nikunj Handa)는 팀이 Jev 모델의 큰 성공을 주목하고 자사만의 대체재 개발을 서둘렀다고 설명했습니다. 처음부터 완전히 맞춤화된 결정 모델을 구축하는 대신, 팀은 추론(Inference) 속도를 높이고 운영 비용을 절감하기 위해 챗지피티 루나(ChatGPT Luna) 모델을 재구성하는 방식을 채택했습니다.
한다에 따르면 Decisions API에서 가장 두드러진 개선 사항은 응답 지연 시간을 1~3초 사이에서 100~180밀리초 사이로 단축한 것입니다. 회사는 향후 이 목적을 위해 완전히 맞춤화된 모델을 학습시키는 방안을 검토할 수도 있지만, 현재로서는 수정된 루나(Luna) 버전이 그 역할을 효율적으로 수행하고 있습니다.
가용성 및 실제 활용 사례
오픈에이아이는 개발자 회의에서 처음 공개된 이 인터페이스가 모든 고객에게 제공된다고 발표했으며, 새로운 오디오 및 시각 기능을 추가하고 전 세계적인 지연 시간을 단축하기 위해 추론 자원을 지리적으로 분산시켰습니다. 초기 테스트 과정에서 박스(Box), 데이터독(Datadog), 램프(Ramp), 스피크(Speak) 같은 기업들이 처리 효율성을 높이기 위해 새로운 API를 사용했습니다. 특히 어학 학습 도구를 구축하는 기업인 스피크(Speak)는 작업 간의 시간 간격을 1.4초에서 단림된 0.13초로 줄이는 데 성공했습니다.
성능 기준과 시장 경쟁
성능 측정치는 워크로드의 성격에 따라 다양한 결정 모델 간에 차이가 있습니다. AIM 시스템 원 인덱스(AIM System One Index)나 인공 분석 결정 인덱스(Artificial Analysis Decision Index) 같은 지표에서는 D1 울트라(D1 Ultra) 및 엘리펀트-1(Elephant-1) 같은 다른 모델들이 상위에 오르기도 하지만, Jev와 오픈에이아이의 인터페이스는 팩맨(PacMan)과 같이 압박 속에서 의사결정 속도를 측정하는 게임 테스트를 포함한 다양한 테스트 데이터에 따라 상위권에서 경쟁을 이어가고 있습니다.
경쟁 우위와 관련해 오픈에이아이 관계자들은 자사 인터페이스가 멀티모달 측면에서 우수성을 지니고 있으며, 특히 이미지 분류와 시각적 출력 처리에서 높은 정확도와 신뢰성을 보장한다고 보고 있습니다. 팀은 향후 API를 통해 단일 비디오 프레임을 직접 처리하기 위해 응답 지연 시간을 60밀리초 수준까지 더욱 단축하는 것을 목표로 하고 있습니다.