기업이 인공지능 도구를 시험하는 단계에서 일상 업무에 사용하는 단계로 이동하면서, 더 이상 핵심 질문은 어떤 모델을 선택할지가 아니라 실제 처리를 어디에서 수행할지에 관한 것이 되었다. 일본의 日本HP가 제시한 경험은 클라우드 서비스와 온프레미스 시스템을 비교하기 위한 실질적인 틀을 제공하며, 온프레미스 운영 자체를 목표로 삼아서는 안 된다고 분명히 경고한다.
이러한 관점은 2026년 7월 16일 도쿄에서 열린 HP Partner Communication 2026 콘퍼런스에서 日本HP의 인공지능·데이터 과학 시장 개발 책임자인 裕史勝谷가 진행한 발표와 ITmedia가 그와 진행한 단독 인터뷰에서 나왔다. 勝谷는 자신에게 연락해 오는 많은 기업이 이미 인공지능을 사용하기 시작했지만, 이제는 업무 프로세스 전반으로 활용을 확대할 방법을 찾고 있다고 말한다.
일반적인 시험에서 기업 업무로
勝谷는 기업이 대화와 요약에서 시작해 모델을 내부 문서와 연결하고, 이어 인공지능 에이전트를 통해 견적서와 제안서 작성 같은 업무를 자동화하는 단계로 나아갈 것을 제안한다. 그는 발표에서 자신이 ‘인공지능 직원’이라고 부른 역할을 세 가지로 나눴다. 회의록 작성과 문서 준비를 담당하는 보조자, 영업이나 설계 업무를 지원하는 전문 직원, 데이터 제시와 의사결정을 지원하는 분석 역할이다.
이 구상은 소프트웨어에만 국한되지 않는다. 日本HP는 인공지능 PC와 교육, 대규모 언어 모델을 로컬에서 시험하기 위한 워크스테이션, 기업 부서를 위한 여러 그래픽 처리 장치 기반의 운영 환경을 조합해 제시했다. 핵심은 사용될 업무 프로세스와 무관하게 장치나 서비스를 판매하는 것이 아니라, 사용 단계에 맞춰 인프라를 조정하는 것이다.
데이터 민감도가 출발점이다
勝谷는 공개적으로 이용 가능한 정보를 검색할 때 클라우드 인공지능 서비스를 사용하지만, 회사 밖으로 반출할 수 없는 업무와 관련된 데이터라면 처리를 로컬에서 실행한다고 말한다. 그러나 내부 데이터가 포함된 모든 업무를 자동으로 로컬 장치로 옮겨야 한다는 뜻은 아니다. 로컬 환경이 요구되는 업무를 수행할 수 있는지 시험하고, 이를 클라우드의 속도 및 유연성과 비교해야 한다.
이 경험은 애플리케이션이 사용되는 장소와 추론이 실행되는 장소를 구분해야 한다는 중요한 점을 보여 준다. 기사에 따르면 OpenAI의 Codex 애플리케이션은 일부 자동화와 프로그래밍 작업을 컴퓨터에서 수행하지만, 추론 자체는 클라우드에서 실행된다. 따라서 정보기술 부서는 사내 장치에 애플리케이션 인터페이스가 존재한다는 사실만으로 판단하지 말고, 데이터가 어디로 전송되는지와 처리가 어디에서 실행되는지를 확인해야 한다.
日本HP는 OpenClaw라는 오픈 소스 인공지능 에이전트도 로컬 환경에서 시험하고 있지만, 勝谷는 자신의 환경에서 처리가 때때로 중단되었으며 일부 경우에는 여전히 Codex를 선택한다고 밝혔다. 이 경험은 하드웨어나 모델을 사용할 수 있다는 사실만으로 완전한 로컬 운영이 보장되는 것은 아니라는 실용적인 입장을 뒷받침한다.
장치 선택은 사용 규모에 따라 달라진다
로컬 운영이 필요하다고 판단한 뒤에는 사용 규모를 정해야 한다. 勝谷는 고객 요구를 실행할 수 있는지 확인하고 초기 테스트를 수행하기 위해 HP ZGX Nano G1n AI Station을 사용하며, 이를 NVIDIA DGX Spark에 해당하는 日本HP의 제품이라고 설명한다. 또한 크기가 작아 생산 라인과 같은 현장으로 가져가 그곳에서 시험할 수도 있다.
이러한 유형의 장치는 연구개발, 1인 사용, 또는 제한된 예산의 초기 시험에 적합하다. 한 부서의 여러 사람이 하나의 업무를 실행하려면 더 큰 워크스테이션이나 공유 환경이 필요할 수 있다. 개인이 진행한 테스트에서 모델이 성공했다고 해서 전체 그룹이 사용할 때도 성능이 쾌적하다는 뜻은 아니다. 사용자 수, 허용 가능한 대기 시간, 처리 빈도는 하드웨어를 선택하기 전에 정해야 하는 요소다.
결정에는 장치를 어디에 배치할지도 포함된다. 처음에는 사용자 가까이에 두었다가 장치 수가 늘어나면 서버실로 옮길 수 있다. 계획 수립, 추론, 도구 실행, 결과 검토를 반복하는 에이전트의 경우 그래픽 처리 장치만 살펴봐서는 충분하지 않다. 주 메모리, SSD 저장 장치, 중앙처리장치가 모두 병목 지점으로 바뀔 수 있기 때문이다.
비용은 클라우드 가격과 장치 가격의 비교만이 아니다
勝谷는 단기 비용에 초점을 맞추면 클라우드가 올바른 선택일 수 있지만, 일부 기업에는 온프레미스 환경이 더 높은 연속성을 제공할 수 있다고 본다. 특히 기업 네트워크의 프록시 문제나 가격 및 사용량 제한의 변경에 직면할 때 그렇다. 일부 고객은 토큰 비용을 줄이기 위해 그래픽 처리 장치가 탑재된 워크스테이션을 여러 사용자가 공유하기도 한다.
그러나 정확한 비교에는 온프레미스 환경의 전력, 유지보수, 관리, 초기 투자 비용과 함께 클라우드의 계약 조건 및 사용 규모도 포함해야 한다. 또한 양쪽 환경이 동일한 품질과 동일한 반복성으로 같은 처리를 실행할 수 있는지, 서비스나 네트워크 중단이 업무에 어떤 영향을 미치는지도 물어야 한다.
사람이 병목이 될 수 있다
모델과 장치를 마련한 뒤에도 권한이 필요한 작업을 실행하려면 사람의 승인이 필요해 프로세스가 멈출 수 있다. 勝谷는 자신이 바쁠 경우 사람 자체가 병목이 될 수 있다고 인정한다. 따라서 에이전트를 도구에 연결하는 것만으로는 충분하지 않으며, 에이전트를 도입할 때 승인 단계와 책임자를 정해야 한다.
日本HP의 경험에서 얻을 수 있는 실질적인 결론은 인공지능 운영 환경을 선택할 때 데이터에서 시작해 업무, 사용자 수, 비용, 연속성, 운영팀의 역량 순으로 검토해야 한다는 것이다. 또한 담당자가 바뀌었을 때 지식을 이전할 수 있도록 선택한 모델과 그 선택 이유를 문서화해야 한다. 다만 이러한 지침은 日本HP의 한 책임자가 가진 경험에 근거한 것이며, 모든 경우에 클라우드나 온프레미스 운영이 더 우수하다는 것을 입증하는 일반적인 기준은 아니다.