구글은 AI 전용 텐서 처리 장치(TPU) 8세대 제품군을 확장하며 TPU 8tx와 TPU 8i Max라는 두 가지 새로운 시스템을 출시했습니다. 이번 발표는 기밀 컴퓨팅 요구 사항과 긴 문맥(Long-context) 작업 부하 처리에 중점을 두어 AI 인프라를 강화하기 위한 것입니다.
기밀 컴퓨팅을 위한 TPU 8tx 시스템
TPU 8tx 시스템은 민감한 데이터를 다루며 엄격한 규제 요건을 준수해야 하는 기업의 요구를 충족하도록 설계되었습니다. 이 시스템은 기존 TPU 8t 칩을 기반으로 하며, 작업 관리 및 데이터 조정을 위해 5세대 AMD EPYC 서버 프로세서를 통합했습니다. 이러한 구성을 통해 사용자는 기밀 컴퓨팅(Confidential Computing) 환경에서 AI 모델을 실행할 수 있으며, 보안 가상 환경 암호화(SEV) 기술을 통해 처리, 저장 및 전송 중인 모델 가중치와 데이터를 강력하게 보호할 수 있습니다.
또한 구글은 저지연 Boardfly 네트워크 통합이 표준 TPU 8t 시스템 대비 지연 시간을 절반으로 줄이는 데 기여했으며, 이는 미세 조정(Fine-tuning) 및 강화 학습 작업에 적합하다고 언급했습니다.
긴 문맥 처리를 위한 TPU 8i Max 시스템
TPU 8i Max 시스템은 대규모 코드 저장소나 확장된 시각적 콘텐츠를 처리하는 자율 에이전트(Autonomous Agents) 애플리케이션과 같이 방대한 메모리와 높은 처리 능력이 필요한 작업 부하를 겨냥합니다. 이 시스템은 두 개의 TPU 8i 유닛을 하나의 패키지로 결합하여 컴퓨팅 성능, SRAM 메모리 및 HBM 메모리 대역폭을 두 배로 늘림으로써 데이터 센터 내 컴퓨팅 밀도를 높였습니다.
이번 확장이 사용자에게 갖는 의미
이번 발표는 완전히 새로운 칩을 설계할 필요 없이 컴퓨팅, 메모리 및 네트워크 통합 방식을 최적화하여 기술적 선택지를 다양화하려는 구글의 전략을 보여줍니다. 이 두 시스템이 추가됨에 따라 8세대 제품군은 대규모 학습, 빠른 추론, 기밀 컴퓨팅, 긴 문맥 처리를 아우르는 네 가지 옵션을 갖추게 되었습니다. 구글은 개발자들이 이러한 시스템을 쉽게 도입할 수 있도록 PyTorch 및 TorchTPU 프로젝트와 같은 오픈 소스 프레임워크를 지원하겠다는 의지를 재확인했습니다.
구글은 아직 이 시스템들의 가격이나 상용화 일정에 대한 세부 사항은 공개하지 않았으며, 아랍 지역 내 특정 프로젝트에 대해서도 발표된 바 없습니다.