GitHub Copilot이 로컬 실행과 클라우드 실행 중 자동으로 결정한다

GitHub는 GitHub Copilot에 자동 라우팅 기능을 추가할 준비를 하고 있다. 이 기능은 프로그래밍 작업을 로컬 모델에서 실행할지 클라우드 모델로 보낼지를 결정하며, 2026년 10월 말까지 출시될 것으로 예상된다. 이 계획은 핵심적인 질문을 여전히 답하지 않은 채로 남긴다. 클라우드 경로가 선택될 때 대화 기록과 저장소 컨텍스트 중 어느 정도가 클라우드로 전송될 수 있는가?

Microsoft는 GitHub의 제품 관리자인 Patrick Nikoletich와 Windows 플랫폼 파트너십 엔지니어인 Stuart Schaefer가 공동으로 작성한 게시물에서 이 계획을 공개했다. 발표는 GitHub Copilot의 새로운 샌드박싱 제어 기능이 일반 제공된 시점과 맞물렸지만, 보호 수준은 사용되는 도구에 따라 달라진다.

작업과 컨텍스트에 기반한 라우팅

GitHub는 프로그래밍 작업에 적합한 모델을 선택하는 HydraFusion 프로젝트를 확장해 추론을 실행할 위치도 결정하도록 한다. 회사에 따르면 Copilot은 로컬 추론과 클라우드 추론 사이를 전환할 때 작업 컨텍스트와 캐시 상태를 고려하며, 여기에는 여러 차례에 걸친 세션 중의 전환도 포함된다.

Copilot CLI, Copilot 애플리케이션 및 Visual Studio Code의 개발자는 Auto 모드를 사용하거나 로컬 모델을 수동으로 선택할 수 있다. 선택지에는 Windows ML을 통한 MAI Code 1.1 Flash 모델과 OpenAI 호환 로컬 엔드포인트가 포함된다.

아직 명확하지 않은 점은?

Microsoft는 “로컬 추론이 세션을 오프라인으로 만들지는 않는다”고 인정한다. 회사는 Auto 모드가 클라우드 모델에 전송하는 저장소 컨텍스트나 대화 기록의 양을 특정하지 않았으며, 개발자가 라우팅 결정을 검토하거나 클라우드 사용을 완전히 차단할 수 있는지도 밝히지 않았다.

이는 코드와 데이터 처리에 엄격한 정책을 적용하는 팀에 중요한 문제다. 로컬 모델을 선택하면 추론 과정이 기기에 유지되지만, 에이전트가 외부 서비스에 접근하거나 도구를 통해 네트워크 요청을 실행하는 것을 막지는 못한다. 완전히 로컬인 세션을 확보하려면 개발자는 해당 도구의 권한도 제한해야 한다.

대형 로컬 모델과 높은 하드웨어 요구 사항

로컬 경로는 총 1,370억 개의 파라미터와 활성화되는 68억 개의 파라미터를 포함하는 mixture-of-experts 모델인 MAI Code 1.1 Flash에 의존한다. Microsoft는 가중치당 약 3.3비트의 혼합 정밀도 양자화를 사용해 모델을 53기가바이트로 줄였으며, 이는 bfloat16 형식의 클라우드 버전보다 80% 적다. 또한 로컬 추론을 가속하기 위해 speculative decoding을 사용했다.

첫 출시 대상은 Surface Laptop Ultra와 같이 NVIDIA RTX Spark 프로세서가 탑재된 Windows 기기이며, 이러한 기기는 최대 128기가바이트의 통합 메모리를 제공한다. 256K 토큰 컨텍스트에서 메모리 사용량의 최대치는 75.5기가바이트로 측정됐다. 이 수치는 모델만을 포함한 것이 아니다. 시스템과 애플리케이션, 실행 환경 및 KV 캐시에도 추가 공간이 필요하며, 파일을 읽고 도구 결과를 수신할수록 임시 메모리는 증가한다.

성능과 보안 격리

양자화된 모델은 SWE-Bench Verified에서 70.8%를 기록했으며, 완전 정밀도 버전은 72.6%를 기록했다. Terminal-Bench 2.1에서는 89개 작업으로 구성된 테스트에서 66.29%를 기록해 원래 모델의 62.9%를 앞섰다. 즉, 이 소규모 테스트에서의 차이는 약 세 작업에 해당한다.

Copilot은 오픈 소스 Execution Containers (MXC) 라이브러리를 사용해 격리 정책을 적용한다. Windows에서는 ProcessContainer의 BaseContainer 계층을, macOS에서는 Seatbelt를, Linux에서는 bubblewrap을 사용한다. 지원되는 경우 셸 명령과 일부 로컬 MCP 서버, 언어 서버는 로컬 모델을 사용하든 클라우드 모델을 사용하든 운영체제가 부과하는 제한을 받는다.

반면 내장 파일 도구는 에이전트 프로세스 내부에서 실행되며 실행 환경 검사에 의존한다. 원격 MCP 서버는 로컬 격리의 적용 대상이 아니다. 또한 Microsoft가 오프라인 워크플로라고 설명한 시연조차, 그 과정에서 사용된 GitHub 데이터가 네트워크를 통해 가져온 것인지 로컬에 저장되어 있던 것인지 확정하지 못했다.

이 소식이 중요한 이유

이번 변화는 개발자의 기기에서 더 작은 모델을 실행하는 데 그치지 않는다. 코드가 어디에서 처리되는지와 관련된 민감한 결정을 자동 라우팅 메커니즘으로 이전한다. 실질적으로 개발자는 클라우드 모델의 속도와 로컬 실행의 개인정보 보호 사이에서 더 큰 유연성을 얻게 되지만, GitHub가 Auto 모드가 전송하는 데이터, 해당 결정의 감사 가능성, 로컬 실행을 강제하는 선택지를 명확히 하기 전까지 팀은 위험을 완전히 평가할 수 없다. 따라서 이번 발표만으로는 Copilot이 실제로 오프라인 로컬 세션을 제공한다는 점도, 현재의 메모리 요구 사항이 대부분의 개발 기기에 적합하다는 점도 입증되지 않는다.