최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
Joshua Oluikpe는 각 세션 내에서 Kafka 메시지를 엄격한 순서로 처리하면서 독립적인 세션은 병렬로 작업할 수 있도록 하는 실용적인 설계를 설명한다. 이 설계는 일관성 해싱, 세션별 Go 워커, 동일 경로 내 재시도, 인접 커밋 포인트 관리를 기반으로 하여 장애 이후 메시지 손실을 방지한다.
Cloudflare는 consistent hashing 구조의 표현을 축소하고 해시 수를 줄여 Pingora Backend Router 서비스의 메모리 사용량을 전 세계적으로 100테라바이트 이상 줄였습니다. 이 과정은 요청 분배의 정확도에 눈에 띄는 영향을 주지 않았습니다. 이 실험은 통계적 분석과 데이터 구조 설계를 통해 대규모 인프라에서 상당한 비용 절감을 달성할 수 있음을 보여줍니다.