Acompanhe as últimas notícias, explicações e histórias tecnológicas relacionadas.
Joshua Oluikpe explica um projeto prático para processar mensagens do Kafka em ordem estrita dentro de cada sessão, mantendo sessões independentes capazes de operar em paralelo. O projeto utiliza hashing consistente, um worker Go por sessão, novas tentativas dentro do mesmo fluxo e gerenciamento de pontos de commit contíguos para evitar a perda de mensagens após uma falha.
A Cloudflare reduziu o consumo de memória do serviço Pingora Backend Router em mais de 100 terabytes globalmente, comprimindo a representação da estrutura de consistent hashing e reduzindo o número de hashes sem impacto perceptível na precisão da distribuição das solicitações. A experiência mostra como a análise estatística e o design de estruturas de dados podem gerar grandes economias em infraestruturas de larga escala.