Sigue la cobertura, explicaciones e historias tecnológicas relacionadas.
Joshua Oluikpe explica un diseño práctico para procesar mensajes de Kafka en orden estricto dentro de cada sesión, manteniendo al mismo tiempo la capacidad de las sesiones independientes para trabajar en paralelo. El diseño se basa en el hashing consistente, un trabajador de Go por sesión, reintentos dentro de la misma ruta y la gestión de puntos de compromiso contiguos para evitar la pérdida de mensajes tras un fallo.
Cloudflare redujo en más de 100 terabytes el consumo de memoria de su servicio Pingora Backend Router a nivel mundial mediante la optimización de la representación de la estructura de consistent hashing y la reducción del número de hashes, sin un impacto apreciable en la precisión de la distribución de las solicitudes. La experiencia muestra cómo el análisis estadístico y el diseño de estructuras de datos pueden generar grandes ahorros en infraestructuras a gran escala.