Suivez les dernières actualités, explications et histoires technologiques associées.
Joshua Oluikpe décrit une conception pratique pour traiter les messages Kafka dans un ordre strict au sein de chaque session, tout en permettant aux sessions indépendantes de fonctionner en parallèle. La conception repose sur le hachage cohérent, un worker Go par session, la nouvelle tentative au sein du même flux et la gestion de points de validation contigus afin d’éviter la perte de messages après un incident.
Cloudflare a réduit de plus de 100 téraoctets à l’échelle mondiale la consommation mémoire de son service Pingora Backend Router, en compactant la représentation de la structure de hachage cohérent et en réduisant le nombre de points de hachage, sans effet notable sur la précision de la répartition des requêtes. Cette expérience montre comment l’analyse statistique et la conception des structures de données peuvent générer d’importantes économies dans des infrastructures à grande échelle.