Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.
Joshua Oluikpe erläutert den praktischen Entwurf zur Verarbeitung von Kafka-Nachrichten in strikter Reihenfolge innerhalb jeder Sitzung, während unabhängige Sitzungen weiterhin parallel arbeiten können. Der Entwurf basiert auf konsistentem Hashing, einem Go-Worker pro Sitzung, Wiederholungsversuchen innerhalb desselben Pfads und der Verwaltung zusammenhängender Commit-Punkte, um Nachrichtenverluste nach einem Ausfall zu vermeiden.
Cloudflare senkte den Speicherverbrauch des Pingora Backend Routers weltweit um mehr als 100 Terabyte, indem die Darstellung der Consistent-Hashing-Struktur komprimiert und die Anzahl der Hashes reduziert wurde, ohne dass die Genauigkeit der Anforderungsverteilung merklich beeinträchtigt wurde. Das Experiment zeigt, wie statistische Analysen und das Design von Datenstrukturen bei Infrastrukturen im großen Maßstab erhebliche Einsparungen ermöglichen können.