Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.
Perplexity hat die Funktion Hybrid Compute für die Computer-Plattform eingeführt. Dabei verteilt der intelligente Agent seine Aufgaben zwischen fortschrittlichen Cloud-Modellen und lokalen Modellen, die auf Macs mit Apple-silicon-Chips ausgeführt werden. Nach Angaben des Unternehmens prüft ein Datenschutz-Gateway auf dem Gerät sensible Daten, bevor Teile davon an die Cloud gesendet werden. Risiken durch Fehlklassifizierungen und offene Fragen zur Nutzung der Daten bleiben jedoch bestehen.
bartowski präsentiert ein umfassendes Experiment zur Optimierung der Kalibrierungsdaten, die bei der Quantisierung von Modellen mit llama.cpp für imatrix verwendet werden, und kommt zu dem Schluss, dass die größten Verbesserungen bei niedrigen Bitraten auftreten, insbesondere bei Mixture-of-Experts-Modellen (MoE). Der neue Datensatz ist kleiner und fokussierter, kombiniert jedoch vielfältige Texte mit formatierten Unterhaltungen zur Tool-Nutzung.