Das von JetBrains entwickelte lokale Entwicklungs- und KI-Tool Junie Local hat eine deutliche Leistungssteigerung auf Mac-Geräten mit M5 Max-Prozessoren verzeichnet. Die Geschwindigkeit der Codegenerierung stieg auf etwa 70 Token pro Sekunde im Vergleich zu etwa 40 Token in der Vorgängerversion, wobei schnelle Bursts von bis zu 107 Token pro Sekunde erreicht werden können.
Diese Verbesserung ist das Ergebnis zweier wesentlicher Änderungen an der Architektur des Tools: die Einführung der neuen Splash-Inferenz-Engine und die Integration des DFlash2-Drafting-Modells. Dies hat die Gesamteffizienz im Vergleich zur vorherigen Kombination aus MTP-Technologie und der MLX-VLM-Engine verdoppelt.
Was hat sich bei der Leistung des Tools praktisch geändert?
JetBrains hat die bisherige MLX-VLM-Engine durch die von Inco AI entwickelte Splash-Engine ersetzt, die speziell für Qwen-Modelle optimiert wurde. Diese Engine ermöglicht die Überprüfung von acht entworfenen Token gleichzeitig bei jedem Dekodierungsschritt, während die Kosten für die kontextbezogene Aufmerksamkeit deutlich gesenkt werden, um sicherzustellen, dass die Dekodierungsgeschwindigkeit bei zunehmender Kontextgröße nicht abnimmt. Zudem wurden Optimierungen für int8-Operationen, die speziell für M5-Chips entwickelt wurden, in die neue Engine integriert.
Was das Drafting-Modell betrifft, so verwendet das Tool das DFlash2-Modell, das für das Qwen 3.8-27B-Modell angepasst wurde. Um das Problem des "Over-Thinking", das die Generierung verlangsamt, zu vermeiden, setzte das Unternehmen auf eine Version von Qwen3.8-3.6-27B-blend, die mit der SpecForge-Plattform auf realen Programmierpfaden und Codes trainiert wurde, was die Akzeptanzrate und die Geschwindigkeit des Software-Agenten erhöhte.
Verfügbarkeit und technische Anforderungen
- Geschwindigkeit und Generierung: Die Generierungsgeschwindigkeit stieg von ~40 auf ~70 Token pro Sekunde, und die Prefill-Phase verbesserte sich auf 1200 Token pro Sekunde gegenüber zuvor 850.
- Speicherverbrauch: Das Tool benötigt etwa 24 GB Arbeitsspeicher (RAM) bei der Verarbeitung eines Kontextes von 100.000 Token.
- Unterstützte Hardware: Benutzer können das Tool nun auf Mac-Computern mit M4-Prozessoren oder neuer ausführen, sofern mindestens 64 GB Arbeitsspeicher vorhanden sind. Es ist jedoch zu beachten, dass die Prefill-Phase auf M4-Chips etwa viermal langsamer ist als auf M5-Chips.
Benutzer können das Tool über den direkten Update-Befehl in der Befehlszeilenschnittstelle von Junie aktualisieren oder eine vollständige Installation über das vom Unternehmen bereitgestellte Skript durchführen. Zudem stehen die DFlash2-Modelle zum Download über die HuggingFace-Plattform bereit.