JetBrains hat den neuen Modus Junie /demo im Tool Junie CLI angekündigt, um den interaktiven Teil der Überprüfung von Codeänderungen zu automatisieren. Statt lediglich Tests auszuführen, kann der Entwickler das gewünschte Szenario beschreiben. Junie erstellt und startet daraufhin die Anwendung, interagiert mit ihrer Benutzeroberfläche und erzeugt anschließend einen HTML-Bericht mit dem Ergebnis, Screenshots und einem Video der Ausführung.
Wie funktioniert der neue Modus?
Junie analysiert das Projekt und schlägt einen Plan für Build und Ausführung vor. Nach der Zustimmung des Benutzers erstellt es die Konfigurationsdateien. Die Änderungen können aus dem Branch, der Sitzung, dem Arbeitsbaum oder dem letzten Commit ausgewählt werden, bevor eine Anfrage eingegeben wird, die die Aktionen und erwarteten Ergebnisse festlegt. In dem von JetBrains vorgestellten Beispiel identifiziert der Agent zwei Aufgaben in einem Tool zur Aufgabenverfolgung, ändert ihren Status in Done, überprüft die Änderung der Zähler und lädt anschließend die Seite neu, um sicherzustellen, dass das Ergebnis erhalten bleibt.
Der Benutzer kann die Ausführung direkt verfolgen, während der Agent durch die Benutzeroberfläche navigiert. Das Video enthält für jedes Szenario eine einleitende Folie und eine abschließende Ergebnisfolie sowie optionale Untertitel, die aktiviert oder deaktiviert werden können. JetBrains erklärt, dass ein Modell die Screenshots nach der Aufzeichnung analysiert, um diese Folien zu erstellen, während eine Sprachkommentierung in einem späteren Update hinzugefügt werden könnte.
Von der manuellen Demo zur prüfbaren Überprüfung
Der HTML-Bericht bündelt die ursprüngliche Anfrage, das Ergebnis, das Video, die Screenshots und die ausgeführten Schritte und weist darauf hin, welche Tests erfolgreich waren, fehlgeschlagen sind oder unvollständig geblieben sind. Dadurch können die Ergebnisse von einem Entwickler, einem Qualitätssicherungsingenieur oder einem Teammitglied überprüft werden, das das Verhalten des Features sehen möchte, anstatt lediglich die Codeänderung zu lesen.
certi.news zufolge liegt der praktische Wert hierbei nicht darin, automatisierte Tests zu ersetzen, sondern einen visuellen Nachweis für das Verhalten der Benutzeroberfläche hinzuzufügen. Die Beurteilung der Einsatzbereitschaft der Änderung bleibt Aufgabe des Reviewers; dass der Agent seine Ausführung abgeschlossen hat, bedeutet nicht automatisch, dass die Prüfung erfolgreich war. Deshalb fordern die Beispiele von JetBrains Junie auf, ein ausdrückliches Verdict auszugeben, und übernehmen das Ergebnis nur, wenn PASS geschrieben wird. Werte wie FAIL und PARTIAL oder ein fehlendes Ergebnis führen dagegen zum Fehlschlagen der Ergebnisprüfung.
Integration mit GitHub Actions und Kosten
JetBrains hat den Modus intern mit GitHub Actions bei mehr als 1.500 eindeutigen Merge Requests eingesetzt und dabei mehr als 2.100 Demo-Videos erstellt. Außerdem wurde er in 22 Szenarien für Smoke-Tests auf Release-Branches verwendet, insgesamt mit mehr als 1.300 internen Tests. Das Unternehmen stellt zwei Beispiele für YAML-Dateien bereit, die angepasst werden können: eines zur Prüfung von Änderungen, die eine Demo verdienen, und zum Hinzufügen von Beweislinks zum Merge Request, und ein weiteres für Release-Tests, die bei einem push oder manuell gestartet werden.
Die Beispiele basieren auf GitHub Artifacts und benötigen daher keinen separaten Dienst zum Hosten der Videos. JetBrains zufolge kostete die Ausführung von 22 Fällen bei einer internen Messung 19,94 US-Dollar bei Verwendung von GPT-5.6 SOL gemäß der von dem Unternehmen verwendeten Abrechnungskonvertierung, zuzüglich der Kosten für die CI-Ausführungsumgebung. Dies sind interne Zahlen, die von der Anwendung, den Build-Schritten und der Formulierung der Anfragen beeinflusst werden, und keine allgemeine Schätzung für jedes Projekt.
Umgebung und betriebliche Einschränkungen
Der Modus läuft in einem auf Debian Bookworm basierenden Docker-Container, der Chromium, Node.js, Xvfb, einen Fenstermanager sowie Tools wie xdotool und ffmpeg enthält. Er verwendet ein Modell, das Computer Use zur Steuerung von Klicks, Tastatur und Screenshots unterstützt. Komplexe Repositorys können mehrere Vorlagen für virtuelle Maschinen definieren, mit separaten Einstellungen für Dienste und Benutzeroberflächen.
Ohne ein unterstütztes Modell startet die Ausführung nicht. Junie verwendet das aktive Modell, sofern es verfügbar ist und Computer Use unterstützt; andernfalls wählt es aus einer Liste, die GPT-5.6 SOL und GPT-6 Astra sowie anschließend GPT-5.5 und GPT-5.4 umfasst, wobei im Modus /demo High reasoning effort eingestellt wird. Außerdem dauert die Ausführung mehrere Minuten. Der größte Nutzen liegt weiterhin darin, wiederholte interaktive Überprüfungen in einen prüfbaren Ablauf zu überführen, nicht darin, die Richtigkeit des Ergebnisses ohne menschliche Überprüfung zu gewährleisten.