Das in Palo Alto ansässige KI-Startup Elorian hat sein erstes Modell, Glimpse, als Forschungsversion mit Zugang über eine Programmierschnittstelle und eine Chat-Oberfläche veröffentlicht. Das Modell konzentriert sich auf Schlussfolgern auf Grundlage des visuellen Inhalts selbst, anstatt ein Bild oder Video einmalig in Token umzuwandeln und anschließend anhand einer statischen Textbeschreibung damit zu arbeiten.
Elorian zufolge kann Glimpse während des Denkprozesses mehrfach zur visuellen Quelle zurückkehren, einen bestimmten Bildbereich zuschneiden, einzelne Bilder aus einem Video extrahieren oder Code ausführen, um Elemente zu vermessen und zu vergleichen. Das Unternehmen nennt diesen Mechanismus „visuellen Entwurfsbereich“. Er soll es dem Modell ermöglichen, Details zu überprüfen, die bei der ersten Analyse möglicherweise übersehen wurden.
Von der Beschreibung zur wiederholten Prüfung
Andrew Dai, CEO von Elorian und ehemaliger Forscher bei Google DeepMind, ist der Ansicht, dass sich die Unfähigkeit heutiger Modelle, Symbole und visuelle Beziehungen zu verstehen, sogar in Alltagssituationen zeigt. Er erklärte, er habe ein fortschrittliches Modell anhand eines Bildes eines Brettspiels getestet und es gefragt, welcher Spieler vorne liege; das Modell habe jedoch die Symbole und Spielregeln visuell nicht interpretieren können. Dai vergleicht dies mit der Fähigkeit von Menschen, Montageanleitungen für Möbel zu verstehen, die nur wenig Text enthalten.
Die Idee ist nicht völlig neu: OpenAI hat seinen Modellen der o-Serie im Jahr 2025 während des Schlussfolgerns eine Zuschneide- und Vergrößerungsfunktion hinzugefügt. Elorian zufolge wurde Glimpse jedoch von Grund auf um diesen Ansatz herum entwickelt und hält dabei die Trainingskosten niedrig. Nach Angaben des Unternehmens wurde das Modell von einem kleinen Team mit einigen Hundert Grafikprozessoren trainiert. Außerdem ist es wesentlich kleiner als die führenden Systeme, mit denen es verglichen wurde.
Leistung und Kosten
Den Bewertungen von Elorian zufolge übertrifft Glimpse GPT-6 Astra beim Schlussfolgern über wissenschaftliche Diagramme und beim Beschreiben kurzer Videoclips und erzielt bei anderen Aufgaben des visuellen Schlussfolgerns konkurrenzfähige Ergebnisse. Diese Ergebnisse stammen aus unternehmenseigenen Bewertungen. Die Quelle nannte keine unabhängigen Details zu den Testdatensätzen oder zur Vergleichsmethodik, weshalb sie allein keinen allgemeinen Vorsprung gegenüber allen Modellen belegen.
Die Kosten für Glimpse belaufen sich auf etwa 0,60 US-Dollar pro eine Million Eingabetoken und 3 US-Dollar pro eine Million Ausgabetoken. Damit ist es dem vorliegenden Vergleich zufolge günstiger als mittelgroße Modelle wie Sonnet und Sol, aber teurer als leichte Modelle wie Haiku und Luna.
Was ändert sich in der Praxis?
Elorian zielt in der ersten Phase auf Unternehmen ab, die große Mengen an Videomaterial verarbeiten, darunter Robotikunternehmen, wissenschaftliche Labore sowie Medien- und Kreativorganisationen. Der praktische Wert des Modells besteht, sofern unabhängige Tests die Behauptungen des Unternehmens bestätigen, darin, die Abhängigkeit von der anfänglichen Bildbeschreibung zu verringern und eine detailliertere Prüfung von Grafiken, Symbolen und der Abfolge von Ereignissen innerhalb eines Videos zu ermöglichen.
Elorian nahm vor der Veröffentlichung seines Produkts in einer Seed-Runde 55 Millionen US-Dollar bei einer Bewertung von 300 Millionen US-Dollar auf. An der Runde beteiligten sich Striker Venture Partners, Menlo Ventures und Altimeter Capital sowie Nvidia und Jeff Dean, der leitende Wissenschaftler bei Google. Langfristig will das Unternehmen nach eigenen Angaben vom Sehen zum Handeln übergehen, indem es ein Modell der Szene erstellt und dieses zur Auswahl einer Handlung nutzt, einschließlich der direkten Steuerung von Robotern. Dai kündigte außerdem an, dass das Unternehmen im kommenden Jahr „das beste Modell der Welt für visuelles Schlussfolgern“ entwickeln wolle – ein ambitioniertes Ziel, das weiterhin von Ergebnissen und Tests abhängt, deren Details noch nicht vollständig veröffentlicht wurden.