CohereLabs hat die Veröffentlichung von North-Micro-Vision-Instruct angekündigt, einem Vision-Language-Modell mit offenen Gewichten, 2,4 Milliarden Parametern und Unterstützung für Bildeingaben in ihrer Originalauflösung unter der Apache-2.0-Lizenz. Nach Angaben des Unternehmens ist das Modell das bisher kleinste Vision-Language-Modell von CohereLabs und wurde als kompakte Grundlage für spezialisierte Multimedia-Anwendungen entwickelt.
Das Modell und seine Gewichte sind auf Hugging Face im Repository CohereLabs/North-Micro-Vision-Instruct verfügbar. Die allgemeine Unterstützung für vLLM befindet sich noch in Vorbereitung, während CohereLabs für seine Evaluierungen eine interne Version von vLLM verwendet hat.
Fokus auf Dokumente und Bilder in ihrer Originalauflösung
North Micro Vision bewahrt das Seitenverhältnis und die feinen Details eines Bildes, anstatt jedes Bild zunächst auf ein kleines Quadrat zu verkleinern. Dadurch kann das Modell kleine Texte, Dokumentlayouts, Tabellen, Diagramme, Screenshots und Formulare verarbeiten. Das Training deckt außerdem mehrere Sprachen und visuelle Bereiche ab, darunter Dokumente, Diagramme und natürliche Bilder.
Diese Fähigkeiten richten sich an Entwickler, die ein Modell benötigen, das für bestimmte visuelle Bereiche feinabgestimmt oder unter lokalen und Edge-Beschränkungen ausgeführt werden kann. CohereLabs weist darauf hin, dass Modelle dieser Größe mit einem geeigneten Inferenzpaket und Quantisierungstechniken Experimente ermöglichen könnten, die über die Bereitstellung auf Servern hinausgehen und Laptops sowie Geräte der Edge- oder Mobiltelefonklasse einschließen.
Architektur aus drei Komponenten
Das Modell besteht aus einem Vision-Encoder mit nativer Auflösung, einer Projektionsschicht und einem kompakten Sprachmodell. Es kombiniert einen vom Unternehmen trainierten Vision-Encoder mit 400 Millionen Parametern und das interne Sprachmodell North Micro LLM mit zwei Milliarden Parametern.
Das Sprachmodell folgt der Command-A+-Architektur mit einem Wechsel aus drei Aufmerksamkeits-Schichten mit gleitendem Fenster, die rotierende positionale Einbettungen verwenden, und einer einzigen globalen Aufmerksamkeits-Schicht ohne positionale Einbettungen. Der Vision-Encoder verwendet 2D RoPE und eindimensionale erlernte positionale Einbettungen, um die räumliche Struktur in Bildern mit nativer Auflösung zu bewahren. Die Projektionsschicht speist Repräsentationen aus mehreren Schichten des Vision-Encoders in entsprechende frühe Schichten des Sprachmodells ein.
Mehrstufiges Training
Das Modell wurde in vier Phasen trainiert. Der Prozess begann mit der Initialisierung des Vision-Encoders und der Projektionsschicht. Anschließend wurde die Auflösung in zwei Phasen erhöht, während der Encoder, die Projektionsschicht und das Sprachmodell gemeinsam trainiert wurden. Danach wurde das Modell einer instruktionsbasierten Feinabstimmung unterzogen. Den Abschluss bildete eine vereinfachte Version der Mixed Preference Optimization zur Verbesserung von Sicherheit, Ausrichtung und Antwortqualität.
Das Training des Vision-Encoders begann mit einer Auflösung von 384×384 Pixeln unter Verwendung von 10 Millionen Beispielen, wurde über 13 Millionen Beispiele auf 1024×1024 Pixel erhöht und anschließend über 10 Millionen Beispiele auf eine maximale native Auflösung von 1654×2339 Pixeln gesteigert. Diese entspricht einer A4-Seite mit 200 Punkten pro Zoll und ermöglicht es dem Modell, eine einzelne Dokumentseite unter Wahrung ihres Seitenverhältnisses zu verarbeiten.
In der Phase der instruktionsbasierten Feinabstimmung wurden 50 Millionen multimodale Beispiele verwendet, die hauptsächlich auf native OCR, Diagramme und Tabellen, Lokalisierung und Zählen, OCR-Frage-Antwort-Aufgaben sowie allgemeines Bildverständnis entfielen. Die Daten umfassten außerdem Bildbeschreibungen, Wissen, reine Texte sowie Mathematik und Naturwissenschaften. Der Prozess stützte sich auf öffentlich verfügbare Datensätze und eine unternehmensinterne mehrsprachige Dokumentensammlung.
Evaluierungsergebnisse und verfügbare Integrationen
CohereLabs bewertete das Modell in Aufgaben zum allgemeinen, mehrsprachigen und mehrbildbasierten Bildverständnis, zum Verständnis von Diagrammen, Dokumenten und OCR, in Naturwissenschaften und Technik, bei Lokalisierung und Zählen, zur Halluzinationsresistenz sowie bei Textfähigkeiten. Den veröffentlichten Ergebnissen zufolge erzielte das Modell 0,921 im DocVQA-Test, 0,808 bei ChartQA, 0,792 bei OCRBench und 0,725 bei CountBench, während es bei HallusionBench einen Wert von 0,615 erreichte.
Das Unternehmen stellt mit einem Community-Beitrag von Prince Canuma und Neywa mit MLX-VLM kompatible Gewichte bereit. Außerdem wird in Zusammenarbeit mit NVIDIA ein AutoModel-Rezept ausgeliefert, mit dem Entwickler das Modell feinabstimmen und auf NVIDIA-Grafikprozessoren bereitstellen können. Hinzu kommt Unterstützung für eine individuelle Feinabstimmung über das Community-Framework Axolotl.