CohereLabsは、North-Micro-Vision-Instructのリリースを発表した。これは24億パラメータを備え、ネイティブ解像度の画像入力をサポートするApache 2.0ライセンスのオープンウェイト視覚言語モデルである。同社によると、このモデルは同社史上最小の視覚言語モデルであり、専門的なマルチモーダルアプリケーション向けのコンパクトな基盤として設計されている。
モデルと重みは、Hugging FaceのCohereLabs/North-Micro-Vision-Instructリポジトリで提供されている。vLLMの一般的なサポートは現在準備中であり、CohereLabsは評価時にvLLMの内部バージョンを使用した。
文書とネイティブ解像度画像に注力
North Micro Visionは、すべての画像を最初に小さな正方形へ縮小するのではなく、画像のアスペクト比と細部を維持する。これにより、小さな文字、文書のレイアウト、表、図表、スクリーンショット、フォームを扱える。また、学習では文書、図表、自然画像を含む複数の言語と視覚領域をカバーしている。
これらの能力は、特定の視覚領域向けにファインチューニングしたり、ローカルおよびエッジ環境の制約下で実行したりできるモデルを必要とする開発者を対象としている。CohereLabsは、この規模のモデルは、適切な推論パッケージと量子化技術を組み合わせることで、サーバーへのデプロイを超え、ノートパソコンやエッジカテゴリー、携帯電話に分類されるデバイスでの実験まで支援できる可能性があると述べている。
3つのコンポーネントによる構成
このモデルは、ネイティブ解像度のビジョンエンコーダー、投影モジュール、統合言語モデルで構成されている。同社が学習した4億パラメータのビジョンエンコーダーと、20億パラメータの社内言語モデルであるNorth Micro LLMを組み合わせている。
言語モデルはCommand A+のアーキテクチャに従い、回転位置埋め込みを使用するスライディングウィンドウ方式の3つのアテンション層と、位置埋め込みを使用しない1つのグローバルアテンション層を交互に配置している。ビジョンエンコーダーは2D RoPEと学習可能な1次元位置埋め込みを使用し、ネイティブ解像度の画像における空間構造を維持する。投影モジュールは、ビジョンエンコーダーの複数の層からの表現を、言語モデルの対応する初期層へ注入する。
複数段階の学習
モデルの学習は4段階で行われた。まずビジョンエンコーダーと投影モジュールを初期化し、その後、2段階にわたって解像度を引き上げながら、エンコーダー、投影モジュール、言語モデルを同時に学習した。次にモデルへ教師ありファインチューニングを行い、最後にMixed Preference Optimization技術の簡略版によって、安全性、整合性、回答品質を向上させた。
ビジョンエンコーダーの学習は、1,000万件の例を用いた384×384ピクセルの解像度から始まり、1,300万件の例による1024×1024ピクセルを経て、1,000万件の例による最大ネイティブ解像度1654×2339ピクセルへと進んだ。この上限は200dpiのA4ページに相当し、モデルはアスペクト比を維持したまま1ページの文書を処理できる。
教師ありファインチューニング段階では、5,000万件のマルチモーダルサンプルを使用した。主な内訳は、ネイティブOCR、図表と表、位置特定とカウント、OCRに関する質問応答、一般的な画像理解である。画像キャプション、知識、テキストのみのデータ、数学と科学もデータに含まれていた。このプロセスでは、公開データセットと、同社が保有する社内の多言語文書コレクションを基盤とした。
評価結果と利用可能な統合
CohereLabsは、一般画像理解、多言語・複数画像理解、図表・文書・OCR理解、科学技術、位置特定とカウント、幻覚耐性、テキスト能力を含むタスクでモデルを評価した。公開された結果によると、モデルはDocVQAで0.921、ChartQAで0.808、OCRBenchで0.792、CountBenchで0.725を記録し、HallusionBenchでは0.615だった。
同社は、Prince CanumaとNeywaによるコミュニティーの貢献を受け、MLX-VLMと互換性のある重みを提供している。またNVIDIAとの提携により、開発者がモデルをファインチューニングしてNVIDIA製GPUへデプロイできるAutoModelレシピを提供するほか、コミュニティーのAxolotlフレームワークを通じたカスタムファインチューニングもサポートしている。