ツール

vLLM

最新の報道、解説、関連するテクノロジーストーリーを確認できます。

最新の報道

CN
JetBrains、プログラミングエージェント向けの高速なオープンモデル「Mellum2.1」をリリース

JetBrains、プログラミングエージェント向けの高速なオープンモデル「Mellum2.1」をリリース

JetBrainsは、Apache 2.0ライセンスで提供するオープンモデル「Mellum2.1」をリリースした。ユーザーのローカル環境または独自インフラ上でのプログラミングエージェントやサブエージェントの実行に重点を置いている。実際のソフトウェア環境での強化学習によるトレーニングを採用し、コードリポジトリの処理と推論速度を大幅に改善した。

CN
なぜ「AIファクトリー」にはKubernetesクラスターが1つ以上必要なのか?

なぜ「AIファクトリー」にはKubernetesクラスターが1つ以上必要なのか?

CNCFの記事は、エンタープライズAI基盤の運用とは、単一のモデルやクラスターをデプロイすることではなく、複数チーム向けの共有GPUユニット群を管理し、利用率、分離、コストのバランスを取ることだと論じている。記事では、プロビジョニング、割り当て、スケジューリング、ネットワーク、ストレージ、監視、課金などの技術レイヤーを取り上げている。

CN
PerplexityとNvidia、AIエージェントをローカルで実行するPortable Computerを発表

PerplexityとNvidia、AIエージェントをローカルで実行するPortable Computerを発表

Perplexityは、ユーザーのデバイス上でエージェントをローカル実行するPortable Computerプラットフォームを開始した。まずNvidia DGX Sparkと、24GB以上のメモリを搭載したRTXカード付きLinuxコンピューターに対応する。システムはデフォルトでモデル、ファイル、作業をデバイス上に保持し、特定の手順をより強力なクラウドモデルへエスカレーションする前に、ユーザーの承認を求めることもできる。

CN
CohereLabs、ネイティブ解像度画像処理向けのオープンウェイトモデル「North Micro Vision」をリリース

CohereLabs、ネイティブ解像度画像処理向けのオープンウェイトモデル「North Micro Vision」をリリース

CohereLabsは、24億パラメータを備え、ネイティブ解像度での画像処理をサポートするApache 2.0ライセンスのオープンウェイト視覚言語モデル「North-Micro-Vision-Instruct」をリリースした。このモデルは、文書や図表の理解、OCR、カスタムファインチューニング向けのアプリケーションを対象としている。また、MLX-VLMへのコミュニティーサポートと、NVIDIA製GPUへのデプロイ向けAutoModelレシピも含まれている。

CN
AX-Ray、2つの公開AIモデルにおける因果漏洩の欠陥を明らかに

AX-Ray、2つの公開AIモデルにおける因果漏洩の欠陥を明らかに

VIDRAFTのAX-Rayプロジェクトは、性能スコアを超えたモデル評価手法を提示する。Zyphra/Zamba2-1.2Bおよびnvidia/Nemotron-H-8B-Base-8Kについて、因果漏洩と表現された欠陥を特定し、再現した。このフレームワークは、これらを展開を妨げる欠陥として位置づける一方、サービス経路やAPIの問題とは区別している。

CN
Liquid AI、デバイス上でエージェントをローカル実行するLFM2.5-2.6Bモデルを公開

Liquid AI、デバイス上でエージェントをローカル実行するLFM2.5-2.6Bモデルを公開

Liquid AIは、Hugging Face上でLFM2.5-2.6BとLFM2.5-2.6B-Baseの2モデルを公開し、ツール呼び出しとマルチステップワークフローをローカルでサポートすると発表した。このモデルは、コンピューターやスマートフォンで高速なエージェントを実行することを想定しており、メモリ消費は2.5GB未満に抑えられる。