最新の報道、解説、関連するテクノロジーストーリーを確認できます。
データセンターは、すべてのタスクを1台のGPUに依存するのではなく、CPU、GPU、NPU、専用アクセラレーター、光インターコネクトを組み合わせたヘテロジニアス・クラスターへと向かっている。この変化により、ソフトウェア、ネットワーク管理、電力が、トークンコストを削減し、ハードウェアの利用効率を高めるための決定的な要因となる。
AIスタートアップのEtchedは、Jane Streetが同社から出荷された初の完全なAIシステムをテストし、自社のデータセンターで稼働させるために購入した後、評価額210億ドルで7億ドルを調達した。この資金調達は、AIモデルの推論を高速化し、コストを削減する同社の設計に対する賭けを反映している。
Expederaのシャラド・チョールは、エッジデバイスが従来のビジョンネットワークからLLMやVLMへ移行することで、ボトルネックの性質が演算能力からメモリトラフィックへと変化していることを分析する。また、パケットベースの処理が外部データ転送を削減し、自動車や組み込み機器内でのモデル実行を改善する役割を紹介する。