ジャック・ドーシー氏が所有するBlock社は、研究ラボを通じて「Dessa」と呼ばれる新しい音声モデルの開発を発表した。このモデルは、コンシューマー向けデバイス上でローカルに動作する能力を備えており、従来のテキスト読み上げ方式に頼ることなく、自然な間、ため息、感情表現を取り入れることで、人間の表現力に非常に近い音声トーンを提供する。
Dessaモデルは、NVIDIA製GPUの1ラックを使用して人間の音声データのみでトレーニングされている。完全な双方向（フルデュプレックス）モデルであるため、同時に話したり聞いたりすることが可能であり、情報を取得するための専用の大規模言語モデルに依存するのではなく、会話データから直接知識を引き出す。
同社によると、既存の音声モデルは音声を生成するために事前のテキスト処理に依存しているため、不自然であったり不快に聞こえることが多く、感情表現を強制するために音声タグに頼ることがほとんどである。対照的に、Block社は自社のモデルでは感情的な側面がその基本アーキテクチャに組み込まれていると強調しており、研究者らは疲労の表現やロールプレイへの参加など、感情状態に応じてアシスタントのトーンが異なり変化することを示す音声サンプルを公開した。
実用面で何が変わるのか？
Dessaモデルは、MacBook M4 Maxなどのコンシューマー向けスペックを持つパーソナルコンピューター上でローカルに動作する技術的な能力を備えている。この進歩は、すでに音声AIを活用して注文を管理しているBlock社傘下のSquareのような企業にとって潜在的な機会となる。デバイス上でのローカル実行により、複雑なクラウドインフラストラクチャを必要とせず、より低い運用コストでユーザーインタラクティブな体験を有効にすることが可能になる。
制限と現在の可用性
現在のところ、同社はDessaモデルを一般公開しておらず、現在のステップは、セキュリティ研究者を招待してモデルをテストし、特に音声エージェントが個人を欺くために使用される可能性のある方法で人間を模倣する能力に関連する潜在的なリスクを評価することに限定されている。