OpenAIは9月10日、音声モデル「GPT-Live-1」のAPI提供を開始した。開発者は、発話中もユーザーの声を聞き取り、割り込みや依頼の変更に対応する音声エージェントを構築できる。推論やツール呼び出しには、開発者が選んだバックエンドのモデルを組み合わせる。
発話中の割り込みに対応、処理中も会話を継続
発話と聞き取りを同時に行う全二重方式により、ユーザーはモデルが話している途中でも、思い付いた情報を付け加えたり、質問を変えたりできる。OpenAIによると、GPT-Live-1は背景の雑音と発話を区別し、カフェのざわめきなどで会話が途切れることを抑えるという。
これまでの音声エージェントでは、音声認識、言語モデルによる処理、音声合成をつなぐ構成が使われてきた。GPT-Live-1は聞き取りと発話を1つのモデルで扱い、処理の受け渡しに伴う遅延を減らす。
GPT-Live-1は、複雑な推論やツールを使う作業をバックエンドへ委ね、その処理中も会話を続ける。開発者向けドキュメントでは、バックエンドが注文状況を調べている間にユーザーが情報を追加し、結果が届くとGPT-Live-1が音声で伝える例を挙げている。開発者は、音声モデルとは独立して、バックエンドのモデルやエージェントの実行基盤を選べる。
声の調子や話す速さを指示で調整
開発者は指示を通じて声の調子や話す速さ、表現の豊かさを調整し、使用言語や返答の長さも指定できる。また、OpenAIによると、GPT-Live-1は話し手の声の調子や感情を反映し、話すペースに合わせられるという。
API提供に合わせて、アクセントや方言、言語に応じた声の選択肢も拡大した。今後数カ月にわたり、声と対応言語をさらに増やす予定としている。
応答開始まで0.798秒、Astraとの組み合わせでタスク達成率83.6％
OpenAIは、GPT-Live-1の評価結果も示している。
応答速度を測るFull Duplex Bench v1では、ユーザーの発話が終わってから返答を始めるまでの時間が0.798秒となり、GPT-Realtime-2.1の1.41秒を下回った。
発話のタイミングや割り込み、短い相づちへの対応を評価するArtificial AnalysisのConversational Dynamicsでは97.3％を記録した。発話の重なりや背景の声、別の相手との会話、割り込みを扱うFull Duplex Bench v1.5では、対話性のスコアが80.1％だった。
業務タスクの評価では、GPT-Live-1にGPT-6 Astraを組み合わせ、Astraの推論の強度をmediumに設定した。航空、小売、通信の顧客サポートを扱うTau3では、初回の試行でタスクを完了した割合が83.6％となり、GPT-Realtime-2.1の45.7％を上回った。同じ組み合わせで、銀行業務の文書から情報を探し、ツールを使って顧客の依頼に対応するTauBankingでは38.1％を記録した。
発表ブログによると、ツール利用を測るFull Duplex Bench v3では、バックエンドにTerraを使い、推論の強度をlowに設定した。自然な間やためらい、言い直しを含む音声の依頼に対し、正しい順序でツールを呼び出す評価では87％、回答品質の評価では90％を記録した。
音声部分は1分0.05ドル、バックエンドの利用料は別途
GPT-Live-1の音声部分の料金は1分当たり0.05ドル。ドキュメントによると、音声セッションの時間に応じて秒単位で課金され、バックエンドのモデルとツールの利用料は別途発生する。
