TypeSafe AIは9月15日、ソフトウェア内の判断処理に特化したAIモデル「Jev」の早期アクセス提供を発表した。Jevを使うと、文章やコードではなく、あらかじめ定めた選択肢や評価尺度に沿った判断結果が返ってくる。同社は、ウェイトリストに登録した開発者に順次利用を案内している。

• Introducing System One Models & Jev - TypeSafe AI Blog

同社を率いるDiogo Almeida氏は、OpenAIでChatGPTの基礎となる研究に携わり、約2年間の非公開開発を経てJevを発表した。Jevは、同社が「System One Models」と呼ぶモデル群の最初の公開モデルに当たる。

判断結果と確信度をコードで利用

Jevに判断の対象となるデータと質問を渡す際に、回答の選択肢や評価尺度を指定しておく。すると、Jevが選んだ項目や評価値が構造化データとして返ってくる。それにより、回答文を解析して必要な値を取り出す処理が不要になり、返された値をそのままプログラムの分岐や集計に使えるという。

たとえば、事業案の説明を入力し、市場規模や技術的な実現性を別々に採点させ、その結果を独自の計算式でまとめるといった使い方ができる。複数の質問は1回のAPI呼び出しにまとめられ、Jevは同じデータを基に、それぞれを独立して並列に評価する。

ドキュメントによると、質問には3種類の形式がある。選択肢から1つを選ぶ「Choice⁠」⁠、評価尺度に沿って採点する「Score⁠」⁠、記述が真である確率を0〜1の値で返す「Noul」を使い分けられる。

ChoiceとScoreでは、判断結果に加えて確率分布と確信度も得られる。公式サイトでは、確信度にしきい値を設け、自動処理を続けるか、人による確認に回すかを決める使い方を示している。

この確信度を実際の正答率に対応させるため、同社は「Reinforcement Learning for Calibrated Decisions（RLCD⁠）⁠」と呼ぶ強化学習手法を採用している。出力形式については、指定した選択肢にない答えや、指定したデータ構造に合わない出力が生じないことを「ハルシネーションなし」と説明する。ただし、選択肢の中から誤った答えを選ぶなど、判断自体を間違える可能性は残るという。

入力100万トークン当たり0.042ドル⁠、出力は無料

発表時の料金は、入力100万トークン当たり0.042ドルで、出力トークンは無料。Almeida氏は、出力の計算コストが非常に小さいため、出力量を計測して課金する必要がないと説明している。

Xでの投稿では、LLMと比べて20〜200倍高速で、コストを40分の1〜400分の1に抑えられるとも説明した。同社によると、LLMがトークンを順番に生成するのに対し、Jevは出力を並列に計算することで処理を効率化している。

同社は、請求書処理や顧客対応など4種類のワークフロー評価も公開した。判断を小さな質問に分け、結果をコードで処理する共通の構成で各モデルを比較している。得られた速度・コストの改善幅については、実際の利用で期待できる効果の中でも大きい部類に入るとみている。

Doomの操作やWikipediaのリンク選択をデモで紹介

用途を示すデモとして、ゲーム「Doom」の操作を紹介している。ゲームの状況をテキストを含む構造化データとしてJevに渡す仕組みで、Almeida氏によると、毎秒約10回の呼び出しで費用は1時間当たり約7ドルになる。

もう1つのデモ「Wikiracing」は、Wikipediaの記事内リンクだけをたどって目的の記事へ到達するゲーム。多数のリンク候補から次の移動先を選ぶ判断にJevを利用している。

早期アクセスの申し込みは、TypeSafe AIのWebサイトで受け付けている。