OpenAIは12月21日、推論モデルoシリーズの最新版、o3の初期バージョン(プレビュー)の性能評価を発表した[1]。o3は、コーディング、数学、科学的推論に関して既存モデルであるo1を大幅に上回ることを各種ベンチマークを用いて示している。
9月に発表した推論モデルo1は、「Learning to Reason with LLMs」で言及されているように強化学習でトレーニングされた言語モデルだった。o3はその強化学習をさらにスケールアップすることで実現できた言語モデルだという。
o3は未学習の最近のプログラミングコンテストや数学テストにおいて、o1を大幅に上回る性能を得たことが語られている。特に、AIと人間の知能を比較する指標の一つとして作られたARC-AGIの評価でも大きな飛躍が得られたとのこと。
また、より高速で安価なモデルのo3-miniもあわせて発表している。コーディングに最適化されているとし、o3シリーズとしては最初(2025年初頭)に一般提供される予定。
そして、性能がo3クラスのモデルの安全性を向上するために、新しい手法「Deliberative Alignment」についても取り上げて紹介している。Deliberative Alignmentでは、モデルに安全仕様書(safety specifications)のテキストを直接教え、推論時にその仕様について熟慮するようにモデルをトレーニングするアプローチを取る。これにより、モデルの堅牢性と安全性を大幅に向上できるという。
現在OpenAIでは、o3/o3-miniの一般提供前に、言語モデルの安全性を研究している人に対して、テストの協力を求めている。