Ruby on Railsコードを書くのに最適なエージェントは？ Agents on Railsプロジェクトがベンチマークレポートを発表

Rails Foundationは2026年8月13日、Ruby on Railsタスクに対するコーディングエージェント比較プロジェクト「Agents on Rails」の最初のベンチマークレポートを発表した。

Agents on Rails: the first benchmark report -rubyonrails.org

Agents on Rails: We ran 8 models against 21 atomic tasks to see which were best at writing Rails code. 3 runs each: a bug report, a security finding, a feature request.

The first benchmark report with findings is now live. So: what did we discover?

As of August 2026:
- Most… pic.twitter.com/xs8zItKWca
— Ruby on Rails (@rails) August 13, 2026

「Agents on Rails」はRails Foundationが行っているプロジェクトで、現在主流のエージェント型コーディングツールがRuby on Railsのコードベース上で実際にどの程度優れたパフォーマンスを発揮するかを測定する継続的な取り組み。最初のレポートでは8つのモデルを使ってRailsアプリケーションWritebookに対して21個のアトミックタスク（特定の機能のみを実行する小さい自己完結型タスク）をそれぞれ3回ずつ実行した結果をまとめている。ベンチマークの詳しい情報はGitHub上で公開されている。

使用したモデルは以下の8種。

Anthropic Claude Opus 5
Anthropic Claude Fable 5
MoonshotAI Kimi-K3
OpenAI GPT-5.6 Sol
OpenAI GPT-5.6 Luna
Meta Muse Spark 1.2
Z.ai GLM-5.2
DeepSeek V4 Flash

またこれに加えて、SpaceXAI Grok 4.6、Z.ai GLM-5.3、Google Gemini 3.7 Flashのベンチマークが8月17日（米国時間）に公開される予定。

今回行ったベンチマークでは、おもに以下のような結果となった。

正確性：有効なタスク実行ではClaude Opus 5が最も高く、92％の問題を解決
コスト：GPT-5.6 Lunaがデフォルトの中程度の推論レベルで73％の精度を保ちつつ、63回の実行で合計91セントとなった。
速度：GPT-5.6 Lunaが最も速く、1タスクあたりの平均実行時間は3.3分

また精度とコスト、実行速度のバランスが最もとれたモデルはGPT-5.6 Solで、精度84％、1回の実行あたり約0.52ドル、実行時間5分であった。

なお、単純な実行精度においてClaude Fable 5は95％とトップの成績をマークしたが、Anthropicの制限により、セキュリティレポートのようなタスクを解決することを拒否したため、利用には注意が必要とされた。

詳しいベンチマーク結果はAgents on Railsのページを参照。