Anthropicは2026年9月11日、Claude Codeのプラグインやスキルの効果を評価するコマンド「claude plugin eval」を公式XアカウントのClaudeDevsで紹介した。テストケースの作成、実行、採点に加え、プラグインを読み込まない場合の結果とも比較できる。

プラグインを使って望ましい結果が得られても、使わずに同じ結果が出るなら、その成功だけではプラグインの効果を判断しにくい。claude plugin evalでは、同じテストをプラグインあり・なしの両方で実行し、スコアの差から、そのテストでプラグインがどの程度役立ったかを確認する。

テストケースの作成から比較レポートまで

利用にはClaude Codeのバージョン2.1.269以降が必要となる。対象プラグインのフォルダーでclaude plugin eval initを実行すると、テストを作成するためのClaudeとの対話セッションが開く。

利用者が望ましい出力と望ましくない出力を説明し、実際に使うプロンプトをいくつか示すと、Claudeがテストケースと判定項目を作成する。Claudeは作成したテストを試験的に実行し、テスト全体を実行する場合の費用も見積もる。

公式ドキュメントによると、回答が指定したパターンに一致するか、特定のツールを呼び出したかなどを判定項目として設定できる。別のAIモデルに出力を評価させる方法もある。

テストケースの作成後は、ターミナルからclaude plugin evalを実行する。デフォルトでは、各ケースをプラグインあり・なしで3回ずつ実行し、それぞれの平均スコアを求める。ターミナルには両者のスコアがケースごとに並び、詳細はHTMLレポートで確認できる。

サブスクリプション契約のあるclaude.aiアカウントでログインし、アーティファクト機能が使える場合は、レポートがclaude.ai上にも非公開で保存される。ローカルのファイルだけを残したい場合は、--no-publishを指定できる。

トークン消費と実行権限に注意

評価では実際にモデルを呼び出すためトークンを消費し、契約プランの使用量またはAPI料金に計上される。ClaudeDevsは、本格的な実行の前に、実行回数を減らして試すことを勧めている。実行コマンドに--runs 1を付けると、各テストケースをプラグインあり・なしで1回ずつ実行する。ただし、結果にはばらつきがあるため、効果を判断する際はデフォルトの3回で結果を確かめるよう、ドキュメントでも案内している。

また、処理を自動実行するフックや、外部ツール・データと連携するMCPサーバーがプラグインに含まれる場合、これらは実行時に利用者の権限で動作する。このため、ClaudeDevsは信頼できるプラグインだけを評価するよう注意を促している。

claude plugin evalによる評価では、対象プラグインのMCPサーバーは自動では起動しない。評価時にMCPサーバーを起動するには、実行コマンドに--allow-real-serversなどのオプションを付ける。さらに、そのサーバーが提供するツールの利用を--allow-toolsで明示的に許可する必要がある。