NVIDIAは2026年8月19日、AIエージェントに特定の作業手順やツールの使い方などを教えるエージェントスキル（Agent Skills、以下スキル）の効果を測定する「NVIDIA SkillEvaluator」をオープンソースで公開したことを紹介した。同じタスクをスキルあり・なしの2条件で実行し、結果の差を「Skill Lift」として算出する。自社製品向けの300以上のスキルを対象にした評価では、正確性が平均41ポイント向上した。ライセンスはApache License 2.0で、ソースコードはGitHubから入手できる。

• Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator - NVIDIA Technical Blog

安全性の検証から効果測定まで⁠、3段階で評価

SkillEvaluatorの評価は、形式や安全性の静的検査から、実際のエージェントを使った効果測定までの3段階で構成され、各段階を単独でも実行できる。

• Tier 1：形式と安全性の検証：ファイル構造や記述形式、品質を確認し、プロンプトインジェクションにつながる記述、秘密情報・個人情報の有無、ライセンス上の問題などを静的に検査する
• Tier 2：重複の検出：文章の意味の近さを比較し、スキル内やカタログ内にある重複した内容を検出する
• Tier 3：実際のエージェントを使った効果測定：エージェントにテストケースを実行させ、スキルが成果を改善するかを測る

Tier 3では、オープンソースのエージェント評価基盤「Harbor」を利用する。評価には、エージェントに与える依頼、期待する結果、確認すべき動作などをまとめたテストケースを使う。各ケースでは、モデルや入力データ、採点基準をそろえ、スキルあり・なしの各条件を別々のサンドボックスで実行する。SkillEvaluatorはHarborを通じて実行環境を用意し、結果を収集してSkill Liftを算出する。

ベンチマークで5項目のSkill Liftを測定

NVIDIAは、30を超える自社製品向けの300以上のスキルを、OpenAI CodexとClaude Codeの2種類のエージェント実行環境で評価した。Skill Liftは、実行環境ごとにスキルありのスコアからスキルなしのスコアを引いて算出する。公開された結果は2026年8月12日時点のベンチマークに基づくマクロ平均で、スキルと実行環境の各組み合わせに同じ重みを与えている。表の数値はCodexとClaude Codeをまとめた全体値で、「⁠スキルなし」「⁠スキルあり」はいずれも100点満点の平均スコアを示す。

5項目全体のSkill Liftは平均31ポイント、安全性を除く4項目では平均39ポイントだった。

環境別のSkill Liftは、5項目全体でClaude Codeが+34ポイント、Codexが+29ポイントだった。安全性を除く4項目では、Claude Codeが+42ポイント、Codexが+36ポイントだった。いずれも各環境内で測ったスキル導入による改善幅であり、Claude CodeとCodexの性能そのものを比べた値ではない。また、製品別のSkill Liftはおおむね+2～+46ポイントの幅があり、実行環境の違いより製品による差のほうが大きかった。

正確性と有効性は、スキルの有無にかかわらず同じ基準で評価される。スキルの適切な読み込み（Discoverability）は、関連する場面でスキルを読み込み、関係のない場面では読み込まなかったかを評価する。効率性（Efficiency）は、無駄な手順や不要なツール呼び出しを抑えられたかを見る。この2項目は、導入したスキルを適切かつ効率的に利用できたかを示している。

公開結果では、対象スキルの85％について、各タスクをスキルあり・なしの条件で1回ずつ、残りの15％について2回ずつ実行している。NVIDIAは、実際のエージェントを動かすTier 3の評価結果には、実行ごとのばらつきがあるとしている。

スキルの改善や導入判断に活用

SkillEvaluatorでは、スキルの公開前に、形式や安全性に加え、実際にエージェントの成果を改善するかを確認できる。NVIDIAによると、スキルを導入してもトークン数や実行時間が必ず減るわけではなく、評価を通じて追加の最適化が必要なスキルも見つかった。

NVIDIAの公式ブログによると、OpenClawは、ClawHub上の公式組織を対象にSkillEvaluatorを試験導入している。Tier 3で測ったスキルあり・なしの結果を「Evals」タブに表示し、スキルを探して導入する際に評価情報を確認できるようにしている。ClawHubの開発に携わるPatrick Erichsen氏は、NVIDIAと連携してこの取り組みを進めていると説明した。同氏は、感覚的な評価だけに頼らず、Skill Liftという定量的な指標を基に、エージェントの性能を実際に高めるスキルを見つけやすくすることを目標としている。

Nous Researchによると、Hermes AgentのSkills Hubからスキルをインストールする際、必要なスキャナーが導入されていれば、SkillEvaluatorのTier 1による補助的な検査が実行される。検査結果は、ユーザーがインストールを確定する前に表示される。具体的には、個人を特定できる情報（PII）や誤って含まれた秘密情報、不可視のUnicode文字を使った情報の隠蔽、ライセンス上またはセキュリティー上の問題を確認する。Nous ResearchはまずHermes Agentに同梱するスキルを検査し、その結果を基に11件のスキルを改善したと述べている。

なお、SkillEvaluatorのリポジトリでは、サポートレベルが「Experimental」とされ、NVIDIAの企業向けサポートやSLAは適用されない。