NVIDIAは2026年8月11日、長時間稼働するAIエージェント向けのオープンモデル「Nemotron 3.5 Lightning」と、処理内容に応じて利用するモデルを切り替えるオープンソースライブラリ「NeMo Switchyard」を発表した。Nemotron 3.5 LightningはRTX PCやDGX Sparkなどでローカル実行でき、エッジデバイスからデータセンター、クラウドまで展開できる。発表時点で、同モデルはHugging FaceやModelScope、OpenRouterなどから利用でき、NeMo SwitchyardはGitHubで公開されている。

• NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI | NVIDIA Blog

30Bのうち3Bを動かす⁠、実行処理向けMoEモデル

Nemotron 3.5 Lightningは、総パラメーター数300億のうち、推論時に30億を使うMixture of Experts（MoE）モデルで、トークンごとに一部のエキスパートだけを動かして計算量を抑える。Mamba-2、MoE、Attentionを組み合わせた構成で、最大100万トークンのコンテキスト長に対応する。

NVIDIAはこのモデルを、常時稼働するエージェントやマルチエージェントシステムで高頻度の処理を担うモデルと位置付ける。コードレビューやツール操作、監視、問い合わせ対応などを想定し、日本語を含む6つの自然言語に加え、複数のプログラミング言語をサポートする。

モデルカードには、DGX SparkまたはH100を1台使う構成例が掲載されている。NVIDIAの開発者向け記事では、ローカル環境の例としてJetsonやGeForce RTX 5090も挙げている。

同規模モデルの最大4倍の出力速度

NVIDIAの評価では、Nemotron 3.5 Lightningは同規模のモデルと比べて最大4倍の出力速度を記録した。実務に近いタスクでAIエージェントの成功率や処理速度を測るPinchBenchでは、1万件のタスクを86％の成功率で処理した。同程度の成功率を示したQwen3.6 35Bより、完了時間を30％短縮したとしている。この30％はタスク全体の完了時間の比較で、単純なトークン生成速度ではない。

モデルカードに掲載されたPinchBenchスコアは、BF16版が85.37、NVFP4版が83.43だった。開発者向け記事の86％はチェックポイントを明記しておらず、同一条件の数値とは限らない。

コマンドライン環境でのタスク遂行能力を測るTerminal-Bench 2.1のスコアは、BF16版が24.58、NVFP4版が23.46となっている。

また、外部評価のArtificial Analysis Intelligence Index v4.1.1では24を記録した。同指標はTerminal-Bench 2.1を含む9つの評価を統合しており、モデル規模や用途は異なるものの、図ではGoogleのGemini 3.6 Flashが52、NVIDIAのNemotron 3 Ultraが38、Nemotron 3 Superが26となっている。

高速化手段として、複数の候補トークンを先に生成してまとめて検証する投機的デコーディングにも対応する。モデル自体が複数の次トークンを予測するMTPに加え、候補トークンの生成を担うドラフトモデルとしてDSparkとDFlashを用意した。

重み⁠、学習データ⁠、レシピを公開

Nemotron 3.5 LightningはOpenMDW 1.1で提供され、商用利用もできる。NVIDIAはモデルの重みに加え、学習データと学習レシピも公開する。

追加学習には、モデルルーターのNeMo Switchyardとは別のモデル開発基盤「NVIDIA NeMo」も利用できる。NVIDIA NeMoでは、NeMo RLをモデルの追加学習に、NeMo Gymを学習環境の構築や評価に使い、組織固有のデータやワークフローにモデルを適応させられる。

同時公開された強化学習用データセットNemotron-RL-Agentic-Terminal-Pivot-v1は、630種類のタスクで自動検証に合格した実行履歴から3万1111件のサンプルを収録する。Nemotron 3.5 Lightningのコーディングエージェント向けの追加学習に使われ、CC BY 4.0で公開されている。

処理の段階や難易度に応じてモデルを切り替え

NeMo Switchyardは、複数のモデルやプロバイダーへLLMのリクエストを振り分けるRust製のプロキシ兼ライブラリ。NeMo Switchyardを使うことで、複雑な推論や計画は高性能モデル、ツール呼び出しや結果検証など頻発する処理はNemotron 3.5 Lightningのような小型モデルへ振り分けられ、精度、速度、コストのバランスを調整しやすくなる。

OpenAI Chat Completions、OpenAI Responses、Anthropic Messagesの各API形式を相互変換し、クライアント側の形式を保ったままvLLM、NVIDIA NIM、Ollamaなどへ処理を送れる。

ルーティング方法には、LLMが内容を分類する「LLM Classifier⁠」⁠、直近のツール実行やエラーから作業段階を判断する「Stage Router⁠」⁠、まず低コストのモデルを使い、難航した場合に高性能モデルへ切り替える「Escalation Router」などがある。独自のルーティングアルゴリズムも組み込める。

なお、LangChainが145件のマルチターンタスクで行った評価では、モデルルーティングにおけるコストと精度のトレードオフも確認された。Nemotron 3.5 LightningとClaude Opus 4.8に処理を振り分けたところ、Claude Opus 4.8だけを使う構成よりコストを74％削減した一方、精度は約6ポイント低下した。LangChainはこの数値を1つのワークロードでの結果と位置付け、導入前に固有のワークロードで検証するよう促している。

NeMo SwitchyardはApache License 2.0で公開されており、現時点ではプレアルファ版となっている。