Meta⁠Llama 4を発表 ―MoEアーキテクチャを初めて採用したオープンウェイト⁠ネイティブマルチモーダルモデル

Metaは2025年4月5日、同社が開発するオープンソースAIモデルLlamaの最新バージョン「Llama 4」ファミリーの3モデルを発表、うち2つをリリースした。

Threadsで見る

Llama 4シリーズは、MoE(Mixutre of Experts:専門家混合モデル)アーキテクチャを使用して再設計され、マルチモーダルでトレーニングされたAIモデル。今回発表されたのは以下の3モデル。

Llama 4 Scout
170億のアクティブパラメータと16のExpert(専門家モデル)をもつ小型モデル。10Mのコンテキストウィンドウを提供しながら単一の NVIDIA H100 GPUで動作し、さまざまなベンチマークでGemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1よりも優れた結果を発揮するという。
Llama 4 Maverick
170億のアクティブ パラメータと128のExpertをもち、マルチモーダルで動作する推論モデル。多くのベンチマークでGPT-4oとGemini 2.0 Flashを上回り、推論とコーディングでは新しいDeepSeek v3と同等の結果を得たという。
Llama 4 Behemoth(近日中に公開)
2880億のアクティブパラメータと16のExpertを擁するLlama 4のハイパフォーマンスモデル。現在トレーニングの途中でありながら、いくつかのSTEMベンチマークでGPT4.5、Claude Sonnet 3.7、Gemini 2.0 Proを上回る結果を出しているとのこと。

Llama 4 Scout、Llama 4 Maverickはllama.comからダウンロードできるほか、Hugging Face上で試すことができる。

おすすめ記事

記事・ニュース一覧