Meta⁠大規模言語モデルの新バージョンLlama 3を発表

Metaは2024年4月18日、同社が開発しているオープンソースの大規模言語モデル「Llama」の最新バージョン「Llama 3」を発表した。

新しい8B(80億)および70B(700億)パラメータをもつLlama 3モデルは、前モデルのLlama 2を大きく上回る性能を持つ。トレーニング後の手順の改善により拒否率の誤りが大幅に減少し、モデルの回答の多様性も増している。これにより同社の事前トレーニング済みモデルと微調整されたモデルは、8B、70Bパラメータの規模では現在存在する最高のモデルになったという。 Llama 3の操作性が向上したことにより、推論やコード生成などの機能が大幅に向上した。Llama 3は、Llama 3の技術で構築された同社のAIアシスタントMeta AIで試すことができる(4月19日現在、日本からは利用不可⁠⁠。

またLlama 3の開発では、現実世界のシナリオに合わせてパフォーマンスを最適化することも目指した。このために新しく高品質の「人間評価セット」を開発、この評価セットには12の主要なユースケースをカバーする1,800のプロンプトが含まれ、さまざまなプロンプトを評価することができる。同社の評価によるとGPT-3.5を大きく凌ぐ結果が得られたという。

さらにLlama 3は、言語をより効率的にエンコードする128,000トークンの語彙を持つトークナイザーを使用しており、これによりモデルのパフォーマンスが大幅に向上した。

Llama 3は、AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflakeで間もなく利用可能になり、AMD、AWS、Dell、Intel、NVIDIA、Qualcommのハードウェアサポートが得られる予定。

同社では今後数ヵ月以内に新しい機能、より長いコンテキストウィンドウ、モデルサイズの追加、そしてパフォーマンスを強化したモデルを導入する予定とのこと。

おすすめ記事

記事・ニュース一覧