Metaは2024年4月18日、同社が開発しているオープンソースの大規模言語モデル
Introducing Meta Llama 3: the most capable openly available LLM to date.
— AI at Meta (@AIatMeta) April 18, 2024
Today we’re releasing 8B & 70B models that deliver on new capabilities such as improved reasoning and set a new state-of-the-art for models of their sizes.
Today's release includes the first two Llama 3… pic.twitter. com/ Q80lVTeS7m
新しい8B
またLlama 3の開発では、現実世界のシナリオに合わせてパフォーマンスを最適化することも目指した。このために新しく高品質の
さらにLlama 3は、言語をより効率的にエンコードする128,000トークンの語彙を持つトークナイザーを使用しており、これによりモデルのパフォーマンスが大幅に向上した。
Llama 3は、AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflakeで間もなく利用可能になり、AMD、AWS、Dell、Intel、NVIDIA、Qualcommのハードウェアサポートが得られる予定。
同社では今後数ヵ月以内に新しい機能、より長いコンテキストウィンドウ、モデルサイズの追加、そしてパフォーマンスを強化したモデルを導入する予定とのこと。