Metaは2024年7月23日、同社の開発するAIモデルの最新バージョンLlama 3.1を一般公開した。
新しく公開されたLlama 3.1 405Bは、4000億を超えるパラメータをもっている。同社は世界最大のモデルで、フロンティアモデルレベルだとしている。性能も高く、テストした結果、150を超えるベンチマークでGPT-4o、Claude 3.5 Sonnetなど、競合する他社のモデルと同等または上回る性能を記録していることを示した。あわせてこれまでの8Bと70Bのモデルも更新している。
そしてLlamaはオープンソースのモデルであり、この点について同社のMark Zuckerberg氏が同日投稿した記事で、クローズドなAIモデルではなく、オープンソースAIが未来を切り開いていくはずだと語っている。
なお、Llama 3.1 405Bをトレーニングするため、15兆を超えるトークンを16,000台を超えるNVIVIA H100 GPUにプッシュすることで、大幅な時間をとることなく最適なトレーニングを行うことができたという。
Llama 3.1はllama.meta.comおよびHugging Faceからダウンロードできる。開発者はニーズやアプリケーションに合わせてモデルをカスタマイズし、新しいデータセットでトレーニングし、追加の微調整を行うことができる。カスタマイズの際にMetaとデータを共有する必要はない。米国内ではWhatsApp、meta.aiでLlama 3.1 405Bに実際にコーディングや数学の質問を試すこともできる。
また、LlamaエコシステムとしてAWS、NVIDIA、Databricks、Groq、Dell、Azure、Google Cloud、Snowflakeなど25社を超えるパートナーが初日からサービスを提供し、すぐに利用できるようになるとのこと。
