Metaは2024年9月25日、年次イベント
Llama 3.
ビジョンモデル
Llama 3.
軽量モデル
軽量の1Bおよび 3Bモデルは、多言語テキスト生成とツール呼び出しに優れている。クローズな状態で動作するため、開発者はデータがデバイスから出ることなく、強力なプライバシーを備え、パーソナライズされたオンデバイスアプリケーションを構築できる。処理がローカルで行われるため、プロンプトに瞬時に応答するような速度が得られる。アプリケーションはどのクエリをデバイス上に残し、どのクエリをクラウド内のより大きなモデルで処理するかを明確に制御できるようになる。これらのモデルはQualcomm およびMediaTekハードウェアで利用可能で、ARMプロセッサ用に最適化されている。
Llama Stack
Llama Stack APIは、Llamaモデルをカスタマイズしてエージェントアプリケーションを構築するためのツールチェーンコンポーネントを標準化するインターフェース。このAPIをより使いやすくするため、推論、ツールの使用、およびRAG用APIのリファレンス実装を構築した。さらにパートナーと協力し、複数のAPIをパッケージ化して開発者に単一のエンドポイントを提供する方法として、Llama Stackディストリビューションを作り上げた。
Llama Stackディストリビューションは現在、オンプレミス、クラウド、単一ノード、デバイス上の複数の環境でLlamaモデルを操作できるようになっている。オンデバイスディストリビューションはPyTorchのエッジデバイス向けインターフェースExecuTorch経由で、シングルノードディストリビューションはOllama経由で提供される。
Llama 3.