xAI⁠大規模言語モデル「Grok-1」オープンソースで公開

xAIは2024年3月17日、同社が開発するLLM(大規模言語モデル)⁠Grok-1」のweight(重み)とアーキテクチャをオープンソースとしてリリースした。

xAIは𝕏(旧Twitter)のオーナーでもあるイーロン・マスク氏の興したAI開発ベンチャーで、同社の開発するAIは𝕏プラットフォームを元にした知識を採り入れているという。Grok-1は同社によってゼロからトレーニングされた3,140億パラメータのMoE(Mixture-of-Experts)モデル。同社の行ったテストによると、4種のベンチマークでOpenAIのGPT-3.5を上回る結果をマークしている。

今回公開されたモデルは、2023年10月にJAXとRust上のカスタムトレーニングスタックを使用して行われたGrok-1のプレトレーニングフェーズによる成果であるため、対話など特定のアプリケーション向けには微調整されていないとのこと。

Grok-1のweightとアーキテクチャは、Apache 2.0ライセンスに基づいてGitHubで公開されている。

Grokによって提案された以下のプロンプトを元に、画像生成AI Midjourneyが描画したイメージ:
透明なノードと光る接続部分をもち、太さと色が異なる接続ラインによって重みの違いを表すような、ニューラルネットワークの3Dイラストレーション
Grokによって提案されたプロンプトを元にMidjourneyが描画したイメージ

おすすめ記事

記事・ニュース一覧