Preferred Networks⁠日英2言語で高性能な大規模言語モデルPLaMo-13BをOSSとして公開

⁠株⁠Preferred Networksは2023年9月28日、同社が開発した事前学習済み大規模言語モデルPLaMo-13Bを、Apache License Version 2.0のもと、研究・商用で利用可能なオープンソースソフトウェアとして公開した。

PLaMo-13Bは、現在公開されている同規模のパラメータ数の事前学習済み言語モデルと比べ、大規模言語モデルのベンチマーク評価(lm-evaluation-harness)において、日本語、英語の2言語をあわせた能力で高い性能を示している。

日本語性能と英語性能での大規模言語モデル比較(Preferred Networksのニュースリリースより)
日本語性能と英語性能での大規模言語モデル比較

PLaMo-13Bの開発にあたり、同社では学習に使用可能なオープンデータセットを独自に収集・加工して、1.4兆トークンの日英2言語のデータセットを作成した。実際に学習を回すまでの技術開発には自社スーパーコンピュータMN-2を利用し、学習はAI橋渡しクラウド(AI Bridging Cloud Infrastructure、ABCI)第一回 大規模言語モデル構築支援プログラムを利用して開発された。英語とともに日本語の学習データ量を増やすことで、130億パラメータというコンパクトなモデルでも日英2言語のベンチマークで高い性能を実現、標準的なGPUサーバでも利用することができるとのこと。

同社では今後、PLaMo-13Bをもとにした事前学習モデルや指示学習を行ったモデルについても公開を予定している。

おすすめ記事

記事・ニュース一覧