Swallow LLM Projectは2026年2月20日、OpenAI GPT-OSSおよびAlibaba Qwen3の日本語能力と思考力を強化した推論型言語モデル「GPT-OSS Swallow」と「Qwen3 Swallow」をリリースした。

• GPT-OSS Swallow ―Swallow LLM

• Qwen3 Swallow ―Swallow LLM

Swallow LLMは、東京科学大学の岡崎研究室、横田研究室、産業技術総合研究所のメンバーを中心とした研究チームによるプロジェクト。日本語性能を重視した大規模言語モデルを構築・公開することを目的としている。

今回リリースされたのは、OpenAIがオープンなモデルとして公開しているGPT-OSS、そしてAlibabaが同様に公開しているQwen3を元に、日本語、英語、数学、コード、科学分野のデータセットを用いて継続事前学習とSFT（Supervised Fine-Tuning）を行い、その後、数学データセットを用いてRLVR（Reinforcement Learning with Verifiable Rewards）を行ったモデル。それぞれバージョンはGPT-OSS-Swallow-v0.1、Qwen3-Swallow-v0.2となる。いずれもApache 2.0ライセンスのもとオープンソースとして公開され、これまでの同プロジェクトで採用されていたLlamaライセンスよりも制限が少なく、商用利用や個人利用を問わず自由に利用できる。

同プロジェクトによると、従来のSwallowモデルでの継続事前学習では、日本語性能が強化されるも数学、コード、科学技術などに関する高難易度のタスクの性能が損なわれるというトレードオフが発生していた。今回のモデルでは上記のような強化法により元となったモデルの持つ数学、コード、科学技術に関する能力を損なわずに学習を行うことができ、各種のベンチマークでも同等かそれ以上の性能を発揮しているという。

• Qwen3-Swallow & GPT-OSS-Swallow -tokyotech-llm