書籍概要

大規模言語モデル入門Ⅱ
〜生成型LLMの実装と評価

著者
発売日
更新日

概要

「大規模言語モデル入門」の続編です。「大規模言語モデル入門」は理論と実装のバランスをとって構成しましたが，本書では実装部分で扱い切れなかった話題を取り上げ，特に大規模言語モデルの評価と生成LLMに関連する解説を充実させます。「大規模言語モデル入門」の9章に続き，10章から始まります。

10章では，後続する章で行う言語モデルの評価方法について解説します。自動評価と人手評価の2つの側面から，ベンチマーク，評価指標，具体的な評価ツールやデータセットなどを取り上げます。11〜13章では，主に大規模言語モデルの性能を上げるためのトピックとして，指示チューニング，人間のフィードバックからの学習，RAGに焦点を当て，それぞれの実装方法，利用するデータセット，評価の方法について解説します。14章では大規模言語モデルの学習における並列・分散処理について詳しく解説します。大規模なデータを限られた計算資源で学習させるノウハウは多くのエンジニアにとって有益な情報となるでしょう。

大規模言語モデルの性能を高めるための各トピックの実装とともに，それぞれの評価について理解できる一冊です。

こんな方におすすめ

  • 大規模言語モデルに興味のあるエンジニア，研究者

目次

第10章　性能評価

  • 10.1　モデルの性能評価とは
    • 10.1.1　モデルの性能評価方法
    • 10.1.2　LLMの性能を評価する上で重要なポイント
    • 10.1.3　LLMのベンチマークとリーダーボード
  • 10.2　評価指標を用いた自動評価
    • 10.2.1　llm-jp-evalとは
    • 10.2.2　llm-jp-evalで扱うタスク
    • 10.2.3　llm-jp-evalで使用される評価指標
    • 10.2.4　多肢選択式質問応答タスクによる自動評価
  • 10.3　LLM を用いた自動評価
    • 10.3.1　Japanese Vicuna QA Benchmark
    • 10.3.2　Japanese Vicuna QA Benchmarkによる自動評価

第11章　指示チューニング

  • 11.1　指示チューニングとは
  • 11.2　指示チューニングの実装
    • 11.2.1　環境の準備
    • 11.2.2　データセットの準備
    • 11.2.3　チャットテンプレート
    • 11.2.4　トークンIDへの変換
    • 11.2.5　モデルの読み込み
    • 11.2.6　訓練の実行
    • 11.2.7　モデルの保存
  • 11.3　指示チューニングしたモデルの評価
    • 11.3.1　モデルの動作確認
    • 11.3.2　指示追従性能の評価
    • 11.3.3　評価結果の分析
    • 11.3.4　安全性の評価

第12章　選好チューニング

  • 12.1　選好チューニングとは
    • 12.1.1　RLHF
    • 12.1.2　DPO
    • 12.1.3　DPOの導出
  • 12.2　選好チューニングの実装
    • 12.2.1　準備
    • 12.2.2　データセット
    • 12.2.3　モデルの用意
    • 12.2.4　学習設定
    • 12.2.5　訓練の実行
    • 12.2.6　モデルの保存
  • 12.3　選好チューニングの評価
    • 12.3.1　モデルの動作確認
    • 12.3.2　指示追従性能の評価
    • 12.3.3　安全性の評価

第13章　RAG

  • 13.1　RAGとは
    • 13.1.1　RAGの必要性
    • 13.1.2　RAGの基本的なシステム構成
    • 13.1.3　RAGが解決を目指すLLMの五つの課題
  • 13.2　基本的なRAGのシステムの実装
    • 13.2.1　LangChainとは
    • 13.2.2　LangChainでLLMと文埋め込みモデルを使う
    • 13.2.3　LangChainでRAGを実装する
  • 13.3　RAG向けにLLMを指示チューニングする
    • 13.3.1　AI王データセットを用いた指示チューニング
    • 13.3.2　指示チューニングしたモデルをLangChainで使う
  • 13.4　RAGの性能評価
    • 13.4.1　RAGの性能評価の三つの観点
    • 13.4.2　RAGの性能評価を自動で行う手法
    • 13.4.3　RAGの構成要素としてのLLMの能力の評価

第14章　分散並列学習

  • 14.1　分散並列学習とは
    • 14.1.1　分散並列学習のメリット
    • 14.1.2　分散並列学習を理解するための基礎知識
  • 14.2　さまざまな分散並列学習手法
    • 14.2.1　データ並列
    • 14.2.2　DeepSpeed ZeRO
    • 14.2.3　パイプライン並列
    • 14.2.4　テンソル並列
    • 14.2.5　3次元並列化
  • 14.3　LLMの分散並列学習
    • 14.3.1　Megatron-LMの環境構築
    • 14.3.2　学習データの用意
    • 14.3.3　Llama2の分散並列学習

サポート

現在サポート情報はありません。

商品一覧