目次

1章　ChatGPT

• 01　ChatGPTとは
  • ChatGPTの始め方
  • ChatGPTの利用例
• 02　ChatGPTの便利な機能
  • チャットコメントの編集と操作
  • チャット履歴と共有
• 03　プロンプトエンジニアリング
  • プロンプトとコンテキスト
  • プロンプトエンジニアリング
• 04　ChatGPTのエンジン（大規模言語モデル）
  • GPT-4とGPT-3.5
  • Web検索連携機能
  • マルチモーダル機能（画像を用いたチャット）
  • Code Interpreter（プログラムの自動実行）
• 05　GPTs（AIのカスタマイズ機能）
  • GPTs
  • GPTビルダー
• 06　ChatGPT以外のAIチャットサービス
  • Google Gemini
  • Microsoft Copilot
  • Anthropic Claude
• 07　AIチャットの利用における注意点
  • ランダム性がある
  • 間違いを含む可能性がある
  • 禁止行為
  • 入力データの扱い
  • GPTsの利用における注意点

2章　人工知能

• 08　AI（人工知能）
  • 人工知能とは
• 09　AIの歴史
  • AI研究の歴史
• 10　生成AIと汎用人工知能
  • 生成AI
  • 汎用人工知能（AGI）

3章　機械学習と深層学習

• 11　機械学習
  • 機械学習≠機械が学習
  • 機械学習の種類
  • 推論と学習
  • 最適化
  • 汎化と過適合
• 12　ニューラルネットワーク
  • ニューラルネットワークとは
  • ニューラルネットワークの仕組み
• 13　ニューラルネットワークの学習
  • 勾配法による学習
  • 誤差逆伝播法
• 14　正則化
  • ドロップアウト
  • バッチ正規化
  • ResNet（残差ネットワーク）
• 15　コンピュータで数値を扱う方法
  • 2進数による整数と小数の表現
  • 浮動小数点数
  • 浮動小数点数の代表的なフォーマット
  • 浮動小数点数の精度とダイナミックレンジ
• 16　量子化
  • モデルサイズとGPUのVRAMの関係
  • 量子化
• 17　GPUを使った深層学習
  • 計算を速くする方法
  • GPU vs CPU
  • GPUの成り立ちと汎用計算
  • 深層学習への特化が進むGPUとNPU
  • GPU/NPUのソフトウェアサポート

4章　自然言語処理

• 18　自然言語処理
  • 深層学習以前の自然言語処理
  • 自然言語処理と深層学習
• 19　文字と文字コード
  • 文字コード
  • Unicode
• 20　単語とトークン
  • 文をコンピュータに扱えるように分割する
  • 単語や文字による分割
  • サブワード
• 21　トークナイザー
  • トークナイザーの学習
  • 語彙数とトークン数のトレードオフ
• 22　Word2Vec
  • 「概念」を扱う方法
  • Word2Vecによる単語のベクトル表現
  • Word2Vecが意味を獲得する仕組み
• 23　埋め込みベクトル
  • トークンのベクトルは「意味」を表さない
  • 埋め込みベクトル
  • さまざまな埋め込みベクトル

5章　大規模言語モデル

• 24　言語モデル
  • モデルとは
  • 言語モデルとは
• 25　大規模言語モデル
  • 大規模言語モデルと「普通の言語能力」
• 26　ニューラルネットワークの汎用性と基盤モデル
  • ニューラルネットワークによる特徴抽出
  • 基盤モデル
  • 基盤モデルで精度が上がる仕組み
• 27　スケーリング則と創発性
  • スケーリング則と創発性
  • 大規模言語モデルのパラメータ数
• 28　言語モデルによるテキスト生成の仕組み
  • 言語モデルによるテキスト生成
  • 自己回帰言語モデル
  • 貪欲法
• 29　テキスト生成の戦略
  • ランダムサンプリングとソフトマックス関数
  • 「温度」の働き
  • 単語生成の樹形図
  • ビームサーチ
• 30　言語モデルによるAIチャット
  • 文生成によるAIチャット
  • 大規模言語モデルによるAIチャットの問題点
• 31　ローカルLLM
  • ローカルLLMとは
  • ローカルLLMの環境
  • ローカルLLMによる推論のプロセス
• 32　大規模言語モデルのライセンス
  • ローカルLLMのエコシステム
  • ソフトウェアライセンス
  • 大規模言語モデルのライセンスの種類
• 33　大規模言語モデルの評価
  • 大規模言語モデルの評価方法
  • リーダーボード
• 34　大規模言語モデルの学習〜事前学習〜
  • 事前学習と基盤モデル
  • 自己教師あり学習
  • 基盤モデルの追加学習
  • 事前学習の訓練データ
• 35　大規模言語モデルの学習〜ファインチューニング〜
  • ファインチューニング
  • ファインチューニングの方法
  • RLHF（Reinforcement Learning from Human Feedback）
  • LoRA（Low-Rank Adaptation）
• 36　コンテキスト内学習
  • コンテキスト内学習（In-Context Learning）

6章　トランスフォーマー

• 37　回帰型ニューラルネットワーク（RNN）
  • ベクトルの次元
  • 回帰型ニューラルネットワーク
  • 言語モデルとしてのRNN
  • 長距離依存性とLSTM
  • エンコーダー・デコーダー
• 38　注意機構（Attention）
  • 人間の認知と注意機構
  • 注意機構の基本
  • エンコーダー・デコーダーと注意機構
• 39　注意機構の計算
  • 注意機構の計算
  • 注意機構がうまく動く理由
• 40　トランスフォーマー（Transformer）
  • トランスフォーマーの基本構成
  • 位置エンコーディング
  • マルチヘッド注意機構
• 41　BERT
  • BERT（バート）の特徴
  • BERTの事前学習
• 42　GPT（Generative Pretrained Transformer）
  • GPTモデルの基本構造
  • Mixture of Experts

7章　APIを使ったAI開発

• 43　OpenAI APIの利用
  • OpenAI API
  • OpenAI API利用上の注意
• 44　テキスト生成API（Completion API等）
  • テキスト生成APIの種類
• 45　OpenAI APIの料金
  • OpenAI APIのトークン
  • テキスト生成モデルの種類と料金
  • OpenAIトークナイザーライブラリtiktoken
  • 言語ごとのトークン数の違い
• 46　テキスト生成APIに指定するパラメータ
  • テキスト生成APIのパラメータ
• 47　テキスト生成APIと外部ツールの連携〜Function Calling〜
  • Function Calling
  • LangChainライブラリ
  • 機械可読化ツールとしてのFunction Calling
• 48　埋め込みベクトル生成APIと規約違反チェックAPI
  • 埋め込みベクトル生成（Embeddings）API
  • 埋め込みベクトル生成APIのモデルの種類
  • 規約違反チェック（Moderation）API
• 49　OpenAI以外の大規模言語モデルAPIサービス
  • Microsoft Azure OpenAI API
  • Google Vertex AI
  • Amazon Bedrock
• 50　Retrieval Augmented Generation（RAG）
  • 外部知識を使ったAIアプリケーションの開発
  • RAG（Retrieval Augmented Generation）

8章　大規模言語モデルの影響

• 51　生成AIのリスクとセキュリティ
  • 生成AIによる悪影響
  • 生成AIの悪用
  • 生成AIが不適切な出力を行うリスク
  • 生成AIを使ったサービスへの攻撃
  • 対策とガイドライン
• 52　AIの偏りとアライメント
  • 学習データの偏りがAIに与える影響
  • AIの偏りを制御する方法
• 53　ハルシネーション（幻覚）
  • AIは間違える
  • ハルシネーションの正体
  • ハルシネーションの対策
  • ハルシネーションをなくせるか？
• 54　AIの民主化
  • AI利用の民主化
  • AI開発の民主化
  • ビッグテックの計算資源
• 55　大規模言語モデルの多言語対応
  • ChatGPTは何ヵ国語で使える？
  • 大規模言語モデルの言語間格差
  • 大規模言語モデルと認知・文化との関係
• 56　AIと哲学
  • 知能とは？ 言語とは？
  • 中国語の部屋