概要

大規模言語モデル（LLM）が普及し，サービス価値やユーザ体験が変革の時を迎えています。チャットUIとしての印象が強いLLMですが，文献調査やコーディングの支援，果ては映画の編集など適用先は無限大に広がっています。とりわけ，テキストや画像，音声などこれまで扱いが難しかった非構造化データの解析に対して，LLMは極めて高い性能を発揮します。これらのデータの多くは企業や組織の中に手付かずのまま眠っていますが，その活用がビジネスでの競争力に直結するために，適切な形で情報を抽出する必要があります。このためLLMによる非構造化データからの情報抽出の取組みが活発化していますが，タスクの種類が多岐に渡ることや定量評価の難しさから教科書や論文での報告は多くはありません。そこで我々は，誰もが，どのような非構造化データであっても容易に分析できるように，一連のノウハウを体系的にまとめました。

本書ではまず非構造化データの特徴を述べ，情報抽出の重要さを説明します。次にLLMの特徴や性能向上のための技術を解説します。LLMは一見万能に見えますが，セキュリティの懸念，LLMが不得手とするタスク，処理速度，運用コスト，精度評価のむずかしさなど，適用時の注意点についてもふれます。そして，LLMによる情報抽出の汎用的な手法から，個々のタスクに特化した手法までを説明します。ただし，そのままのLLMでは各タスクに対する精度や処理速度が不十分なことがあります。タスクに対する精度を上げるために，画像の回転補正やマーカー付与，クレンジングやコンテキストの取捨選択といった前処理や，推論速度を高速化するための画像圧縮や複数画像の結合にLLMの出力を安定させ，後続の処理で使いやすくするためのバリデーションやリカバリといった後処理の技術についても解説します。

なお本書では，GoogleのGeminiを活用した情報抽出の手法を，詳細なプロンプトとともに解説しています。プログラミングに精通していない方でも，掲載しているプロンプトをコピー＆ペーストするだけで，Geminiをはじめとする各種LLMで簡単に情報抽出を再現することが可能です。また，より高精度かつ発展的な推論を実現するために不可欠な前処理手法については，Pythonのサンプルコードを併記しました。これらはGoogle Colab環境でそのまま動作させることができ，すぐに実践に活かせるものとなっています。

こんな方におすすめ

• LLMを使って日常的なデータから情報抽出をしたい方

目次

第1章　情報抽出の概要

1-1　構造化データ

1-2　非構造化データ

1-3　情報抽出の代表例

1-4　ルールベースによる情報抽出

1-5　LLMによる情報抽出

第2章　LLMことはじめ

2-1　LLMとは何者か？

• 2-1-1　言語モデル
• 2-1-2　原理に立ち返る意味
• 2-1-3　賢い予測変換器
• 2-1-4　言語モデルの形式的な定義
• 2-1-5　ボキャブラリ
• 2-1-6　トークン
• 2-1-7　Transformer
• 2-1-8　LLMの学習プロセス
• 2-1-9　LLMの推論プロセス
• 2-1-10　すべてのタスクを「テキスト生成」として解く

2-2　マルチモーダルモデルの発展

• 2-2-1　マルチモーダルモデルの進化段階
• 2-2-2　情報抽出におけるEnd-to-Endモデルの恩恵

2-3　モデルの分類と代表例

• 2-3-1　分類軸1：モダリティ（扱えるデータの種類）
• 2-3-2　分類軸2：提供形態（クローズドとオープン）
• 2-3-3　代表的なクローズドモデル
• 2-3-4　代表的なオープンモデル

第3章　情報抽出タスクの精度改善

3-1　入力を整える前処理

• 3-1-1　モデルの入力仕様と制約
• 3-1-2　クレンジング
• 3-1-3　チャンク化
• 3-1-4　データ構造の付与
• 3-1-5　重要箇所の抽出・圧縮
• 3-1-6　前処理は「精度」と「運用」を同時に改善する

3-2　出力を安定させる後処理

• 3-2-1　出力形式を固定する
• 3-2-2　パースと正規化
• 3-2-3　バリデーション：型・制約・整合性のチェック
• 3-2-4　失敗時のリカバリ
• 3-2-5　ログと評価への接続
• 3-2-6　後処理は「対症療法」ではなく「アーキテクチャ設計」である

3-3　パラメータ設定の見直し

• 3-3-1　モデルの変更
• 3-3-2　ハイパーパラメータの調整

3-4　プロンプトエンジニアリング

• 3-4-1　プロンプトとは
• 3-4-2　プロンプト作成の鉄則
• 3-4-3　マニュアルによるプロンプトエンジニアリング
• 3-4-4　プロンプト自動最適化

3-5　複数ステップによる推論

• 3-5-1　マルチステージ推論
• 3-5-2　マルチエージェント

3-6　モデルのファインチューニング

• 3-6-1　ファインチューニングとは
• 3-6-2　ファインチューニングが効きやすいパターン
• 3-6-3　学習データ作成が成否を左右する
• 3-6-4　Open Model/Closed Modelでの進め方の違い
• 3-6-5　導入前に押さえるべき運用上の論点

第4章　LLM活用における注意点

4-1　タスクやコンテキストに起因する問題

• 4-1-1　ドメイン固有の専門知識が必要なタスク
• 4-1-2　知識のカットオフ以降の出来事・常識に関するタスク
• 4-1-3　主観性が強い判断基準を含むタスク

4-2　モデルの構造に起因する問題

• 4-2-1　トークナイザーによる現実世界の感覚との不一致
• 4-2-2　パラメータ知識の干渉
• 4-2-3　自己回帰生成による「誤りの蓄積」
• 4-2-4　確率的推論による「計算と論理」の不安定さ
• 4-2-5　コンテキストウィンドウの制約と位置バイアス

4-3　運用上の注意点

• 4-3-1　タスクに対する性能と推論速度・運用コストのトレードオフ
• 4-3-2　APIの制約とスケーラビリティ
• 4-3-3　モデルのライフサイクルとバージョン管理

4-4　精度評価の難しさ

• 4-4-1　評価手法と評価指標の選択
• 4-4-2　正解データ作成の負荷
• 4-4-3　LLM-as-a-Judge

4-5　セキュリティとデータ保護

• 4-5-1　API で送信したデータは「学習」に使われるのか？
• 4-5-2　匿名化とマスキングによる保護
• 4-5-3　閉域環境とローカルLLM
• 4-5-4　間接的プロンプトインジェクションのリスク
• 4-5-5　抽出後のデータ管理

第5章　テキストデータからの情報抽出

5-1　代表的な前処理

• 5-1-1　推論高速化のための前処理
• 5-1-2　推論精度向上のための前処理

5-2　適用事例

• 5-2-1　要約
• 5-2-2　エンティティ抽出
• 5-2-3　関係抽出
• 5-2-4　属性抽出
• 5-2-5　感情分析
• 5-2-6　キーワード・見出し抽出
• 5-2-7　数学の問題の解答生成

5-3　苦手なタスク

第6章　画像データからの情報抽出

6-1　代表的な前処理

• 6-1-1　推論高速化のための前処理
• 6-1-2　推論精度向上のための前処理
• 6-1-3　OCRによる画像のテキスト化

6-2　適用事例

• 6-2-1　要約
• 6-2-2　エンティティ抽出
• 6-2-3　行と列の構造認識
• 6-2-4　表構造認識
• 6-2-5　物体検出
• 6-2-6　画像生成
• 6-2-7　画像編集

6-3　苦手なタスク

第7章　音声／動画データからの情報抽出

7-1　音声データ

• 7-1-1　代表的な前処理
• 7-1-2　適用事例

7-2　動画データ

• 7-2-1　代表的な前処理
• 7-2-2　適用事例

付録

A-1　Pythonの使い方

• A-1-1　Pythonの導入とパッケージの利用
• A-1-2　テキストデータの扱いに慣れる
• A-1-3　画像データを扱う
• A-1-4　画像の読み込みと基本操作
• A-1-5　OpenCVによる画像フィルタリング

A-2　Geminiの使い方

• A-2-1　Geminiの特徴と強み
• A-2-2　Web版Gemini
• A-2-3　Google AI Studio版Gemini
• A-2-4　APIによるGeminiの利用

サポート

現在サポート情報はありません。