ChatGPTに代表されるAIは、私たちの日常に大きな恩恵をもたらしている一方、犯罪への利用、著作権侵害、差別的表現といった潜在的リスクを抱えています。AIが社会のインフラとなりつつある今、AIリスクへの対処を中心に据えた「AI安全性（AI Safety）」と呼ばれる分野に注目が集まっています。

2026年6月に刊行された『生成AIの安全性入門』では、次のように説明しています。

AI安全性（AI Safety）とは、AIが人類に利益をもたらすべく、潜在的な危害や悪影響を制御・管理することを目指す横断的な分野である。

本記事では、AI安全性の概念、リスク分類、レッドチーミング手法など、その基礎となるトピックを解説します。

AI Safetyを構成する重要な要素

AI安全性は、単一の技術や指標で語れるものではありません。以下の6つの要素が複合的に絡み合うことで、「⁠安全なAI」が実現されます。

これら6つの要素が満たされて初めて、AIは社会から信頼されうる存在となります。しかし現実には、AIシステムはさまざまなリスクをはらんでいます。

AIリスクとは？

生成AIが現実社会でもたらすリスクは、大きく5つのカテゴリに分類できます。

不快表現

差別的・暴力的・性的な表現、ヘイトスピーチなどを生成し、ユーザーに心理的な不快感を与えるリスクです。2023年以降、画像生成AIによる非自発的なポルノグラフィ（ディープフェイク）生成が社会問題となったほか、対話型AIが悪意ある言動を模倣するケースも報告されています。モデル開発者は事前学習データのフィルタリングや、強化学習によるアライメント技術でこのリスクを低減しています。

情報漏洩

機密情報や個人情報が意図せず流出し、プライバシーやセキュリティを脅かすリスクです。LLMは大規模コーパスを学習しているため、個人の氏名・住所・メールアドレスなどを記憶・出力してしまう可能性があります。また、社員が業務上の機密情報をAIに入力し、それが他のユーザーへの応答に使われてしまうという「間接的な情報漏洩」のリスクも無視できません。

誤情報

虚偽または誤解を招く情報を生成・拡散し、社会的混乱や信頼低下を引き起こすリスクです。LLMはもっともらしく聞こえるが事実でない内容を生成する「ハルシネーション（幻覚⁠）⁠」を起こすことが知られています。特に、医療・法律・金融分野での誤情報は深刻な被害につながる可能性があります。さらに、ディープフェイク動画など、AIを利用したフェイクコンテンツの大量生成も民主主義社会への脅威となっています。

悪用

攻撃や犯罪行為など不正な目的でAIシステムが利用されるリスクです。フィッシングメールの文章生成、マルウェアのコード生成、サイバー攻撃の計画立案など、悪意ある行為者がAIを強力なツールとして利用する事例が増加しています。生物・化学兵器の製造に関する情報を引き出すよう試みる攻撃も報告されており、AIプロバイダーは利用規約と技術的な制限の両面から対策を講じています。

精神的依存

ユーザーがAIに過度に依存し、自律的な判断力や健全な意思決定が損なわれるリスクです。対話型AIへの情動的な依存（AIをパートナーとして扱うなど）や、AIの出力を批判的に検討せず鵜呑みにする行動変容が懸念されています。

安全性の評価はどうするのか？

AIシステムの安全性を客観的に評価する手法として、主に「ベンチマーク評価」と「レッドチーミング」の2つが挙げられます。ベンチマーク評価は、標準化されたテストセットを用いて安全性を定量的にスコアリングできるため、モデル間の比較や特定領域における安全性レベルの測定に適しています。しかし、その一方で、テストセットに過剰適合する懸念があります。そのため、より実効的な安全性の能力を計測するため、レッドチーミングを組み合わせた多角的な評価が重要視されています。

レッドチーミングとは？

レッドチーミング（Red Teaming）とは、本来は軍事やセキュリティ分野で使われていた手法で、敵対的な攻撃者の視点からシステムの脆弱性を探し出すことを指します。AIの文脈では、モデルから有害な出力を意図的に引き出すよう試みる評価手法として広く使われています。

手動レッドチーミング

人間の評価者（攻撃者）が、様々な攻撃シナリオを考案してモデルに入力します。文化的なニュアンスや高度な文脈理解が必要なケースでは、自動化よりも人間による評価が有効です。OpenAIやAnthropicなどの主要AI企業は、モデルのリリース前に大規模な人手レッドチーミングを実施しています。

自動レッドチーミング

別のLLMやアルゴリズムを使って、攻撃的なプロンプトを大量かつ自動的に生成する手法です。人手では試しきれない膨大なパターンを短時間でカバーできるため、スケーラブルな安全性評価として注目されています。LLMを使って攻撃プロンプトを進化させる手法や、GCG（Greedy Coordinate Gradient）と呼ばれるような自動的なプロンプト最適化の攻撃などが代表例です。

レッドチーミングで発見された脆弱性は、その後のAIモデルの訓練（ファインチューニングや強化学習など）に活用され、安全性の継続的な向上につながります。

書籍『生成AIの安全性入門』で何が読めるのか？

生成AIの進展は社会や産業に大きな変革をもたらす一方、有害コンテンツの生成や意図しない挙動といったリスクへの対応が急務となっています。本書は、エンジニアや研究者を主な対象として、生成AIにおけるリスクとその対処法を体系的にまとめた1冊です。

• 第1章 AI安全性の基礎では、本記事でも紹介したAI安全性の定義と、国内外の社会的動向を概説します。EU AI Actや日本の政府方針など、規制の最新動向も押さえられます。
• 第2章 AIリスクの分類では、不快表現・情報漏洩・誤情報・悪用・精神的依存の5カテゴリを詳細に分析します。現実に報告されている事例をもとに、各リスクの具体像を掴むことができます。
• 第3章 AIの理想的な振る舞いでは、OpenAIが公開している「モデルスペック（Model Spec⁠）⁠」を題材に、AIが「安全・有益・誠実」であるために何を優先すべきかを考察します。AIアライメントの考え方を実践的な視点から学べる章です。
• 第4章 安全性評価技術：ベンチマークでは、LLM・MLLMを評価する安全性ベンチマークを網羅的に紹介します。AnswerCarefullyをはじめとする日本語特化の評価も取り上げています。
• 第5章 安全性評価技術：レッドチーミングでは、攻撃手法の体系化と実践的なレッドチーミングの進め方を解説します。自動化ツールや評価フレームワークの具体的な使い方も学べます。
• 第6章 安全性向上技術：モデルレベルでは、事前学習・SFT（教師ありファインチューニング⁠）⁠・RLHF（人間のフィードバックによる強化学習⁠）⁠・合成データ・推論フェーズでの制御といった、モデル側から安全性を高める技術を体系的に解説します。
• 第7章 安全性向上技術：システムレベルでは、モデルの外側から安全性を担保するガードレール技術を紹介します。入出力フィルタリングのコンポーネントや、LlamaGuard・NeMo Guardrailsなどの既存ツールキットについても詳解します。
• 第8章 AI安全性の未来では、AIエージェント・ロボティクスAI・AGI/ASIといった次世代AIがもたらす新たなリスクを展望します。技術の加速と安全性の確保をどう両立させるか、最前線の議論を紹介します。

おわりに

AIは今まさに、人間の能力を超え、様々な判断権限を獲得し始めています。そのような時代において、我々人類は「この存在を本当に信頼できるのか」という問いと真剣に向き合う必要があります。AI安全性は、この問いに真正面から向き合い、信頼できるAIを実現するための手法を探求する分野です。書籍『生成AIの安全性入門』は、AI安全性に興味を持ち始めた学生やビジネスマンから、専門的に携わる開発者・研究者まで、AI安全性への理解を最前線のレベルにまで高める1冊です。お近くの書店などで、ぜひ一度手に取っていただければ幸いです。