目次

第1章　データ分析基盤への招待　データ分析基盤の大枠を知ろう

• 1.1　データ分析基盤と技術ランドスケープ　プラットフォームを支える群雄割拠のツールたち
• 1.2　データ分析システムとデータ分析基盤　システムとプラットフォームの違いを理解しよう
• 1.3　本章のまとめ

第2章　ローカル端末で学ぶデータ分析基盤　ローカルのデータ分析基盤を利用して理解を促進しよう

• 2.1　データ分析基盤の基本型　基本的な構成パターンの紹介
• 2.2　本書におけるローカル環境の構成　本書で扱うローカル環境を理解しよう
• 2.3　バッチでのデータの流れを体験しよう　基本的なデータの流れを理解しよう
• 2.4　ストリーミングでのデータの流れを体験しよう　応用的なデータの流れも確認しよう
• 2.5　データパイプラインの設計　よいデータパイプラインを設計しよう
• 2.6　簡単な保守運用を学んでおこう　分散系プロダクトとそれ以外との方法の違いに注目
• 2.7　本章のまとめ

第3章　バッチデータパイプライン　バッチ処理の基本と実践

• 3.1　データ取り込みの基本　ETLのE（Extract）
• 3.2　API利用によるデータ収集　手軽さに隠れた罠に気を付けよう
• 3.3　バッチトランスフォーム　 ETLのT（Transform）
• 3.4　バッチパイプラインのパフォーマンス向上　簡単な最適化から始めよう
• 3.5　データ更新モデル　ETLのL（Load）
• 3.6　データモデリング　ユーザーとデータの接点を作ろう
• 3.7　バッチパイプラインとセキュリティ　セキュリティ要件を満たし安心してデータを活用しよう
• 3.8　バッチパイプラインとプライバシー　プライバシー要件を満たし安心してデータを活用しよう
• 3.9　本章のまとめ

第4章　ストリーミングデータパイプライン　バッチの知識をもとにストリーミング固有の問題に対処しよう

• 4.1　ストリーミングによるデータ収集とデータ処理　リアルタイム性と戦うための基本を理解しよう
• 4.2　ストリーミングパイプラインのパフォーマンス安定化　簡単な最適化から始めよう
• 4.3　ストリーミングにおけるセキュリティ　ストリーミング固有の問題に注目しよう
• Column　ログの収集とストリーミング処理　ログ収集にも使えるのか？
• 4.4　
• 4.5　ストリーミングパイプラインと信頼性の向上　パイプラインの信頼性向上を支える方法を知ろう
• 4.6　アクセスレイヤーとの連携　リアルタイムデータの出口を用意しよう
• 4.7　本章のまとめ

第5章　データパイプラインとアドオン機能　多機能なパイプラインを実装しよう

• 5.1　プラットフォームとシステム間転送　データを間違いなく届けよう
• 5.2　プラットフォームとシステム間連携　データ活用のエコシステムを広げよう
• 5.3　多彩なデータ活用　データ活用の中核に目を向けよう
• 5.4　セマンティックレイヤー（層）の構築　データ利用における不確実性を下げよう
• 5.5　データのライフサイクル管理　データ保持の法規制・コスト・リスク・活用価値のバランスを図ろう
• 5.6　本章のまとめ

第6章　データパイプラインとデータ品質管理　データとデータ品質を相互運用しよう

• 6.1　ディテクトとしてのデータ調査　データを調査して隠された真実を探そう
• 6.2　プリベンションとしてのルール作り　最初に防げば一番効率が良い
• 6.3　リペア（Repair）としての（メタ）データの修正　データをあるべき形にしよう
• 6.4　本章のまとめ

第7章　データパイプラインとメタデータ管理　データとメタデータを相互運用しよう

• 7.1　ビジネスメタデータ　ビジネスのドメイン知識を表現しよう
• 7.2　メタストアとスケーラビリティ　メタデータがたまる場所にも目を向けよう
• 7.3　テクニカルメタデータの取得　技術的なドメイン知識を表現しよう
• 7.4　オペレーショナルメタデータの取得　ガバナンスのためのメタデータを整理しよう
• 7.5　本章のまとめ

第8章　データ分析基盤と開発プロセス　環境を整えて活動のスピードを上げよう

• 8.1　データ分析基盤と開発プロセス　データ分析基盤を取り巻く開発について準備しよう
• 8.2　インフラによるリソースの安定化　改善のための時間を稼ごう
• 8.3　データ分析基盤の監視とデータオブザーバビリティ　データ分析基盤の監視、管理、回復を効率的に行おう
• 8.4　データ分析基盤とマイグレーション/アップデート　データ分析基盤のお引越しを安全に行おう
• 8.5　データ分析基盤とユーザビリティ　“使える”データ分析基盤を目指そう
• 8.6　サービス（プロダクト）の選定　プロダクトの本質を見抜こう
• 8.7　本章のまとめ

第9章　データマネジメントとドキュメンテーション　データ分析基盤の秩序と活動方針を言語化しよう

• 9.1　ドキュメンテーションを通したコンテキスト整理　ドキュメント文化を根付かせ長期の運用に備えよう
• 9.2　データマネジメント　多くの人と組織を巻き込み最適化を目指そう
• 9.3　データ分析基盤の分離　ガバナンスと技術を駆使してより高度でスケーラブルな環境を目指そう
• 9.4　本章のまとめ

第10章　データ分析基盤とパブリッククラウド　クラウドでデータ分析基盤をシンプルにすばやく構築する

• 10.1　オンプレとパブリッククラウドの比較　クラウドを利用する際の前提となるマインドを確認しよう
• 10.2　クラウドネイティブ　クラウドの力を大いに活かすためのポイントを確認しよう
• Column　再現性とコード
• 10.3　本章のまとめ

第11章　シンプル構成で始めるクラウド分析基盤　最小限の構成で体験するクラウド分析基盤

• 11.1　クラウド上のデータ分析基盤を確認しよう　見比べて考えるクラウド環境での特徴と利便性
• 11.2　データ（分析基盤）の資産化　価値を見せる工夫をしよう
• 11.3　監査ログ（アクセスログ）の保守・運用　ログの取得と活用で不測の事態に備えよう
• 11.4　本章のまとめ

第12章　データ分析基盤と機械学習（ML）モデル　データをもとにモデルを作成する活動についても知ろう

• 12.1　PIIモデルによる機微情報の検知　事前学習済みのモデルの利用と現実を理解しよう
• 12.2　MLモデルを開発してみよう　モデルの開発もデータエンジニアリングの一環として理解しよう
• 12.3　本章のまとめ