目次
第1部 生成AIを活用したデータ加工と分析
第1章 Microsoft Fabricの概要
- 1.1 Microsoft Fabricとは
- ［COLUMN］Azure Synapse AnalyticsからFabricへの移行
- 1.2 ワークロード
- 1.2.1 Data Factory
- 1.2.2 Data Engineering
- 1.2.3 Data Science
- 1.2.4 Data Warehouse
- 1.2.5 Real-Time Intelligence
- 1.2.6 Databases
- 1.2.7 Power BI
- 1.2.8 Fabric IQ
- 1.3 ガバナンス
- 1.4 OneLake
- 1.5 Copilotによるサポート
- 1.6 開発に関わるコンポーネント
- 1.7 ワークスペース、アイテム、Fabric容量の関係
- 1.8 まとめ
第2章 Microsoft FabricとMicrosoft 365サービスの環境セットアップ
- 2.1 前提条件
- 2.2 ハンズオンを含む章と必要なライセンスの関係
- 2.3 Microsoft Fabric試用版の有効化
- 2.3.1 Microsoft Fabric試用版開始ページへアクセス
- 2.3.2 Microsoft Fabric Freeアカウント作成
- 2.3.3 Microsoft Fabric 試用版を開始
- ［COLUMN］試用版で付与される容量と利用できない機能について
- 2.4 Microsoft Fabric有償版（Fabric容量）のセットアップ
- 2.5 Fabricワークスペースの作成と設定
- 2.6 Microsoft 365 Business Standard試用版の有効化
- 2.7 Microsoft Teamsでチームを作成
- 2.8 まとめ
第3章 生成AIを活用したデータ加工と分析
- 3.1 Microsoft Fabric におけるCopilotとデータエージェントの概要
- 3.2 ハンズオン：生成AIを活用したデータ加工と分析
- 3.2.1 ハンズオンの概要
- 3.2.2 前提条件
- 3.2.3 ハンズオンで使用する資材
- 3.2.4 データ取り込み
- 3.2.5 データ加工と集計
- 3.2.6 レポートの作成と共有
- 3.2.7 データエージェントの作成と活用
- ［COLUMN］さらなるデータエージェントの活用方法
- 3.3 まとめ
第2部 Microsoft Fabricの導入と運用
第4章 Microsoft Fabricによるデータの価値昇華
- 4.1 データの価値昇華を支援するデータ分析基盤
- 4.2 データの価値昇華を実現するMicrosoft Fabricのワークロード
- 4.3 Microsoft Fabricでの「データ」から「情報」への昇華
- 4.3.1 メダリオンアーキテクチャ
- ［COLUMN］メダリオンアーキテクチャは新しい考え方？
- 4.3.2 非構造化データにおけるメダリオンアーキテクチャ
- 4.3.3 Fabricメダリオンアーキテクチャの実装
- 4.4 Microsoft Fabricで「情報」を「知識」としてモデル化して「知恵」につなげる
- 4.4.1 セマンティックレイヤー
- 4.4.2 Fabricのモデル化と分析機能
- 4.5 まとめ
第5章 Microsoft Fabricの機能選定とリファレンスアーキテクチャ
- 5.1 Microsoft Fabricのデータストアの選定
- 5.1.1 レイクハウスとウェアハウスの特徴と使い分け
- ［COLUMN］レイクハウスのパフォーマンス最適化
- 5.1.2 イベントハウスのOneLake同期
- 5.2 Microsoft Fabricのデータ取り込みの選定
- ［COLUMN］Sparkなどのコードはデータ連携では使用しない？
- 5.2.1 Data Factory アイテムの使い分け
- ［COLUMN］差分連携を実現するために
- 5.2.2 ミラーリングの種類
- ［COLUMN］ミラーリングのコスト
- 5.2.3 ミラーリングとショートカット
- ［COLUMN］外部ショートカットの効率化
- 5.3 Microsoft Fabricのデータ変換の選定
- 5.3.1 T-SQL/Spark/Python/KQLでのデータ変換の実装
- ［COLUMN］SparkはSQLユーザーには難しい？
- 5.3.2 Spark/Pythonの処理環境
- 5.3.3 フレームワーク（dbt、マテリアライズドレイクビュー）を使用した変換の実装
- ［COLUMN］ビューとマテリアライズドレイクビューの違い
- 5.3.4 KQLでのストリーム変換の実装
- 5.4 Fabricのワークフローの選定
- 5.5 Fabricのモデル化の選定
- ［COLUMN］ER的な表現と知識体系としてのグラフモデル
- 5.6 Fabricのデータ分析・活用の選定
- 5.6.1 可視化・ストーリーテリング
- 5.6.2 予測・異常検出
- 5.6.3 AIエージェント
- 5.6.4 分析情報の展開方法
- 5.7 Microsoft Fabricソリューションアーキテクチャパターン
- 5.7.1 データの統合と整備
- 5.7.2 ビジネスインテリジェンス（BI）
- 5.7.3 リアルタイム分析
- 5.7.4 データサイエンス
- 5.7.5 AIエージェントによるデータ活用
- 5.7.6 データメッシュによるドメイン分割とガバナンス
- 5.7.7 データメッシュ型のソリューションの配置例
- 5.8 まとめ
第6章 Microsoft Fabricのプラットフォームを管理する
- 6.1 基盤管理
- 6.1.1 テナント管理
- 6.1.2 Fabric 容量
- 6.1.3 ワークスペース
- ［COLUMN］すべてをFabric容量で動作させる必要はない
- 6.1.4 データソース接続
- 6.2 セキュリティ
- 6.2.1 認証
- 6.2.2 認可
- 6.2.3 ネットワーク制御
- ［COLUMN］プライベートエンドポイントの制限事項に注意
- 6.2.4 データ保護
- 6.2.5 監査
- 6.2.6 コンプライアンス対応
- ［COLUMN］容量リージョンの移行の制約
- 6.3 コスト最適化とパフォーマンス効率
- 6.3.1 課金モデル
- 6.3.2 コストの見積もりと最適化
- 6.4 信頼性
- 6.4.1 容量超過とスロットリング
- 6.4.2 スロットリングの回避策
- 6.4.3 BCDR
- ［COLUMN］データ以外のBCDR
- 6.4.4 バックアップとリストア
- 6.5 オペレーショナル・エクセレンス
- 6.5.1 運用監視
- 6.5.2 Infrastructure as Code
- 6.5.3 CI/CD
- 6.5.4 開発補助ツール
- 6.6 データガバナンス
- 6.6.1 データ資産の分類と整理
- 6.6.2 エンドースメントとタグ
- ［COLUMN］エンドースメント利用の前提条件
- 6.6.3 Purview Security and Complianceとの統合
- 6.6.4 データ資産の検出と統制
- ［COLUMN］Purviewデータガバナンスとの連携
- 6.7 まとめ
第3部 ユースケースと応用
第7章 全社レベルのデータ活用基盤構築
- 7.1 本章の概要と位置づけ
- 7.2 ハンズオン：データ活用基盤の構築
- 7.2.1 ハンズオンの概要
- 7.2.2 各レイヤーで使用するMicrosoft Fabric の機能
- 7.2.3 前提条件
- 7.2.4 ハンズオンで使用する資材
- 7.2.5 Bronze層の構築 - 外部からの生データの取り込み
- 7.2.6 Silver 層の構築 - データクレンジング
- 7.2.7 セキュリティ・ガバナンス - Gold 層への提供準備
- 7.3 まとめ
第8章 セマンティックモデルとPower BIレポートの実装
- 8.1 Power BIとセマンティックモデルの概要
- 8.1.1 Power BIの概要
- 8.1.2 Power BIのライセンス
- 8.1.3 セマンティックモデルの概要
- 8.1.4 Microsoft Fabric における基本アーキテクチャ
- 8.2 セマンティックモデルの設計
- 8.2.1 スタースキーマについて
- 8.2.2 データ接続方式について
- 8.2.3 リレーションシップの設定
- 8.2.4 メジャーの定義
- 8.3 Power BIレポートの設計
- 8.3.1 ビジュアル
- 8.3.2 フィールドの設定
- 8.3.3 レポートの共有
- 8.3.4 Copilot for Power BI
- 8.4 ハンズオン1：セマンティックモデルを作成する
- 8.4.1 ハンズオンの概要
- 8.4.2 Gold 層の構築
- 8.4.3 セマンティックモデルの作成
- ［COLUMN］タイムインテリジェンス関数とは？
- ［COLUMN］DAXクエリービューでメジャーを一括登録する
- 8.5 ハンズオン2：Power BIレポートを作成する
- 8.5.1 ハンズオンの概要
- 8.5.2 レポートエディターを開く
- 8.5.3 ビジュアルを作成する
- 8.5.4 レポートを保存して共有する
- 8.6 ハンズオン3：Copilot for Power BIを用いたレポート作成
- 8.6.1 ハンズオンの概要
- ［COLUMN］Copilot for Power BIの有効化設定
- 8.6.2 Copilot によるレポートの作成
- 8.6.3 説明ビジュアルの作成
- 8.6.4 レポートの要約と質問
- 8.7 参考となるWeb サイト
- 8.8 まとめ
第9章 リアルタイム分析のエンドツーエンドソリューション
- 9.1 Real-Time Intelligenceの概要
- 9.1.1 Real-Time Intelligenceとは
- 9.1.2 リアルタイム分析の位置づけ
- 9.2 アーキテクチャの解説
- 9.2.1 全体像
- 9.2.2 イベントストリーム
- 9.2.3 イベントハウス
- 9.2.4 リアルタイムダッシュボード
- 9.2.5 アクティベーター
- ［COLUMN］Operations Agent：LLMによるリアルタイム運用監視（プレビュー）
- 9.2.6 Real-Time Hub
- 9.3 ハンズオン：Real-Time Intelligence
- 9.3.1 ハンズオンの概要
- 9.3.2 前提条件
- 9.3.3 ハンズオンで使用する資材
- 9.3.4 イベントハウスの作成
- 9.3.5 イベントストリームからデータ取り込み
- 9.3.6 KQLデータベースでのデータ変換とクエリの実行
- 9.3.7 リアルタイムダッシュボードの作成と可視化
- 9.3.8 アクティベーターでのアラート設定
- 9.4 まとめ
第10章 機械学習モデルの開発と推論
- 10.1 Data Scienceの概要
- 10.2 Data Scienceの主な機能
- 10.2.1 リソース準備
- 10.2.2 データ準備と前処理
- ［COLUMN］Apache SparkとGPU
- 10.2.3 モデル開発と実験管理
- ［COLUMN］FabricのMLflow Tracking Server互換エンドポイントの外部利用
- ［COLUMN］PySparkにおける機械学習パイプライン定義
- ［COLUMN］SynapseML
- ［COLUMN］FLAML
- 10.2.4 推論
- ［COLUMN］リアルタイム推論の実務とFabricの現状
- 10.3 ハンズオン：AutoMLによる機械学習モデルの開発とバッチ推論
- 10.3.1 ハンズオンの概要
- 10.3.2 前提条件
- 10.3.3 ハンズオンで使用する資材
- 10.3.4 環境の作成
- 10.3.5 データの準備
- 10.3.6 AutoMLによるモデル開発
- 10.3.7 バッチ推論の実行
- 10.4 まとめ
第11章 AI Readyなデータ整備とエージェントによるデータ活用
- 11.1 本章の全体像
- 11.2 AI Readyなデータ整備
- 11.2.1 AI におけるデータの重要性
- 11.2.2 Microsoft FabricがAIにもたらす価値
- 11.2.3 AI Ready なデータの考え方
- 11.2.4 AI FunctionsとAzure AI Serviceの活用
- 11.3 ハンズオン：非構造化データのエンリッチメント
- 11.3.1 ハンズオンの概要
- 11.3.2 前提条件
- 11.3.3 ハンズオンで使用する資材
- 11.3.4 AI Functionsの活用例
- ［COLUMN］非構造化テキストのベクトル化とAI Search連携（SynapseML/Azure AI活用パターン）
- 11.4 エージェントによるデータ活用
- 11.4.1 AI Readyなデータをエージェントへ公開する機能
- 11.4.2 データエージェント設定のベストプラクティス
- ［COLUMN］イベントハウス（KQL）への退避による高速応答化
- 11.5 ハンズオン：SCMデータで体験するデータエージェントベストプラクティス検証
- 11.5.1 ハンズオンの概要
- 11.5.2 前提条件
- 11.5.3 ハンズオンで使用する資材
- 11.5.4 段階的にエージェントを作る（L0〜L5）
- 11.5.5 評価ノートブックを実行する（fabric-data-agent-sdk）
- 11.5.6 実証評価の結果と考察
- ［COLUMN］評価結果の再現性について
- 11.5.7 期待される傾向
- 11.6 まとめ