技術評論社サイトのロゴ

マルチモーダルモデル入門

「マルチモーダルモデル入門」のカバー画像
著者
栗田修平（くりたしゅうへい），品川政太朗（しながわせいたろう），柳凜太郎（やなぎりんたろう），塩野大輝（しおのだいき），高道慎之介（たかみちしんのすけ），仁泉大輔（にいずみだいすけ），中村友彦（なかむらともひこ），八木拓真（やぎたくま），篠原崇之（しのはらたかゆき）　著
定価
3,960円（本体3,600円＋税10%）
発売日
2026.9.28
判型
B5変形
頁数
352ページ
ISBN
978-4-297-15836-1 978-4-297-15837-8

サポート情報

概要

本書は、画像や音声、動画など複数の異なるデータを扱う「マルチモーダルモデル」の入門書です。

自動運転やロボット、AIエージェントといった存在が、実世界の複雑な情報を理解して人間と円滑にコミュニケーションをとるために必要とする最先端技術を、基礎知識からその仕組みまで体系的に解説します。共通基盤となるTransformerの基礎からはじめ、視覚・音声・動画・3次元データの各モデルにふれたうえで、画像・音声・自然言語の融合モデルを解説します。

マルチモーダルモデルを用いた研究や開発に応用できる確かな力が身につく一冊です。

こんな方にオススメ

  • マルチモーダルモデルに興味がある方

目次

第1章　マルチモーダルモデルへの基礎

  • 1.1　Transformer
  • 1.2　Transformerの処理単位としてのトークン
  • 1.3　LLMが獲得した能力
  • 1.4　LLMの学習手法

第2章　Vision　and　Language

  • 2.1　視覚基盤モデルと視覚言語モデル
  • 2.2　大規模視覚言語モデルの基礎
  • 2.3　LLaVA
  • 2.4　LVLMの性能に寄与する要素
  • 2.5　LVLMの視覚トークンに関する内部分析
  • 2.6　LVLMの評価
  • 2.7　LVLMのリーダーボードと自動評価フレームワーク
  • 2.8　V&Lの課題と展望

第3章　音データ

  • 3.1　音メディア処理の基礎
  • 3.2　ニューラルオーディオコーデック
  • 3.3　音声の基盤モデル
  • 3.4　音楽の基盤モデル
  • 3.5　可聴音一般の基盤モデル
  • 3.6　音と言語の基盤モデル
  • 3.7　音メディア処理全体の課題と展望

第4章　動画データ

  • 4.1　動画データとは
  • 4.2　動画理解のタスク
  • 4.3　動画基盤モデル
  • 4.4　代表的な動画基盤モデル
  • 4.5　動画基盤モデルの学習
  • 4.6　データセットと評価
  • 4.7　動画基盤モデルのテクニック
  • 4.8　動画基盤モデルの課題と展望

第5章　3次元データ

  • 5.1　3次元データとは
  • 5.2　LLM/VLM　以前のマルチモーダル手法
  • 5.3　3D　データと　LLM　の統合技術
  • 5.4　VLM　との融合
  • 5.5　3D　データの課題と展望

第6章　オムニモーダルモデル

  • 6.1　複数モダリティ対応の基本
  • 6.2　NExT-GPTの学習
  • 6.3　オムニモーダルモデルの評価
  • 6.4　オムニモーダルモデルの課題と展望

プロフィール

栗田修平（くりたしゅうへい）

国立情報学研究所 コンテンツ科学研究系 助教。東京科学大学 情報理工学院 特任准教授。博士（情報学）（京都大学）。実世界・物理世界を理解するための自然言語処理研究に従事。1章の一部の執筆を担当。

品川政太朗（しながわせいたろう）

SB Intuitions株式会社、奈良先端科学技術大学院大学 客員助教。2020年に奈良先端科学技術大学院大学 博士後期課程を修了。博士（工学）。マルチモーダル基盤モデルの研究開発に従事。6章および1章の一部の執筆を担当。

柳凜太郎（やなぎりんたろう）

産業技術総合研究所 人工知能研究センター 研究員。2024年に東京大学 博士後期課程を修了（博士（情報科学））。視覚言語処理の研究に従事。2章の2.1節と2.8節の執筆を担当。

塩野大輝（しおのだいき）

東北大学大学院情報科学研究科博士後期課程3年。2024年3月に東北大学大学院情報科学研究科修士課程を修了。大学では、大規模視覚言語モデルの開発・応用・分析に関する研究に従事。2章の2.2節から2.7の執筆を担当。

高道慎之介（たかみちしんのすけ）

慶應義塾大学 准教授。2016年に奈良先端科学技術大学院大学 博士後期課程を修了。音声研究に従事。3章の一部の執筆を担当。

仁泉大輔（にいずみだいすけ）

SB Intuitions株式会社（執筆時：NTT株式会社）。東京都立大学 客員研究員。2026年に東京都立大学大学院にて博士（情報科学）を取得（論文博士）。音の表現学習の研究に従事。3章の一部の執筆を担当。

中村友彦（なかむらともひこ）

産業技術総合研究所 主任研究員。2016年に東京大学 博士後期課程を修了（博士（情報理工学））。音楽信号処理、音響信号処理の研究に従事。3章の一部の執筆を担当。

八木拓真（やぎたくま）

産業技術総合研究所 人工知能研究センター 主任研究員。2022年に東京大学 博士後期課程を修了（博士（情報理工学））。動画理解の研究に従事。4章の執筆を担当。

篠原崇之（しのはらたかゆき）

産業技術総合研究所 レジリエントインフラ実装研究センター 主任研究員。2022年に東京工業大学 博士後期課程を修了（博士（工学））。コンピュータビジョンを活用した土木インフラ管理の研究に従事。5章の執筆を担当。