内容紹介：「図表を読めるＡＩ」を作る近年、テキストだけでなく、図や表やグラフといった画像を含む資料からも情報を検索・活用できる「マルチモーダルＲＡＧ（Ｒｅｔｒｉｅｖａｌ－Ａｕｇｍｅｎｔｅｄ　Ｇｅｎｅｒａｔｉｏｎ）」の重要性が高まっています。従来のテキストベースＲＡＧが扱える情報はテキストデータに限定されており、実務現場で扱う文書－－技術報告書、研究論文、プレゼン資料－－のように、図表を多く含むデータには十分対応できませんでした。本書は、この課題を踏まえ、実務文書にも対応できるマルチモーダルＲＡＧについて体系的に解説します。本書では、自分の手でマルチモーダルＲＡＧを構築できるようになることを目指します。全体を通して、手を動かしながら理解できるよう、再現可能なコード例を多数提示しています。＜本書の構成＞・第１章基本的な構成のＲＡＧ（データベース・検索器・生成器）をＰｙｔｈｏｎで実装し、ＲＡＧの仕組みを理解します。・第２章画像をテキストに変換する方式と、画像とテキストを同一のベクトル空間に埋め込む方式という、２種類のマルチモーダルＲＡＧ　の実装方法を紹介します。・第３章Ｅｍｂｅｄ－４やＣＬＩＰ－ＲＡＧ、反復型ＲＡＧといった最新手法を概観し、マルチモーダル知覚統合の潮流を整理します。・第４章特定領域の画像（医療画像、技術図面など）に特化したマルチモーダル　ＲＡＧ　の構築を目指し、ｐｒｏｊｅｃｔｏｒやＬＬＭ、デュアルエンコーダのファインチューニング方法を実例とともに解説します。
複雑なグラフ、レイアウトの崩れたＰＤＦ、専門的な画像データ…社内に散らばる非構造化データを検索・活用するための実装アプローチ。テキストだけのＲＡＧから、画像も読み解く「マルチモーダルＲＡＧ」へ。検索精度を飛躍させるＣｏｌＰａｌｉ、自律的に動くＡｇｅｎｔｉｃ　ＲＡＧ（ＬａｎｇＧｒａｐｈ）。最新ツールを組み合わせて、マルチモーダルＲＡＧの最小構成を自作する！
もくじ情報：１　テキストベースのＲＡＧ；２　Ｒｅｓｐｏｎｓｅｓ　ＡＰＩのｆｉｌｅ　ｓｅａｒｃｈによるＲＡＧ；３　標準的なマルチモーダルＲＡＧ；４　ＣｏｌＰａｌｉを利用したマルチモーダルＲＡＧ；５　エージェントによる自律制御を組み込んだＭＭＡ‐ＲＡＧ；６　ＶＱＡを中核としたマルチモーダルＲＡＧ

新納　浩幸(シンノウ　ヒロユキ)
１９６１年生まれ。現在、茨城大学工学部情報工学科教授、博士（工学）。専門は自然言語処理（本データはこの書籍が刊行された当時に掲載されていたものです）