内容紹介：「正解」がわからない出力を、どう評価するのか？ＬＬＭアプリ特有の評価の基本から、継続的改善の運用方法まで徹底解説！ＬＬＭアプリケーションを価値あるものにするためには、評価が欠かせません。評価をすることではじめて、ＬＬＭアプリケーションの現在地を把握し、改善すべき方向性を見極めることができます。しかし、ＬＬＭアプリケーションの評価は、・出力が確率的かつ自由度が高いため単純に正答率を評価することができない・なにをもって良い出力とするかの軸が定めにくいといったことから、「どう評価すればいいのか分からない」という課題にぶつかることが多くあるのではないでしょうか。本書は、そういった課題を解決すべく、評価の種類、どういった評価指標を作っていくかはもちろん、近年注目されているＬＬＭ－ａｓ－ａ－Ｊｕｄｇｅを使った実際の評価、リリース後の評価・改善といった、基本から実務で使える知識まで解説します。…
属人的な調整を脱し、品質を向上させるための実践入門書。基本から実務で使える知識まで。
もくじ情報：第１部　理論編（なぜＬＬＭアプリケーションを評価する必要があるのか；ＬＬＭアプリケーション評価設計の全体像；ＬＬＭアプリケーション評価の実行プロセスと運用設計；評価設計の進め方；ＬＬＭ‐ａｓ‐ａ‐Ｊｕｄｇｅ；ＬＬＭＯｐｓによる継続的な改善）；第２部　実践編（テーマ設定とサンプルアプリケーションの準備；評価の初期設定と評価データセットの作成；リリース前の評価とチューニング；リリース後の評価とモニタリング）；付録Ａ　ＬＬＭそのものの評価