|
内容紹介・もくじなど
内容紹介:「正解」がわからない出力を、どう評価するのか?LLMアプリ特有の評価の基本から、継続的改善の運用方法まで徹底解説!LLMアプリケーションを価値あるものにするためには、評価が欠かせません。評価をすることではじめて、LLMアプリケーションの現在地を把握し、改善すべき方向性を見極めることができます。しかし、LLMアプリケーションの評価は、・出力が確率的かつ自由度が高いため単純に正答率を評価することができない・なにをもって良い出力とするかの軸が定めにくいといったことから、「どう評価すればいいのか分からない」という課題にぶつかることが多くあるのではないでしょうか。本書は、そういった課題を解決す…(続く)
内容紹介:「正解」がわからない出力を、どう評価するのか?LLMアプリ特有の評価の基本から、継続的改善の運用方法まで徹底解説!LLMアプリケーションを価値あるものにするためには、評価が欠かせません。評価をすることではじめて、LLMアプリケーションの現在地を把握し、改善すべき方向性を見極めることができます。しかし、LLMアプリケーションの評価は、・出力が確率的かつ自由度が高いため単純に正答率を評価することができない・なにをもって良い出力とするかの軸が定めにくいといったことから、「どう評価すればいいのか分からない」という課題にぶつかることが多くあるのではないでしょうか。本書は、そういった課題を解決すべく、評価の種類、どういった評価指標を作っていくかはもちろん、近年注目されているLLM-as-a-Judgeを使った実際の評価、リリース後の評価・改善といった、基本から実務で使える知識まで解説します。…
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||