LLM-as-a-Judgeは、LLMを評価者として使い、AIの出力品質を採点・比較する評価方法です。
人間が毎回読む代わりに、別のLLMへ「この回答は根拠に沿っているか」「質問に答えているか」「説明は十分か」といった観点で判定させます。
まず押さえたいポイント
- LLMを使って、別のLLM出力やAIエージェントの結果を評価する
- 要約品質、回答の自然さ、根拠との一致などを見やすい
- 採点するLLMにも揺れや偏りがある
- 決定的なテストや人間レビューの置き換えにしすぎない
どんな場面で使うか
問い合わせ対応AIなら、回答が質問に答えているか、トーンが適切か、根拠文書に反していないかを評価できます。
要約AIなら、重要な情報が抜けていないか、余計な推測を入れていないかを見ます。
AIエージェントでは、最終回答だけでなく、ツール利用の妥当性や作業結果の説明が十分かを評価することもあります。
ただし、ファイルが本当に変更されたか、テストが通ったか、スキーマに合っているかのような確認は、できるだけ通常の自動テストで見る方が安定します。
決定的な評価との違い
決定的な評価は、合否が明確な確認です。
たとえば、単体テストが通る、JSONスキーマに合う、禁止APIを呼んでいない、というチェックです。
LLM-as-a-Judgeは、人間の判断に近い柔らかい評価を扱える一方で、同じ内容でも採点が変わることがあります。
そのため、重要な業務ではLLM評価だけで合否を決めず、決定的な評価、人間レビュー、ログ確認と組み合わせる方が安全です。
実務で見るポイント
評価プロンプトには、採点基準、悪い例、良い例、出力形式を明確に入れます。
「よい回答か」だけでは採点が揺れやすいので、「根拠にある事実だけで答えているか」「禁止表現がないか」「次の行動が分かるか」のように分けると扱いやすいです。
また、採点結果も監査対象にします。
LLM-as-a-Judgeは便利ですが、評価者としてのLLMが甘すぎる、特定表現を好む、長い回答を高く評価しがち、といった偏りが出ることがあります。評価ハーネスの中では、こうした評価器そのものの信頼性も確認します。