Human-in-the-loop は、AIの処理や判断の途中に、人間の確認、承認、修正を挟む設計です。
日本語では「人間参加型」や「人間を介在させる設計」と説明されることがあります。
まず押さえたいポイント
- AIにすべてを自動実行させず、重要な場面で人間が止める
- AIエージェントの tool 実行、外部送信、本番変更、課金処理で特に重要
- 承認は「最後に見る」だけでなく、危険な操作の直前に置く方が効果的
- 承認結果、承認者、対象操作、理由をログに残すと後から説明しやすい
どんな場面で使うか
たとえば、AIエージェントがメール送信、チケット起票、DB更新、コードのマージ、クラウドリソース作成、外部API呼び出しを行う場合です。
読み取りだけなら自動化しやすいですが、外部に影響する操作や取り消しにくい操作では、人間承認を挟む方が安全です。
よくある誤解
Human-in-the-loop は、AIを信用していないから入れるものではありません。
むしろ、AIを実務で使える範囲へ広げるための安全装置です。
すべての操作に承認を入れると遅くなりますが、危険操作にだけ入れると、効率と安全性のバランスを取りやすくなります。
どこで人が止めるか を決めることも、AIエージェント設計の一部です。
どこに置くとよいか
Human-in-the-loop は、作業の最後にまとめて見るだけではなく、危険な tool 実行の直前に置くと効果が出やすいです。
たとえば、メール送信前、DB更新前、本番デプロイ前、課金が発生する操作の前、権限変更前などです。
逆に、公開情報の検索、読み取り専用の確認、下書き作成、要約のような低リスク操作まで毎回止めると、AIエージェントの効率が落ちます。
そのため、読むだけ と 副作用がある操作 を分けて、後者に承認を置くのが基本です。
承認時に確認する内容
承認者には、AIが何を実行しようとしているのか、対象は何か、変更前後はどう違うのか、取り消せるのかを見せる必要があります。
承認しますか？ だけでは判断材料が足りません。
実務では、承認者、日時、対象操作、入力パラメータ、承認または拒否の結果もログに残すと、後から説明しやすくなります。
これは監査ログや変更管理とも関係します。
実務で見るポイント
承認設計では、誰が承認するか、何を見て承認するか、承認後に何が実行されるか、拒否されたときどう戻すか を決めます。
詳しい整理は、人間承認をどこで入れるべき？AIエージェントの承認設計を整理 も参考になります。