「基準はあるのに、人によってブレる」判断業務の壁

AIに任せる範囲を広げるために、判断そのものを整える

FROM TACIT JUDGMENT TO SHARED CRITERIACOLUMN ON “AI AGENT GOVERNANCE” vol.2

はじめに：AI導入が止まるのは、「判断」が絡む業務に進んだとき

AIエージェントの導入は、多くの場合、定型的な業務から進みます。書類の内容を読み取る、情報を整理する、問い合わせに答える。こうした作業は、比較的スムーズに自動化できます。一方、審査、承認、査定、品質の合否判定、出荷の可否といった「判断」を伴う業務に進むと、検討が止まることがあります。

判断業務には、たいてい基準があります。規程、マニュアル、チェックリスト。それでも、同じケース（たとえば、同じ申請や見積）を別の担当者が見ると結論が変わる、ということが起こります。担当者は「基準どおりに判断している」と考えているため、ばらつきそのものが見えにくい点が、この問題の難しいところです。

この「基準はあるのに人によってブレる」状態は、AIの性能とは別の次元で、導入の壁になります。AIに判断を任せるには「何を正解とするか」が定まっていることが前提ですが、その正解が人によって異なっているからです。本稿では、この壁がなぜ生まれ、どのように乗り越えていくかを整理します。

判断のばらつきは、思っているより大きい

判断のばらつきは「ノイズ」と呼ばれ、研究の対象になっています^*1。研究で紹介されている事例では、ある保険会社で、引受担当者に同じケースの保険料を見積もってもらったところ、2人の担当者が付けた保険料の差は、典型的には2人の平均額の5割を超えていました。事前に経営陣が想定していた差は、1割程度だったといいます。専門家の判断は概ね揃っているはずだ、という思い込みが、ばらつきを見えにくくしています。

これは一つの調査の結果であり、すべての判断業務が同じ程度にばらつくとは限りません。ただ、判断を人に委ねている業務では、一定のばらつきがあるものとして考えておく方が現実的です。本稿が対象とするのは、同じ条件であれば同じ結論になるべき判断です。

なぜ、基準があるのにブレるのか

判断のばらつきに関する知見や、業務の自動化・AI化でこれまでに指摘されてきた点からは、背景として次のような点が考えられます。

• 基準には原則しか書かれておらず、境界や例外の扱いが書かれていない：数値の端数をどう丸めるか、基準値ちょうどの場合はどちらに倒すか、書類同士で数字が食い違っていたらどうするか。基準書に細かく書かれていないこうした扱いは、担当者の解釈に委ねられます。これらは、AIに判断させる段階になって、判定のずれとして表に出やすくなります。

• 現場のルールが、担当者のExcelや記憶の中にある：基幹システムから取り出したデータを担当者がExcelで加工し、区分やメモを手で付け足し、緊急の依頼が入れば割り当てを入れ替える。こうした運用は手順書に書かれていないことも多く、業務の自動化の分野では、文書化された手順が実際の業務を反映していないことが指摘されています^*2。AI化の検討でも、システムに残らない加工やルールを洗い出すことが、出発点になると考えられます。

• 曖昧なままでも、人が補って回ってきた：前後の文脈を人が補い、辻褄を合わせてきたため、曖昧さが問題として表に出ませんでした。AIは、その組織の暗黙の了解までは補ってくれないため、これまで人が補ってきた部分が、導入の検討ではじめて見えてきます。

決まりごとには、法令や規程のように明文化されているものと、現場の慣習や「この程度ならよい」という間合いのように、人の間では共有されていても書かれていないものがあります。AIに伝える必要があるのは、後者です。専門家が自分の判断の基準を言葉にしきれないことは、AIの分野では古くから課題として知られています^*3。

この壁が、AI導入を止める理由

ばらつきを抱えたまま判断業務をAIに任せようとすると、次のような行き詰まりが生じます。

正解が決まらない。 AIの判断が良いかどうかは、「誰の判断と比べるか」で決まります。過去の判断結果を正解として使う場合、その判断自体がばらついていれば、AIの精度を測る物差しがばらつきます。特定の担当者の判断と一致したとしても、それが妥当だとは限りません。

根拠を示せなければ、任せにくい。 判断を任せる以上、最終的に承認する人が、AIがどこを見てそう判断したのかを確認できることが求められます。結論だけを返す仕組みでは、承認者が責任を持って採用することが難しくなります。

AIの判断も揺れる。 AIに任せればばらつきがなくなる、とは限りません。生成AIは、同じ入力・同じ設定でも出力が揺れ、条件によっては正答率にも差が出ることが報告されています^*4。判断を生成AIの出力に丸ごと委ねるのではなく、揺れることを前提とした設計が重要になります。

判断を、AIに任せられる形に整える：5つの手順

いきなりAIを選ぶのではなく、まず判断そのものを整える、という進め方があります。完璧に整えてから始める必要はないのですが、判断の基準と根拠を整えておくほど、AIに任せられる範囲を安全に広げやすくなります。以下は、ウフルのこれまでの経験と、一般的に指摘されている点をまとめたものです。

なお、各手順の作業は、最初は人の手で進めることが多いものの、AIに下書きや候補出しを手伝わせることもできます。たとえば、判断の分解案、過去の判断例から抽出した基準の候補、蓄積した判断をもとにした基準の更新案などです。ただし、AIが出した案は人が確認し、基準を決めて責任を負うのは人であることが前提になります^*5。

PROCESS 1手順1：ばらつきを測る

同じケースを、複数の担当者がそれぞれ独立に判断し、結論と根拠の違いを比べる方法があります。「ノイズ監査」と呼ばれます^*1。目的は個人の評価ではなく、現状の把握です。少数のケースからでも始められ、どの項目で判断が割れるのかが分かれば、基準が曖昧な箇所の見当がつきます。

進め方の一例としては、過去のケースから、基準の境界に近いケースも含めて選び、複数の担当者に結論（OK／NG）と理由を書いてもらいます。結論の一致率だけでなく、理由が揃っているかも見ておくとよいでしょう。結論は同じでも理由が違う項目は、条件が少し変わると結論が割れる可能性があるためです。専門家同士の判断が割れる項目は、AIの精度を問う前に、基準そのものの曖昧さが一因になっている可能性があります。

PROCESS 2手順2：判断を分解する

一つの「判断」を、条件が明確な部分と、解釈が必要な部分に分けます。機械的に判定できる部分は、AIを使わず、ルールやプログラムで足りることがあります。AIや人の判断を残すのは、解釈が必要な部分です。

たとえば書類のチェック業務であれば、「書類が揃っているか」「金額が範囲内か」といった単純な比較で足りる項目と、複数の数値の関係を見て判断する項目に分け、AIで検証するのは後者に絞る、という進め方があります。判断を複数の要素に分け、それぞれを独立に評価するという考え方は、判断のばらつきを抑える方法としても知られています^*1。なお、ルールで書くかAIに任せるかは、精度だけでなく、基準が変わったときの保守のしやすさとのバランスでもあります。

PROCESS 3手順3：書かれていない基準を言語化する

手順1・2で見えてきた、判断が割れる項目について、担当者から判断の理由や迷ったときの考え方を聞き出し、境界値、例外、書類同士の食い違いの扱いなどを書き出します。担当者がExcel上で行っている加工や区分、緊急時の例外対応も対象です。抽象的なルールとして書くよりも、「この場合はOK、理由はこう」「この場合はNG、理由はこう」という具体的な例の形で残す方が、あとから使いやすいと考えられます。残し方の例としては、「状況（どんな書類・数値か）」「判断（OK／NG）」「理由」「参照した箇所」を1組にした判断例集があります。判断が割れた項目から書き出し、運用しながら書き足していく進め方が現実的です。基準は、実際に判断してみる中で具体化していく面があることも、AIの出力を評価する研究で指摘されています^*5。

PROCESS 4手順4：評価の物差しをつくる

AIの評価は、正答率だけでは足りません。次のような観点を、あらかじめ決めておくと進めやすくなります。

• 専門家の判断との一致：特定の個人の過去の判断ではなく、複数の専門家が合意した判断を基準にします。専門家の間で割れたケースは、協議して基準を更新していきます

• 根拠の特定：AIが、元の帳票のどの数値・どの箇所を見て判断したかを示せるか

• 例外・異常への対応：欠損や異常値、基準の境界値、書類同士の食い違いを、正しく検出する、または人に回せるか

• 業務への効果：AIによる一次判断と人の確認を合わせた時間が、現状と比べてどれだけ変わるか

なお、AIに100%の一致を求める必要はありません。一致しないケースや判断が揺れたケースを人に回す前提で、どの水準なら任せられるかをあらかじめ決めておくと、現実的に進めやすくなります。

テスト用のケースは、通常のものだけでなく、異常なものや境界値に近いものを意図的に含めて設計します。たとえば書類のチェックであれば、数値が欠けている書類、基準値ぎりぎりの書類、書類同士で数字が食い違う書類、書式がばらつく書類などです。

また、AIの判断が専門家の判断と食い違ったケースは、AIの誤りとして処理する前に、基準の曖昧さや判断のばらつきの表れではないかも確認します。AIとの比較が、人の側の基準を見直すきっかけになることがあります。

PROCESS 5手順5：判断と根拠を蓄積し、育てる

人が確認して下したOK／NGの判断を、その理由とあわせて記録として残します。蓄積した判断は、基準を更新する材料になり、AIの判断を改善する材料にもなります。判断と理由が記録されるほど、同じようなケースをAIに任せられる範囲が、少しずつ広がっていくと考えられます。「なぜそう判断したか」（例外の扱いや前例）は、これまで業務システムに残りにくく、担当者の頭の中にとどまりがちだった情報です。

ただし、最初から全自動を目指す必要はありません。AIが案を出し、人が承認し、その判断と理由が記録される。この流れから始められます。また、過去の判断にばらつきや偏りがあれば、それをそのまま蓄積してしまうおそれがあります。手順1・手順4とあわせて進めると効果的です。

着手するときは、過去のケースがあって結論と理由が残っている判断や、誤りの影響が小さい判断から小さく始め、5つの手順を繰り返しながら広げていく進め方が現実的と考えられます。

たとえば、ある承認業務で、過去の同じケースを複数の担当者に判断してもらったところ、ほとんどは結論が揃い、基準値付近の数値の扱いだけで結論が割れた、という場合を考えます（想定例）。割れた項目だけを書き出して判断例集に加え、結論が揃っていた部分から先にAIに任せ、割れたケースは人に渡す。このように、判断が割れた箇所から整えながら、任せる範囲を広げていくことができます。

人とAIの役割：最終判断は人、迷うケースは人に渡す

判断の最終的な責任は、現状では人（組織）が負うことになります。AIが出した結果について、AIに責任を負わせることは難しいためです。そのため、AIには結論だけでなく根拠のついた案を出させ、人が確認しやすい形にしておくと進めやすくなります。

もう一つ、AIが迷うケースを人に渡す仕組みも役立ちます。判断が揺れたケース、根拠を示せないケース、基準に当てはまらないケースは人に回す。こうした線引きを用意しておけば、基準が完全に整っていなくても、AIが確実に判断できる範囲から任せはじめることができます。

人に渡されたケースの判断と理由は、記録として蓄積されます（手順5）。蓄積が進み、AIの判断が専門家の判断と一致する範囲が確かめられていくにつれて、人が確認する範囲を少しずつ見直していく。この順序であれば、責任の所在を曖昧にせずに、AIに任せる範囲を広げていけると考えられます。

着手前の自己確認

• ばらつきの把握

  同じケースを複数の担当者が判断した場合、結論と根拠がどの程度揃うかを把握しているか

• 判断の分解

  判断を、機械的に判定できる部分と、解釈が必要な部分に分けて整理したか

• 書かれていない基準

  基準書に書かれていない境界値・例外・現場のルール（Excelや担当者の頭の中にあるもの）を洗い出したか

• 評価の物差し

  AIの精度を測る「正解」を、特定の個人ではなく、複数の専門家の合意としているか

• 根拠の提示

  AIが判断の根拠（どの数値・どの箇所を見たか）を示せるか。承認者が確認できる形になっているか

• 人に渡す条件

  AIが判断に迷ったケースを人に渡す条件（判断が揺れた、根拠を示せない、基準に当てはまらない）と、渡したあとの流れが決まっているか

• 判断の蓄積

  人が下した判断と理由を、記録として蓄積する仕組みがあるか

まとめ

判断業務のAI化で壁になりやすいのは、AIの性能よりも、「何を正解とするか」が人によって異なっていることです。ばらつきを測り、判断を分解し、書かれていない基準を言語化し、評価の物差しをつくり、判断と根拠を蓄積する。迷うケースを人に渡しながら少しずつ進めることが、AIに任せられる範囲を、責任の所在を保ったまま広げていくための土台になると考えられます。判断の基準・根拠・記録をデータとして整えていくことは、データに基づく意思決定の出発点でもあります。

ウフルは、データ基盤の整備から、データに基づく意思決定、AIエージェントによる業務の自動化・高度化まで、一貫して支援しています。自社の判断業務がどこでブレているのか、まずは手順1で確かめてみてください。過去に判断した同じケースを複数の担当者に別々に判断してもらい、結論と理由を見比べるだけでも、ブレている箇所が見えてきます。