AIに確率を3通りで聞いて足し合わせ、怪しい数字を見抜く
AIが「15%の顧客が解約する」と答えても、四半期はまだ終わらず、比べる答えがありません。3つの質問を別々にして足し合わせると、ずれから怪しい数字が分かります。
顧客対応のメモをまとめてAIアシスタントに貼り、「今四半期に顧客がプランを解約する確率は？」と聞くと、15%という答えが返ってきます。いかにも自信ありげです。ただ四半期はまだ終わっていないので、比べるための本当の答えはありません。2026年10月22日付のarXiv（査読前の科学論文を公開するサイト）のプレプリントは、本当の答えがなくてもできる検証を提案しています。同じことを3通りに聞いて、数字が足し合わさるかを見るのです。
自分のメモですぐ試す
ここでは、この記事のために作った例として、オンライン学習プランを売る店の管理者フンさんを挙げます。フンさんは3か月分の顧客対応メモを持っていて、AIに解約する確率を見積もらせたいと考えています。
- 貼り付ける前に、顧客の名前、電話番号、メールアドレス、住所を削除し、質問に必要なメモだけを残します。新しい会話を3つ開き、それぞれに同じメモを貼ります。プレプリントも各質問を別々の呼び出しで行っています。同じ会話の中で続けて聞くと、モデルが前の数字を覚えていて、新しい数字をそれに合わせてしまうことがあります。
- 1つ目の会話では全体の数字を聞きます。「今四半期に顧客がプランを解約する確率は何パーセントですか？」フンさんは15%を得ます。
- 2つ目では、各グループの割合を聞きます。顧客を2つか3つのグループにどう分けるかは、メモから実際に言えることに合わせて自分で決めます。たとえば年間プランの顧客と月払いプランの顧客です。「この顧客のうち、各グループは何パーセントですか？」顧客は必ず1つのグループにだけ属します。AIが答えた割合が合計100%にならないときは、足す前に合計が100%になるまで聞き直してください。フンさんは年間40%、月払い60%を得ます。
- 3つ目では、各グループの中での解約確率を聞きます。「顧客が年間プランなら、今四半期に解約する確率は何パーセントですか？ 月払いプランなら？」フンさんは10%と30%を得ます。
- 自分で足します。0.40 × 10% + 0.60 × 30% = 4% + 18% = 22%。1つ目の会話の全体の数字は15%でしたから、7パーセントポイントのずれです。
これで手元に、3つの数字、1回の足し算、しきい値と比べるためのずれが1つそろいました。しきい値は、数字を見てから選ぶのではなく、聞く前に決めておきます。たとえば数パーセントポイントです。モデルが1つの数字ではなく範囲や言葉で答えたら、質問ごとに1つのパーセントを求め、そう求めたことを記録しておきます。
ずれを読んで決める
例の7ポイントのずれは、数ポイントというしきい値を大きく超えています。好きなほうの数字を選ばずに、両方とも捨ててください。合うまで聞き直すこともやめます。道は2つあります。メモに数字が十分にあれば、表計算ソフトで直接数える。そうでなければ、AIの数字は意思決定にはまだ使えない推測として扱う。ずれが小さいときに分かるのは、数字どうしが合っていることだけで、現実に合っていることではありません。
この方法が向くのは、直接数えられない数字です。案件が期限に遅れる確率、顧客がもう一度買う確率、苦情が上の人に上がる確率など、AIが文章のメモを読んで見積もるものです。メモにすでに数字があるなら、表計算ソフトで数えるほうが速くて正確です。この方法の良さは安いことで、質問3つと足し算1回で済みます。
なぜ足し算で誤りの目印になるのか
著者のPeter Potash氏は、7つの大規模言語モデルに、確率の判断が全確率の法則に従っているかを尋ねました。この法則は、Xが起きる確率は、各グループzについて（顧客がグループzに属する確率）×（顧客がグループzに属するときXが起きる確率）を足し合わせたものに等しい、というものです。ここでのグループzはどこにも書かれていないもので、モデルが文脈の中の記録から推測しなければなりません。テストの各質問には、正確に計算できる正解があります。
プレプリントによると、最も一貫していたのはGPT-6.1 SolとClaude Opus 5.5で、絶対値の平均のずれは0.08と0.12のlog-odds（確率の差をオッズで表す尺度）、約2パーセントポイントでした。Claude Haiku 5.5、Gemini 3.8 Flash、DeepSeek V4-Proは0.27〜0.35 log-oddsと、ずれが根強く残り、そのずれは共通の偏りというより、質問ごとに変わるものがほとんどでした。どのモデルでも、ずれが大きいほど答えは真実から離れていました（スピアマンの順位相関は0.40〜0.62）。そのため、正解がなくても計算できるこのずれが、信頼しにくい答えの目印になります。
ほかに、覚えておきたい点が2つあります。推論の長さは一貫性を予測しませんでした。長い答えを確かな答えと見なさないでください。また、単純な一貫性の確認はほぼすべて通ります。失敗が出るのは、モデルが隠れた変数を通して推論するときで、上の「どのグループが解約するか」という質問がまさにそれです。これは1人の著者による査読前のプレプリントで、答えをあらかじめ作った問題で試したものです。プレプリントが報告しているのは、大きなずれが大きな誤りを伴うということで、小さなずれなら答えが正しいということではありません。コードとデータは論文と同じくGitHub（ソースコードを保存・共有するサイト）で公開されているので、自分のチームの技術担当者が、業務に取り入れる前に再実行できます。
参考資料
- Peter Potash, “Latent Coherence: Do Frontier Language Models’ Probability Judgments Obey the Law of Total Probability?”（arXiv:2610.31833、2026年10月22日） — 全確率の法則、7つのモデル、0.08〜0.35 log-odds、スピアマン相関0.40〜0.62の出典です。
- プレプリントのコードとデータ（GitHub） — arXivのページからリンクされています。