PAPER × JEV · arXiv 2609.26550

自信があれば採用、迷ったら格上げ。
安い「判定専用AI」で評価コストを半分にする話

JEV-as-a-Judge: Accept When Confident, Escalate When Unsure
著者 Yubo Li, Yidi Miao, Ramayya Krishnan, Rema Padman 所属 Carnegie Mellon University 公開 2026-09-22 原文(HTML版)
00 · SUMMARY

3行でいうと

  • JEV(TypeSafe社のホスト型「判定専用」モデル)は、普通の好み判定や根拠つき事実確認なら、最強のLLM審査員 GPT-6 Astra と3ポイント以内の精度を出す。料金は約1/277。
  • 一方、推論の検算が必要な問題や、立派に書かれた誤答を見抜く問題では 9〜20ポイント負ける。
  • JEVは「間違えるときは自信が低い」傾向があるので、自信が高ければ採用、低ければGPT-6へ回すカスケードで、GPT-6の精度の約99%を約57%の費用で出せた。
$0.044
JEVの1,000判定あたり料金(GPT-6は $12.18)
0.152 s
JEVのレイテンシ中央値(GPT-6は 1.885 s)
92.5 / 93.1
凍結カスケード vs GPT-6単体の精度(%)、費用は56.8%
01 · BACKGROUND

背景:LLM審査員の2つの悩み

霊
霊夢「LLM-as-a-judge」って最近よく聞くけど、要するにAIの回答をAIに採点させるってこと?
魔
魔理沙そうだぜ。昔は翻訳ならBLEUみたいな専用指標か、人間の評価に頼ってた。でも今のLLMは対話もコードも推論もやるから、固定の正解や採点ルールに落とし込めない評価が多い。そこで「強いLLMにルーブリックを渡して判定させる」のが定番になったんだ。
霊
霊夢便利そうだけど、何が問題なの?
魔
魔理沙論文は2つの悩みを挙げてる。
①コスト:推論モデルは長く考えるほど賢くなるけど、思考トークンぶん料金もレイテンシも増える。モデル改修のたびに何千件も評価し直すと、審査員の費用が開発費に直結する。
②自信の信頼性:LLMに「どれくらい自信ある?」と聞くと、間違っているのに高い確率を言うことがある(過信)。どの判定を信じてよいかわからないと、人やもっと強いモデルに回す判断ができない。
霊
霊夢安くて、しかも「迷ってる」ことを正直に教えてくれる審査員が欲しいわけね。
魔
魔理沙その通り。この論文の問いは「安い判定専用モデルで一次審査をして、強いLLMが必要な入力だけを見分けられるか」だぜ。精度・確率の質・運用コストを同時に測ってるのがポイントだ。
02 · WHAT IS JEV

JEVとは何者か

霊
霊夢JEVって初めて聞いた。GPTとかと何が違うの?
魔
魔理沙TypeSafe AIが提供するホスト型サービスで、文章を生成しないのが最大の違いだ。構造化した入力(state)と自然言語の指示、そして「出力の型」を渡すと、判定ラベルとラベルごとの確率だけを返す。理由の説明文は出さない。実装はプロプライエタリで中身は非公開だぜ。
霊
霊夢出力の型って?
魔
魔理沙3種類ある。Choiceは指定ラベル上の確率分布、NoulはYesの確率、Scoreは順序つきルーブリック段階ごとの確率。実験は主にChoiceを1リクエスト1問で使ってる。料金は当時の jev-1.13.0 で入力100万トークンあたり$0.042、出力は無料だ。

実際のリクエストとレスポンス(論文 Figure 6 より)

// Request
{
  "model": "jev-1.13.0",
  "state": {
    "evidence": "The verified ledger records that Aster0 delivered 11 crates.",
    "claim": "Aster0 delivered 11 crates."
  },
  "questions": {
    "verdict": {
      "type": "choice",
      "instructions": "Assess the relation of the claim to the verified evidence only. ...",
      "criteria": {
        "supported":    "The evidence establishes the claim.",
        "contradicted": "The evidence establishes the claim is false.",
        "unknown":      "The evidence neither establishes nor disproves the claim."
      }
    }
  }
}

// Response
{
  "answers": { "verdict": {
    "type": "choice", "choice": "supported", "confidence": 1.0,
    "probabilities": { "contradicted": 0.0, "unknown": 0.0, "supported": 1.0 }
  }},
  "usage": { "input_tokens": 416, "output_tokens": 42 }
}
エンジニア向けメモ:この論文の「自信」の定義

JEVはネイティブの confidence も返すが、最大ラベル確率とのスピアマン相関が 0.971 / 0.999 / 0.948(RewardBench / JudgeBench / HaluEval)とほぼ同じ順序になるため、論文全体では自信 q = maxk pk(最も高いラベルの確率)を使っている。以降の「自信」「q」はすべてこれを指す。

比較対象の生成LLMにも公平を期して、同じ指示・同じ入力で「判定と各ラベルの確率をJSONで。説明は不要」と頼んでいる。つまりGPT側の確率は言葉で述べた推定値(verbalized confidence)で、JEVの分布とは出どころが違う。

03 · SETUP

実験のやり方

霊
霊夢どんな問題で勝負させたの?
魔
魔理沙「審査員の出力の形」と「審査される回答の形」を分けて考えてるのが面白いところだ。ラベルしか返さない審査員でも自由記述は評価できるからな。タスクは大きく3種類:2つの回答のどちらが良いか、根拠文書に照らして1つの回答が正しいか、選択式・数値の最終回答が正解か。
データ件数何を測るか
RewardBench400普通の好み判定(chat / 難chat / safety / reasoning 各100)
JudgeBench(GPT-4o split)350客観的な正しさ(知識・推論・数学・コード)
HaluEval(QA)240根拠文書に照らしたハルシネーション判定(120問×正答/偽答)
既存ラベル付き回答150多ターン対話後の最終回答が correct / incorrect / no_answer か
GSM8K軌跡・合成根拠(対照)108 + 64基本動作の確認(ほぼ全モデル満点)
RewardBench 2(追加)1004択から最良を選ぶ難しい選択
RM-Bench(追加)80 × 9ペア × 2順序文体の違いに惑わされないか
HaluEval 要約 / 一般応答(追加)80 + 80自然な長文。根拠あり / 根拠なし
比較した審査員(17構成)

ホスト型13:JEV 1.13、GPT-4.1 mini / 4.1 / 5.2 / 5.4 / 5.6 Sol / 6 Astra、GPT-OSS 120B・Qwen3.6 27B・Qwen3.8 27B(Groq)、Claude Sonnet 5、Gemini 3 Flash / 3.1 Pro。ローカル4:Qwen3 32B、Qwen3.5 27B(H100・非思考モード)、PairRM、Skywork-Reward-V2-Qwen3-8B(報酬モデル)。推論モデルは基本 reasoning effort = low。

不正をしないための段取り(ここが丁寧)

凍結:642件のパイロットは推論前に固定し、公開タスク部分を問題単位で 40/60 に分割。40%の「選択セット」は温度・閾値の決定だけに使う。670件の拡張セットはパイロットの精度を見る前に固定し、一度もフィットに使っていない。

無効出力はエラー扱い:スキーマ違反・ラベル外・確率の合計ずれ(許容0.025)・判定とargmaxの不一致はすべて不正解として数え、修正や再実行はしない。

統計:差の95%区間は元の問題単位のクラスタ・ブートストラップ(2,000回)。人手裁定:JEVとGPT-6の正誤が分かれた183件を、ラベルも審査員出力も伏せて著者の一人が裁定。

04 · RESULT 1

結果①:精度の総当たり表

審査員RewardBenchJudgeBenchHaluEval既存ラベル有効出力
JEV 1.1392.278.687.594.01312/1312
GPT-4.1 mini †89.064.086.284.01312/1312
GPT-4.1 †90.871.787.192.01312/1312
GPT-5.2 †92.088.989.695.31312/1312
GPT-5.493.090.988.392.71310/1312
GPT-5.6 Sol93.293.189.295.31312/1312
GPT-6 Astra93.593.186.796.71312/1312
GPT-OSS 120B87.571.187.595.31289/1312
Qwen3 32B(local)88.266.981.794.01311/1312
Qwen3.5 27B(local)90.577.485.092.71312/1312
Qwen3.6 27B87.072.383.893.31206/1312
Qwen3.8 27B93.874.387.995.31303/1312
Claude Sonnet 591.288.985.894.71308/1312
Gemini 3 Flash92.876.083.395.31312/1312
Gemini 3.1 Pro94.587.487.194.71312/1312
PairRM(local)†68.054.3––750/750

正答率(%)。無効出力はエラーとして算入。† は初期ウィンドウでの計測。各列の最高値を太字。出典:論文 Table 1。

霊
霊夢JEV、RewardBenchとHaluEvalは上位陣と互角なのに、JudgeBenchだけガクッと落ちてるわね。
魔
魔理沙そこがこの論文の核心の半分だぜ。JudgeBenchは「どっちの答えが本当に正しいか」を検算しないと判定できない問題集だ。次の節で詳しく見よう。ちなみに PairRM(古い報酬モデル)は 68.0 / 54.3 とかなり弱いが、現代的な Skywork は RewardBench 94.0 / JudgeBench 71.1 と強い。「安い審査員の比較相手が弱すぎる」という批判を避けるために入れてあるんだ。
05 · RESULT 2

結果②:得意と苦手の境界線

論文はワークロード別に「JEVで足りる/格上げすべき/事前検証が必要/誰にも無理」を整理した運用範囲表(Operating envelope)を出しています。

ワークロードJEV比較相手差 [95%CI]指針
普通の好み判定(RewardBench)92.2GPT-6 93.5−1.3 [−3.8, 1.5]JEVでOK
根拠つき事実確認(HaluEval)87.5GPT-6 86.7+0.8 [−1.3, 2.9]JEVでOK
最終回答の正誤(既存ラベル)94.0GPT-6 96.7−2.7 [−6.5, 0.7]JEVでOK
難しい正しさ(JudgeBench)78.6GPT-6 93.1−14.6 [−18.9, −10.3]格上げ
文体で騙すペア(RM-Bench hard)74.8GPT-6 94.6−19.8 [−27.7, −12.7]格上げ
同じ文体のペア(RM-Bench normal)84.0GPT-6 93.3−9.4 [−16.7, −2.9]格上げ
4択選択(RewardBench 2)73.0Skywork 79.0−6.0 [−13.0, 1.0]事前検証
根拠つき要約(HaluEval summ.)71.2GPT-5.4 72.5−1.2 [−10.0, 7.5]事前検証
根拠なし自由文(HaluEval general)52.5GPT-5.4 55.0−2.5 [−11.2, 6.2]誰も無理

比較相手は各ワークロードで最強だった審査員。出典:論文 Table 2。

その1:「互角」は人手で見直すとどうなる?

霊
霊夢HaluEvalではJEVがGPT-6に勝ってるじゃない。
魔
魔理沙ベンチマークのラベルそのものに誤りがあるから、著者らは2人の正誤が割れた問題を人手で裁定したんだ。するとRewardBenchでは29件中17件がGPT-6側、JEV側は5件(残り7件は判定不能)で、人手基準の差は −3.0 [−5.3, −0.8]。HaluEvalでは10件中8件がGPT-6側で −2.5 [−5.0, −0.4]。
魔
魔理沙さらに、2人とも「外した」HaluEvalの26件のうち24件はラベル自体が根拠に支持されていなかった。修正ラベルだとJEV 95.8%、GPT-6 98.3%。つまりHaluEvalの「引き分け」は天井付近のラベルノイズのせいでもある。どちらのラベルでも言えるのは「JEVはGPT-6の3ポイント以内」までだぜ。

その2:検算が必要な問題は本当に苦手

霊
霊夢JudgeBenchの差も、ラベルのせいだったりしない?
魔
魔理沙しない。人手裁定では69件中57件がGPT-6側、JEV側はたった1件で、差は −16.0 [−20.0, −12.3]。分野別の裁定は推論 27対0、コード 9対0、数学 7対0だ。正答率で見ても推論 68.4% 対 95.9%、コード 76.2% 対 97.6% と大差で、知識問題(84.4% 対 90.9%)が一番差が小さい。多段の導出を追って検算する力は、考える時間を使うモデルに分があるってことだな。

その3:立派な文章に騙される

魔
魔理沙RM-Benchは内容の正しさと文体(簡潔・詳細・Markdown整形など)の組み合わせを変えてくる。JEVは2つの回答が同じ文体なら84.0%だが、不正解の方がより丁寧に書かれていると74.8%まで落ちる(−9.2ポイント)。GPT-6は93.3%→94.6%でまったく動じない。
霊
霊夢見た目が立派だと信じちゃう、と。人間の審査員にもありがちね…。
魔
魔理沙論文も「正しい答えを選ぶ力」と「見せかけの文体に抵抗する力」は別の能力だとまとめてる。

その4:根拠なしの自由文は全員お手上げ

魔
魔理沙参照文書のない一般応答のハルシネーション判定では、JEV 52.5%、GPT-4.1 mini 53.8%、GPT-5.4 55.0%。ほぼコイン投げだ。怖いのはそれでも自信満々なこと。最大確率の平均は 0.90 / 0.95 / 0.96 で、JEVの誤り検出AUROCは 0.518(ランダム同然)。
霊
霊夢JEVだけの弱点じゃなくて、今の審査員全般の限界ってことね。

その5:回答形式の影響は小さめ

同じ40問のHaluEvalを選択式と自由記述で出し分けると、JEVの一致率は 100.0% → 92.5%(−7.5 [−11.7, −3.3])。一部はラベル移植時のずれ(意味的に同じでもラベル上は誤り扱い)によるもの。ワークロード間の差(最大20ポイント)に比べれば小さい。

また、選択式の回答を「参照答えと直接照合」する代わりに「参照を見せずに最終選択肢だけ抽出してコードで比較」する方式も試したが、JEVは 91.3% → 86.0% と改善しなかった(GPT-4.1 miniは 87.3% で変わらず)。抽出方式は「曖昧」判定が増え、答えを検査できる利点はあるが、精度の得にはならない。

06 · RESULT 3

結果③:速度と料金

JEV、GPT-4.1 mini、GPT-6 Astraの料金とレイテンシ1,000判定あたりの料金はJEV 0.044ドル、GPT-4.1 mini 0.390ドル、GPT-6 Astra 12.182ドル。レイテンシ中央値は0.152秒、0.548秒、1.885秒。

120判定の隔離パネル(1タスク40件、8ワーカー、開始間隔0.12秒)で計測。料金は報告されたトークン使用量×取得時点の価格による推計で、請求書ではない。料金は対数軸。出典:論文 §5「Measured latency and fees」。

霊
霊夢277倍安いって、桁が違うわね。
魔
魔理沙アブストラクトの「比較相手の料金の0.36%」はこの 1/277 のことだ。しかも$1/1,000判定未満のホスト型審査員の中では、JEVは JudgeBench で最高、HaluEval で同率最高、RewardBench で最高との差0.6ポイント以内。安い帯では一番強いと言える。
魔
魔理沙もう一つ地味に大事なのが有効出力率。JEVは1,312件すべてで契約どおりの出力を返した。Qwen3.6 27B は 1,206/1,312 で、レート制限や構造化生成エラーで落ちてる。「失敗した呼び出しは推論ミスではないが、判定でもない」という論文の言い方が的確だぜ。
07 · RESULT 4

結果④:安定性と「自信」の質

同じ質問を繰り返すと? 順番を入れ替えると?

診断JEVの結果
同一リクエストの繰り返し48例×2回=96比較で判定変化 0件
ルーブリックの言い換え48例中 4件で判定変化
候補の順序反転RewardBench 3.25%、JudgeBench 11.14% の判定が変化
両順序とも正解の率RewardBench 91.0%、JudgeBench 74.0%
1番目を選ぶ率48.9% / 48.4%(位置バイアスはほぼなし)
霊
霊夢順番を変えると判定が変わるのに、位置バイアスはないの?
魔
魔理沙JudgeBenchで不整合だった39ペアの内訳は「常に1番目」14件、「常に2番目」25件。特定の位置を好んでるわけじゃなく、難しくて決めきれない問題で揺れてると読むのが自然だ。だから後で出てくるカスケードでは、両方の順序で判定して確率を平均する設計になってる。

「当たる」ことと「自信が正直」なことは別

指標RewardBenchJudgeBenchHaluEval
Brier(JEV)↓0.1110.2970.176
Brier(GPT-6)↓0.1040.0950.245
誤り検出AUROC(JEV)↑0.8690.7450.863
誤り検出AUROC(GPT-6)↑0.8910.9070.899
魔
魔理沙Brierは「確率そのものの当たり具合(較正)」、AUROCは「間違いを自信の低さで順位づけできるか」だ。HaluEvalではJEVの方が確率としては正直(Brierが良い)なのに、誤りの順位づけはGPT-6の方が上手い。較正と誤り検出は別物ってことだぜ。
魔
魔理沙q≥0.9 の高自信ゾーンでの誤りは、HaluEvalでJEV 199件中10件、GPT-6 233件中28件。ただしJudgeBenchではJEVの高確率判定138件中9件が誤りで、自信が高くても安心はできない。
温度スケーリングは使い回せない

選択セットで温度を学習して拡張セットに当てると、JEVのNLLは HaluEval で 0.333→0.284 と改善したが、JudgeBench 0.449→0.475、RewardBench 0.205→0.232 と悪化。学習された温度も RewardBench 0.65(鋭く)、JudgeBench 2.15・HaluEval 4.45(なまらせる)と方向がバラバラ。ワークロードごとに検証が要る。

また、同じ質問を Choice / Noul / 2値 Score で聞くと確率が平均0.055ずれ、48例中1件はラベル自体が食い違った。「等価なはずのインターフェースでも一致しない」点は、公式の既知の制限とも整合する。

08 · CORE IDEA

本題:カスケード(採用 or 格上げ)

カスケードの流れ

入力をまずJEVが判定し、判定と自信qを返す。qが閾値τ以上ならJEVの判定をそのまま採用し、τ未満ならGPT-6などの強い審査員に回してその判定を採用する。

霊
霊夢JEVが苦手な問題があるのはわかった。で、どうするの?
魔
魔理沙まず、2人は違う問題で間違える。JudgeBenchではGPT-6がJEVの誤り75件のうち60件を正し、逆にJEVもGPT-6の誤り24件のうち9件を正してる。正解ラベルを見て「当たってる方」を選べる神様がいれば95.7%まで行く。でも本番ではラベルがないから、判定時点で使える信号で誤りを見つけないといけない。その信号が JEV の自信 q だ。

JEVの自信は誤りの場所を教えてくれる

JEVの自信 q の区間ごとの正答率qが0.6未満の65件で47.7%、0.7以上0.8未満の85件で76.5%、0.95以上0.99未満の147件で93.9%、q=1の322件で99.1%。同じ問題でのGPT-6は最低区間78.5%、最高区間99.1%。

RewardBench・JudgeBench・HaluEvalの990判定をJEVの最大ラベル確率 q で区切った正答率。論文本文に数値のある4区間のみ表示(他の区間は図のみで数値未記載)。GPT-6の同じ問題での正答率は、本文に記載のある最低区間と最高区間のみ。出典:論文 §7 と Figure 5。

魔
魔理沙JEVの正答率は q とともに単調に上がる。q<0.6 だと 47.7%(ほぼ当てずっぽう)、q=1 だと 99.1%。一方GPT-6は同じ問題で 78.5%→99.1% しか動かない。つまりGPT-6の優位はJEVが迷っている所に集中している。
魔
魔理沙JEVが q≥0.9 で採用する問題では 95.8% 対 96.5% とほぼ互角(人手修正ラベルでは 97.2% 対 98.5%)。格上げされる問題では 67.9% 対 82.6% とGPT-6が15ポイント上。だから「自信がある所はJEV、迷う所だけ高い審査員」が合理的になるんだ。

後付け閾値での試算(単一順序)

τ=0.9 のとき、3タスク合算で 34%を格上げ、精度 91.3%(GPT-6単体 91.7%、保持率 99.6%、差 −0.40 [−1.21, 0.31])、費用は GPT-6の47%(約 $6.3 / 1,000判定)。同じ34%をランダムに格上げすると 88.1%、正解を知っているオラクルなら 94.4%。q は得られる改善の約半分を拾えている。

タスク別では、RewardBench でカスケードが GPT-6単体を上回り(94.0% 対 93.5%、費用22%)、JudgeBench は平均 q が 0.81 と低いため 61%を格上げして保持率 98.2%(費用62%)、τ=0.95 なら 99.1%(費用74%)。HaluEval は元ラベルでは動かないが(低自信の問題の多くがラベル誤り)、人手修正ラベルでは τ=0.8 で11%格上げ、GPT-6と同じ98.3%を費用13%で達成。

格上げ先は最高級でなくてもよく、GPT-5.6 Sol を使った τ=0.9 のカスケードは合算 91.9%、約 $3.4 / 1,000判定。

注意:これらの閾値は評価に使った同じデータから読み取ったもの(後付け)。事前に固定した検証は次の「凍結ポリシー」の方。

本番想定:両順序平均+凍結閾値

霊
霊夢「両順序平均」って何?
魔
魔理沙ペア比較では、(A, B) の順と (B, A) の順の両方でJEVに聞いて、回答Aが良いという確率をそろえて平均するんだ。p₁(x, y) を「x を先に見せたとき先頭が良い確率」とすると:
p̄(A) = ½ · [ p₁(A, B) + 1 − p₁(B, A) ]
魔
魔理沙この p̄ の最大値を自信として閾値判定する。閾値は選択セット96ペアで「格上げ先の精度から2ポイント以内に収まる範囲で、採用率が最大になる値」を選び、拡張セット510ペアで評価した。JEV側が無効出力なら必ず格上げだ。
格上げ先τ採用率カスケード精度格上げ先単体差 [95%区間]費用比
GPT-5.40.9053.7%91.491.6−0.2 [−1.2, 0.8]0.639 / 1.096
GPT-5.6 Sol0.7081.0%91.093.3−2.4 [−4.5, −0.2]0.288 / 0.380
GPT-6 Astra0.9053.7%92.593.1−0.6 [−1.8, 0.6]0.568 / 0.622

費用比は「報告使用量ベース / 使用量欠損を保守的に見積もった上限」。JEVの2順序ぶんの費用を含む。オフラインのシミュレーション。出典:論文 Table 3。

霊
霊夢GPT-6なら精度 −0.6 で費用56.8%。いい感じね。でもGPT-5.6の行は差が−2.4で、許容の2ポイントを超えてるじゃない。
魔
魔理沙よく気づいたな。選択セットで決めた閾値がいつも移植できるわけではないという失敗例として、論文も正直に出してる。他にも τ=0.5 が選ばれて格上げ先を一切使わない(順序平均だけになる)ポリシーが3つあった。GPT-5.4の上限費用比が1を超えるのは、使用量が欠けた呼び出しを保守的に上乗せしてるからだ。

実装イメージ(説明用の擬似コード)

# 論文の手順を擬似コードにしたもの(公式実装ではありません)
def judge_pair(question, a, b, tau=0.90):
    r1 = jev.choice(state={"q": question, "A": a, "B": b}, labels=["A", "B"])
    r2 = jev.choice(state={"q": question, "A": b, "B": a}, labels=["A", "B"])
    if not (valid(r1) and valid(r2)):
        return strong_judge(question, a, b)         # 無効出力は必ず格上げ
    p_a = 0.5 * (r1.p["A"] + 1 - r2.p["A"])         # 両順序で「aが良い」確率を平均
    q = max(p_a, 1 - p_a)                            # 自信 = 最大ラベル確率
    if q >= tau:
        return ("a" if p_a > 0.5 else "b"), "accepted"
    return strong_judge(question, a, b), "escalated"  # GPT-6 など
09 · INTERACTIVE

τシミュレーター

論文に数値が記載されている設定だけを収録しています。ワークロードを選び、スライダーで閾値 τ を動かすと、採用/格上げの割合、精度、費用比が切り替わります。記載のない値は「—」と表示します。

格上げ先の精度に対する保持率
—
費用比(格上げ先単体=1)
報告値 / 保守的見積り
—
評価の種類
—
—
JEVのみ
—
格上げ先のみ
—
カスケード
—

JEVは $0.044 / 1,000判定、格上げ先の初期値は GPT-6 Astra の $12.18(どちらも120件パネルでの実測推計)。カスケードは「JEVの料金(凍結ポリシーは2順序分)+ 論文の費用比からJEV分を除いた比率 × 格上げ先単体の料金」で概算。格上げされる問題は入力が長い傾向があり、費用比は格上げ率より高く出ます(合算 τ=0.9 では格上げ34%に対し費用47%)。ワークロードで入力長が変わるため、論文の合算値(約 $6.3 / 1,000判定)とは一致しません。

10 · CAVEAT

自信が当てにならない場所

霊
霊夢じゃあ全部カスケードにすればいいのね?
魔
魔理沙そう単純じゃない。カスケードが効くのは「JEVが間違えるときに迷っている」からだ。自信満々で騙される場面では効かない。
RM-Bench の難易度q の誤り検出 AUROCτ=0.9 カスケードの保持率
easy0.918—
normal(同じ文体)0.90299.6%
hard(不正解の方が丁寧)0.77096.5%(90.8% 対 94.2%)
魔
魔理沙hardペアでは、JEVが q∈[0.9, 0.95) と答えたものの3分の1、q∈[0.95, 0.99) でも15%が不正解。98.7%まで戻すには τ=0.95 にして58%を格上げする必要がある。根拠なし自由文ではAUROC 0.518で、どんな閾値も役に立たない。
霊
霊夢「迷ってる」は信じていいけど、「自信ある」を鵜呑みにしちゃダメ、ってことね。
魔
魔理沙論文の言葉では「自信は格上げの信号であって、正しさの証明書ではない」。実際に流すデータと同じ種類のペアでカスケードを検証しろ、ってのが結論だぜ。
11 · TAKEAWAYS

実務チェックリスト

論文の結論にある5項目です。評価パイプラインやCIでLLM審査員を回すときの設計指針としてそのまま使えます。

  1. ペア比較は両順序で判定し、確率をそろえて平均する。順序反転で JudgeBench の判定が11%変わる。
  2. 格上げ閾値は自分の選択セットで決め、別の保留データで再確認する。GPT-5.6 のように移植に失敗する例がある。
  3. 審査員を比べるときは無効出力もエラーとして数える。有効出力の中だけの精度は実運用を過大評価する。
  4. 自信は格上げの信号として扱い、証明書として扱わない。文体で騙すペアで確認し、温度スケーリングもワークロードごとに検証する。
  5. 新しいワークロードに広げる前に、小さなローカル検証を回す。運用範囲表の外では何も保証されない。
使いどころの早見

JEV単体で十分 参照答えや根拠文書がある判定、普通の好み比較、最終回答の正誤チェック

カスケードかGPT級へ コード・数学・多段推論の正誤、見栄えの良い誤答が混ざるデータ

自動審査に頼らない 参照なしの自由文のハルシネーション判定(全審査員がほぼチャンスレベル)

論文全体の締めの一文は「使える判定、正しい判定、信頼できる不確かさは3つの別物で、それぞれ確認が要る」。

12 · LIMITATIONS

この論文の限界

霊
霊夢いいことずくめに聞こえるけど、割り引いて読むべき点は?
魔
魔理沙著者ら自身がかなり細かく書いてる。主なものを挙げるぜ。

JEVはブラックボックス:プロプライエタリな1バージョン(1.13)の評価。学習データとベンチマークの重複(汚染)は不明。モデルサイズや推論量も揃っていないので、アーキテクチャ同士の公平な比較ではない。

多モデル比較は探索的:初期結果を見た後にモデル群を追加しているため、拡張セット自体は保留データでも、多ファミリー比較は事前登録された検証ではない。

人手裁定は1人:183件すべてを著者の一人が裁定(項目単位の結果は非公開状態で)。RewardBenchの好みは主観的で、人とLLMの一致度 κ=0.29、183件中36件は判定不能。

サンプルが小さい:RewardBench 2 と RM-Bench は小さなバランス標本。レイテンシは1拠点・120件で、テール推定は粗い。料金は請求書ではなく推計。

カスケードはオフライン試算:実際の逐次呼び出しでのレイテンシは未計測。単一順序の結果は後付け閾値で、事前固定の検証は両順序ポリシーのみ。専門領域(医療・法務など)は未検証。

判定のみ:理由説明の生成や、その説明の忠実性は評価対象外。

13 · GLOSSARY

用語集

LLM-as-a-judge
LLMにルーブリックを渡して、他のモデルの回答を採点・比較させる評価手法。
カスケード
安いモデルで先に処理し、条件を満たさない入力だけ高いモデルに回す多段構成。FrugalGPT などが先行研究。
q(自信)
最も確率の高いラベルの確率。2択なら 0.5〜1。
τ(閾値)
q がこれ以上なら採用、未満なら格上げ。
Brier score
予測確率と実際(0/1)の二乗誤差。小さいほど確率として正直。
NLL
負の対数尤度。自信満々で外すと大きく罰される。
ECE
期待較正誤差。「80%と言ったら80%当たるか」のずれを区間ごとに平均したもの。
AUROC(誤り検出)
1−q を誤りのスコアとして、誤りと正解をどれだけ分けられるか。0.5でランダム、1で完璧。
温度スケーリング
ロジットを温度 T で割って確率の鋭さを調整する事後較正。T<1で鋭く、T>1でなまる。
選択的予測
自信の低い入力は答えずに保留(または委譲)し、カバー率とリスクを交換する考え方。
クラスタ・ブートストラップ
同じ元問題から派生した判定をまとめて再標本化し、相関を考慮した信頼区間を出す方法。
凍結(frozen)
結果を見る前にデータ・閾値・ルールを固定し、後から都合よく変えないこと。