3行でいうと
- JEV(TypeSafe社のホスト型「判定専用」モデル)は、普通の好み判定や根拠つき事実確認なら、最強のLLM審査員 GPT-6 Astra と3ポイント以内の精度を出す。料金は約1/277。
- 一方、推論の検算が必要な問題や、立派に書かれた誤答を見抜く問題では 9〜20ポイント負ける。
- JEVは「間違えるときは自信が低い」傾向があるので、自信が高ければ採用、低ければGPT-6へ回すカスケードで、GPT-6の精度の約99%を約57%の費用で出せた。
背景:LLM審査員の2つの悩み
①コスト:推論モデルは長く考えるほど賢くなるけど、思考トークンぶん料金もレイテンシも増える。モデル改修のたびに何千件も評価し直すと、審査員の費用が開発費に直結する。
②自信の信頼性:LLMに「どれくらい自信ある?」と聞くと、間違っているのに高い確率を言うことがある(過信)。どの判定を信じてよいかわからないと、人やもっと強いモデルに回す判断ができない。
JEVとは何者か
Choiceは指定ラベル上の確率分布、NoulはYesの確率、Scoreは順序つきルーブリック段階ごとの確率。実験は主にChoiceを1リクエスト1問で使ってる。料金は当時の jev-1.13.0 で入力100万トークンあたり$0.042、出力は無料だ。実際のリクエストとレスポンス(論文 Figure 6 より)
// Request { "model": "jev-1.13.0", "state": { "evidence": "The verified ledger records that Aster0 delivered 11 crates.", "claim": "Aster0 delivered 11 crates." }, "questions": { "verdict": { "type": "choice", "instructions": "Assess the relation of the claim to the verified evidence only. ...", "criteria": { "supported": "The evidence establishes the claim.", "contradicted": "The evidence establishes the claim is false.", "unknown": "The evidence neither establishes nor disproves the claim." } } } } // Response { "answers": { "verdict": { "type": "choice", "choice": "supported", "confidence": 1.0, "probabilities": { "contradicted": 0.0, "unknown": 0.0, "supported": 1.0 } }}, "usage": { "input_tokens": 416, "output_tokens": 42 } }
JEVはネイティブの confidence も返すが、最大ラベル確率とのスピアマン相関が 0.971 / 0.999 / 0.948(RewardBench / JudgeBench / HaluEval)とほぼ同じ順序になるため、論文全体では自信 q = maxk pk(最も高いラベルの確率)を使っている。以降の「自信」「q」はすべてこれを指す。
比較対象の生成LLMにも公平を期して、同じ指示・同じ入力で「判定と各ラベルの確率をJSONで。説明は不要」と頼んでいる。つまりGPT側の確率は言葉で述べた推定値(verbalized confidence)で、JEVの分布とは出どころが違う。
実験のやり方
| データ | 件数 | 何を測るか |
|---|---|---|
| RewardBench | 400 | 普通の好み判定(chat / 難chat / safety / reasoning 各100) |
| JudgeBench(GPT-4o split) | 350 | 客観的な正しさ(知識・推論・数学・コード) |
| HaluEval(QA) | 240 | 根拠文書に照らしたハルシネーション判定(120問×正答/偽答) |
| 既存ラベル付き回答 | 150 | 多ターン対話後の最終回答が correct / incorrect / no_answer か |
| GSM8K軌跡・合成根拠(対照) | 108 + 64 | 基本動作の確認(ほぼ全モデル満点) |
| RewardBench 2(追加) | 100 | 4択から最良を選ぶ難しい選択 |
| RM-Bench(追加) | 80 × 9ペア × 2順序 | 文体の違いに惑わされないか |
| HaluEval 要約 / 一般応答(追加) | 80 + 80 | 自然な長文。根拠あり / 根拠なし |
ホスト型13:JEV 1.13、GPT-4.1 mini / 4.1 / 5.2 / 5.4 / 5.6 Sol / 6 Astra、GPT-OSS 120B・Qwen3.6 27B・Qwen3.8 27B(Groq)、Claude Sonnet 5、Gemini 3 Flash / 3.1 Pro。ローカル4:Qwen3 32B、Qwen3.5 27B(H100・非思考モード)、PairRM、Skywork-Reward-V2-Qwen3-8B(報酬モデル)。推論モデルは基本 reasoning effort = low。
凍結:642件のパイロットは推論前に固定し、公開タスク部分を問題単位で 40/60 に分割。40%の「選択セット」は温度・閾値の決定だけに使う。670件の拡張セットはパイロットの精度を見る前に固定し、一度もフィットに使っていない。
無効出力はエラー扱い:スキーマ違反・ラベル外・確率の合計ずれ(許容0.025)・判定とargmaxの不一致はすべて不正解として数え、修正や再実行はしない。
統計:差の95%区間は元の問題単位のクラスタ・ブートストラップ(2,000回)。人手裁定:JEVとGPT-6の正誤が分かれた183件を、ラベルも審査員出力も伏せて著者の一人が裁定。
結果①:精度の総当たり表
| 審査員 | RewardBench | JudgeBench | HaluEval | 既存ラベル | 有効出力 |
|---|---|---|---|---|---|
| JEV 1.13 | 92.2 | 78.6 | 87.5 | 94.0 | 1312/1312 |
| GPT-4.1 mini † | 89.0 | 64.0 | 86.2 | 84.0 | 1312/1312 |
| GPT-4.1 † | 90.8 | 71.7 | 87.1 | 92.0 | 1312/1312 |
| GPT-5.2 † | 92.0 | 88.9 | 89.6 | 95.3 | 1312/1312 |
| GPT-5.4 | 93.0 | 90.9 | 88.3 | 92.7 | 1310/1312 |
| GPT-5.6 Sol | 93.2 | 93.1 | 89.2 | 95.3 | 1312/1312 |
| GPT-6 Astra | 93.5 | 93.1 | 86.7 | 96.7 | 1312/1312 |
| GPT-OSS 120B | 87.5 | 71.1 | 87.5 | 95.3 | 1289/1312 |
| Qwen3 32B(local) | 88.2 | 66.9 | 81.7 | 94.0 | 1311/1312 |
| Qwen3.5 27B(local) | 90.5 | 77.4 | 85.0 | 92.7 | 1312/1312 |
| Qwen3.6 27B | 87.0 | 72.3 | 83.8 | 93.3 | 1206/1312 |
| Qwen3.8 27B | 93.8 | 74.3 | 87.9 | 95.3 | 1303/1312 |
| Claude Sonnet 5 | 91.2 | 88.9 | 85.8 | 94.7 | 1308/1312 |
| Gemini 3 Flash | 92.8 | 76.0 | 83.3 | 95.3 | 1312/1312 |
| Gemini 3.1 Pro | 94.5 | 87.4 | 87.1 | 94.7 | 1312/1312 |
| PairRM(local)† | 68.0 | 54.3 | – | – | 750/750 |
正答率(%)。無効出力はエラーとして算入。† は初期ウィンドウでの計測。各列の最高値を太字。出典:論文 Table 1。
結果②:得意と苦手の境界線
論文はワークロード別に「JEVで足りる/格上げすべき/事前検証が必要/誰にも無理」を整理した運用範囲表(Operating envelope)を出しています。
| ワークロード | JEV | 比較相手 | 差 [95%CI] | 指針 |
|---|---|---|---|---|
| 普通の好み判定(RewardBench) | 92.2 | GPT-6 93.5 | −1.3 [−3.8, 1.5] | JEVでOK |
| 根拠つき事実確認(HaluEval) | 87.5 | GPT-6 86.7 | +0.8 [−1.3, 2.9] | JEVでOK |
| 最終回答の正誤(既存ラベル) | 94.0 | GPT-6 96.7 | −2.7 [−6.5, 0.7] | JEVでOK |
| 難しい正しさ(JudgeBench) | 78.6 | GPT-6 93.1 | −14.6 [−18.9, −10.3] | 格上げ |
| 文体で騙すペア(RM-Bench hard) | 74.8 | GPT-6 94.6 | −19.8 [−27.7, −12.7] | 格上げ |
| 同じ文体のペア(RM-Bench normal) | 84.0 | GPT-6 93.3 | −9.4 [−16.7, −2.9] | 格上げ |
| 4択選択(RewardBench 2) | 73.0 | Skywork 79.0 | −6.0 [−13.0, 1.0] | 事前検証 |
| 根拠つき要約(HaluEval summ.) | 71.2 | GPT-5.4 72.5 | −1.2 [−10.0, 7.5] | 事前検証 |
| 根拠なし自由文(HaluEval general) | 52.5 | GPT-5.4 55.0 | −2.5 [−11.2, 6.2] | 誰も無理 |
比較相手は各ワークロードで最強だった審査員。出典:論文 Table 2。
その1:「互角」は人手で見直すとどうなる?
その2:検算が必要な問題は本当に苦手
その3:立派な文章に騙される
その4:根拠なしの自由文は全員お手上げ
その5:回答形式の影響は小さめ
同じ40問のHaluEvalを選択式と自由記述で出し分けると、JEVの一致率は 100.0% → 92.5%(−7.5 [−11.7, −3.3])。一部はラベル移植時のずれ(意味的に同じでもラベル上は誤り扱い)によるもの。ワークロード間の差(最大20ポイント)に比べれば小さい。
また、選択式の回答を「参照答えと直接照合」する代わりに「参照を見せずに最終選択肢だけ抽出してコードで比較」する方式も試したが、JEVは 91.3% → 86.0% と改善しなかった(GPT-4.1 miniは 87.3% で変わらず)。抽出方式は「曖昧」判定が増え、答えを検査できる利点はあるが、精度の得にはならない。
結果③:速度と料金
120判定の隔離パネル(1タスク40件、8ワーカー、開始間隔0.12秒)で計測。料金は報告されたトークン使用量×取得時点の価格による推計で、請求書ではない。料金は対数軸。出典:論文 §5「Measured latency and fees」。
結果④:安定性と「自信」の質
同じ質問を繰り返すと? 順番を入れ替えると?
| 診断 | JEVの結果 |
|---|---|
| 同一リクエストの繰り返し | 48例×2回=96比較で判定変化 0件 |
| ルーブリックの言い換え | 48例中 4件で判定変化 |
| 候補の順序反転 | RewardBench 3.25%、JudgeBench 11.14% の判定が変化 |
| 両順序とも正解の率 | RewardBench 91.0%、JudgeBench 74.0% |
| 1番目を選ぶ率 | 48.9% / 48.4%(位置バイアスはほぼなし) |
「当たる」ことと「自信が正直」なことは別
| 指標 | RewardBench | JudgeBench | HaluEval |
|---|---|---|---|
| Brier(JEV)↓ | 0.111 | 0.297 | 0.176 |
| Brier(GPT-6)↓ | 0.104 | 0.095 | 0.245 |
| 誤り検出AUROC(JEV)↑ | 0.869 | 0.745 | 0.863 |
| 誤り検出AUROC(GPT-6)↑ | 0.891 | 0.907 | 0.899 |
選択セットで温度を学習して拡張セットに当てると、JEVのNLLは HaluEval で 0.333→0.284 と改善したが、JudgeBench 0.449→0.475、RewardBench 0.205→0.232 と悪化。学習された温度も RewardBench 0.65(鋭く)、JudgeBench 2.15・HaluEval 4.45(なまらせる)と方向がバラバラ。ワークロードごとに検証が要る。
また、同じ質問を Choice / Noul / 2値 Score で聞くと確率が平均0.055ずれ、48例中1件はラベル自体が食い違った。「等価なはずのインターフェースでも一致しない」点は、公式の既知の制限とも整合する。
本題:カスケード(採用 or 格上げ)
カスケードの流れ
入力をまずJEVが判定し、判定と自信qを返す。qが閾値τ以上ならJEVの判定をそのまま採用し、τ未満ならGPT-6などの強い審査員に回してその判定を採用する。
$0.044 / 1k
JEVの自信は誤りの場所を教えてくれる
RewardBench・JudgeBench・HaluEvalの990判定をJEVの最大ラベル確率 q で区切った正答率。論文本文に数値のある4区間のみ表示(他の区間は図のみで数値未記載)。GPT-6の同じ問題での正答率は、本文に記載のある最低区間と最高区間のみ。出典:論文 §7 と Figure 5。
後付け閾値での試算(単一順序)
τ=0.9 のとき、3タスク合算で 34%を格上げ、精度 91.3%(GPT-6単体 91.7%、保持率 99.6%、差 −0.40 [−1.21, 0.31])、費用は GPT-6の47%(約 $6.3 / 1,000判定)。同じ34%をランダムに格上げすると 88.1%、正解を知っているオラクルなら 94.4%。q は得られる改善の約半分を拾えている。
タスク別では、RewardBench でカスケードが GPT-6単体を上回り(94.0% 対 93.5%、費用22%)、JudgeBench は平均 q が 0.81 と低いため 61%を格上げして保持率 98.2%(費用62%)、τ=0.95 なら 99.1%(費用74%)。HaluEval は元ラベルでは動かないが(低自信の問題の多くがラベル誤り)、人手修正ラベルでは τ=0.8 で11%格上げ、GPT-6と同じ98.3%を費用13%で達成。
格上げ先は最高級でなくてもよく、GPT-5.6 Sol を使った τ=0.9 のカスケードは合算 91.9%、約 $3.4 / 1,000判定。
注意:これらの閾値は評価に使った同じデータから読み取ったもの(後付け)。事前に固定した検証は次の「凍結ポリシー」の方。
本番想定:両順序平均+凍結閾値
p̄(A) = ½ · [ p₁(A, B) + 1 − p₁(B, A) ]
| 格上げ先 | τ | 採用率 | カスケード精度 | 格上げ先単体 | 差 [95%区間] | 費用比 |
|---|---|---|---|---|---|---|
| GPT-5.4 | 0.90 | 53.7% | 91.4 | 91.6 | −0.2 [−1.2, 0.8] | 0.639 / 1.096 |
| GPT-5.6 Sol | 0.70 | 81.0% | 91.0 | 93.3 | −2.4 [−4.5, −0.2] | 0.288 / 0.380 |
| GPT-6 Astra | 0.90 | 53.7% | 92.5 | 93.1 | −0.6 [−1.8, 0.6] | 0.568 / 0.622 |
費用比は「報告使用量ベース / 使用量欠損を保守的に見積もった上限」。JEVの2順序ぶんの費用を含む。オフラインのシミュレーション。出典:論文 Table 3。
実装イメージ(説明用の擬似コード)
# 論文の手順を擬似コードにしたもの(公式実装ではありません) def judge_pair(question, a, b, tau=0.90): r1 = jev.choice(state={"q": question, "A": a, "B": b}, labels=["A", "B"]) r2 = jev.choice(state={"q": question, "A": b, "B": a}, labels=["A", "B"]) if not (valid(r1) and valid(r2)): return strong_judge(question, a, b) # 無効出力は必ず格上げ p_a = 0.5 * (r1.p["A"] + 1 - r2.p["A"]) # 両順序で「aが良い」確率を平均 q = max(p_a, 1 - p_a) # 自信 = 最大ラベル確率 if q >= tau: return ("a" if p_a > 0.5 else "b"), "accepted" return strong_judge(question, a, b), "escalated" # GPT-6 など
τシミュレーター
論文に数値が記載されている設定だけを収録しています。ワークロードを選び、スライダーで閾値 τ を動かすと、採用/格上げの割合、精度、費用比が切り替わります。記載のない値は「—」と表示します。
報告値 / 保守的見積り
JEVは $0.044 / 1,000判定、格上げ先の初期値は GPT-6 Astra の $12.18(どちらも120件パネルでの実測推計)。カスケードは「JEVの料金(凍結ポリシーは2順序分)+ 論文の費用比からJEV分を除いた比率 × 格上げ先単体の料金」で概算。格上げされる問題は入力が長い傾向があり、費用比は格上げ率より高く出ます(合算 τ=0.9 では格上げ34%に対し費用47%)。ワークロードで入力長が変わるため、論文の合算値(約 $6.3 / 1,000判定)とは一致しません。
自信が当てにならない場所
| RM-Bench の難易度 | q の誤り検出 AUROC | τ=0.9 カスケードの保持率 |
|---|---|---|
| easy | 0.918 | — |
| normal(同じ文体) | 0.902 | 99.6% |
| hard(不正解の方が丁寧) | 0.770 | 96.5%(90.8% 対 94.2%) |
実務チェックリスト
論文の結論にある5項目です。評価パイプラインやCIでLLM審査員を回すときの設計指針としてそのまま使えます。
- ペア比較は両順序で判定し、確率をそろえて平均する。順序反転で JudgeBench の判定が11%変わる。
- 格上げ閾値は自分の選択セットで決め、別の保留データで再確認する。GPT-5.6 のように移植に失敗する例がある。
- 審査員を比べるときは無効出力もエラーとして数える。有効出力の中だけの精度は実運用を過大評価する。
- 自信は格上げの信号として扱い、証明書として扱わない。文体で騙すペアで確認し、温度スケーリングもワークロードごとに検証する。
- 新しいワークロードに広げる前に、小さなローカル検証を回す。運用範囲表の外では何も保証されない。
JEV単体で十分 参照答えや根拠文書がある判定、普通の好み比較、最終回答の正誤チェック
カスケードかGPT級へ コード・数学・多段推論の正誤、見栄えの良い誤答が混ざるデータ
自動審査に頼らない 参照なしの自由文のハルシネーション判定(全審査員がほぼチャンスレベル)
論文全体の締めの一文は「使える判定、正しい判定、信頼できる不確かさは3つの別物で、それぞれ確認が要る」。
この論文の限界
JEVはブラックボックス:プロプライエタリな1バージョン(1.13)の評価。学習データとベンチマークの重複(汚染)は不明。モデルサイズや推論量も揃っていないので、アーキテクチャ同士の公平な比較ではない。
多モデル比較は探索的:初期結果を見た後にモデル群を追加しているため、拡張セット自体は保留データでも、多ファミリー比較は事前登録された検証ではない。
人手裁定は1人:183件すべてを著者の一人が裁定(項目単位の結果は非公開状態で)。RewardBenchの好みは主観的で、人とLLMの一致度 κ=0.29、183件中36件は判定不能。
サンプルが小さい:RewardBench 2 と RM-Bench は小さなバランス標本。レイテンシは1拠点・120件で、テール推定は粗い。料金は請求書ではなく推計。
カスケードはオフライン試算:実際の逐次呼び出しでのレイテンシは未計測。単一順序の結果は後付け閾値で、事前固定の検証は両順序ポリシーのみ。専門領域(医療・法務など)は未検証。
判定のみ:理由説明の生成や、その説明の忠実性は評価対象外。
用語集
- LLM-as-a-judge
- LLMにルーブリックを渡して、他のモデルの回答を採点・比較させる評価手法。
- カスケード
- 安いモデルで先に処理し、条件を満たさない入力だけ高いモデルに回す多段構成。FrugalGPT などが先行研究。
- q(自信)
- 最も確率の高いラベルの確率。2択なら 0.5〜1。
- τ(閾値)
- q がこれ以上なら採用、未満なら格上げ。
- Brier score
- 予測確率と実際(0/1)の二乗誤差。小さいほど確率として正直。
- NLL
- 負の対数尤度。自信満々で外すと大きく罰される。
- ECE
- 期待較正誤差。「80%と言ったら80%当たるか」のずれを区間ごとに平均したもの。
- AUROC(誤り検出)
- 1−q を誤りのスコアとして、誤りと正解をどれだけ分けられるか。0.5でランダム、1で完璧。
- 温度スケーリング
- ロジットを温度 T で割って確率の鋭さを調整する事後較正。T<1で鋭く、T>1でなまる。
- 選択的予測
- 自信の低い入力は答えずに保留(または委譲)し、カバー率とリスクを交換する考え方。
- クラスタ・ブートストラップ
- 同じ元問題から派生した判定をまとめて再標本化し、相関を考慮した信頼区間を出す方法。
- 凍結(frozen)
- 結果を見る前にデータ・閾値・ルールを固定し、後から都合よく変えないこと。