TEST STRATEGY × JEV

テスト戦略の
if / switchを、Jevに相談する

人間がコードを書く前後に行ってきた「どのテストを回すか」「この失敗をどう読むか」「何を追加で確かめるか」という判断を、Jevへの問いに変える。ただし、最終的な合否・権限・安全側への退避は決定的なコードに残す。

  • 既存の七枚の網は維持
  • Jevは推薦・分類を担当
  • 不明は安全側へ倒す
  • Shadow Modeから始める
コードが状態を作る diff / test inventory / fixture / redaction Jevへ意味のある問いを投げる choice / score / unknown + reason コード側がgateする threshold / margin / fallback / audit テスト実行とreceipt
判断を分解すると、Jevを使う場所と使わない場所が見える。

先に結論:導入できる。ただし「合否判定器」にはしない

Jevは、構文解析やテスト実行の代わりではない。人間が経験と文脈で行ってきた、候補の絞り込み・意味の分類・優先順位付けを、型のある回答として返す部品にするとテスト戦略へ差し込める。

提案:最初の導入先は、テストを減らす仕組みではなく、テストを選び、失敗を分類し、追加検証を提案するShadow Mode。Jevの回答はrecommendationとして記録し、既存のテスト結果や決定的なルールと比較する。

この境界なら、Jevが不明・timeout・outageになっても通常の安全なテストフローを壊さず、判断の質とコストを測りながら段階的に自動化できる。

Jevに寄せる

意味を読む判断

変更とテストの影響関係、失敗ログの意味、仕様とテストのズレ、追加すべき境界例の候補。

コードに残す

決定的な責務

対象抽出、テスト発見、schema検証、閾値、最終exit code、必須テスト、権限、秘密の除外。

人へ戻す

危険な不確実性

回答が割れる場合、入力stateが足りない場合、破壊的操作やCI blockingに関わる場合はdeferしてレビューへ。

代替するのは、判定文ではなく「問いを作る作業」

Jevをif文の置き換えとして考えると、責務が広がりすぎる。置き換える対象は、if文へ入れる前に人間が行っている「何を見ればよいか」「どの候補を比較するか」「この結果をどう説明するか」の作業だ。

判断の種類人間がこれまでしていたことJevへ聞く問い最終的に決めるもの
テスト候補変更箇所とテストの関係を読み、優先順をつけるこのdiffが影響しそうなテストはどれか必須テストと実行順はコード+ポリシー
失敗分類ログ・diff・履歴を見て原因の仮説を立てるこの失敗は実装・環境・フレークのどれに近いか再試行、停止、担当者通知はコード+人間
追加ケース仕様と既存テストを読み、抜けた境界を考えるこの仕様に対して未検証の境界例は何か実行可能なtest codeは人間のレビュー後
ミューテーション生き残った変異を読み、重要度と追加テストを判断するこの変異は本当の検証漏れか、等価かスコア反映・閾値変更は決定的ルール
リリースリスク変更範囲・証拠・過去障害をまとめて判断する今回の証拠から、追加確認が必要なリスクは何かリリース停止やrollbackはSLO・policy
原則:決定的に解けるものはJevへ送らない。型、schema、静的解析、テスト実行、カバレッジ計算、exit codeは安定した機械に任せ、Jevには意味の曖昧さだけを渡す。

七枚の網に、判断レイヤーを差し込む

既存のテスト戦略に新しい網を一枚足すのではなく、各網の前後にある判断を薄いJevレイヤーで補助する。テストそのものの信頼性を落とさず、網が何を捕まえたかを説明しやすくする。

1. Collectdiff、テスト一覧、仕様、過去結果を集める
2. Normalize対象とstateをコードで要約・redactする
3. AskJevへtyped questionをbatchで投げる
4. Gatethreshold・margin・fallbackをコードで判定
5. Runテストを実行し、回答と結果をreceipt化
網Jevに相談できること相談しないこと安全な着地点
静的解析規約違反の意味的な優先順位、review signal型、構文、依存方向の検証warning中心。exit codeは静的解析
単体境界値・異常系の追加候補assertionの合否、coverage計算候補をfixture化し、人間レビュー後に実装
ミューテーション生存変異の分類と追加テストの提案変異を殺したとみなす判定mutation resultとJev回答を別々に記録
契約変更が影響しそうなconsumer・契約の候補schema互換性の検証全必須契約は決定的に実行
統合失敗の原因候補、追加の障害注入候補DB・queue・networkの実際の整合環境結果を根拠として保存
E2E変更に近いcritical journeyの優先順位必須導線の省略、成功判定critical pathは常に実行
本番検証アラートの関連事象の分類、調査の次の一手SLO判定、rollback、権限変更運用policyが最終判断を保持

最初に試せる適用候補

価値が出やすく、失敗しても本番コードの実行を直接変えない順に並べる。共通するのは、Jevの提案を見なくても既存フローが成立することだ。

P1 · Shadow

差分からテスト候補を選ぶ

問い:今回のdiffに影響しそうなテストを、理由付きで順位づけできるか。

出力:test id、score、reason、confidence、候補漏れの有無。

ガード:必須suiteは省略しない。Jevは追加実行候補と並び順だけを提案する。

P1 · Review aid

ミューテーション生存変異を読む

問い:生き残った変異は検証漏れか、等価変異か、対象外か。

出力:分類、根拠、追加テスト案、確信度。

ガード:mutation scoreの計算と閾値は既存runnerが持ち、回答だけをreview signalにする。

P1 · Shadow

仕様・実装・テストのズレを探す

問い:説明・実装・テストが同じ振る舞いを主張しているか。

出力:矛盾箇所、対象行、検証すべき主張。

ガード:最初はCIを赤くせず、誤検出率と有用検出率をrule単位で測る。

P2 · Triage

フレークの仮説を分類する

問い:時間・順序・共有状態・外部依存のどれが失敗と整合するか。

出力:原因候補、再現手順、追加ログの提案。

ガード:自動retryやskipの理由にはしない。skipは別の人間承認が必要。

P2 · Planning

契約・E2Eの焦点を絞る

問い:変更に近いconsumerやcritical journeyはどれか。

出力:優先順位と、見落としがありそうな境界。

ガード:全必須契約とcritical journeyは必ず残し、Jevは追加の観測を増やす。

P2 · Operations

本番後の調査を補助する

問い:アラートと直近変更・テスト証拠の組み合わせから、次に見るべき証拠は何か。

出力:調査順、関連receipt、再現用fixtureの候補。

ガード:SLO判定・rollback・権限操作は既存の運用policyから切り離さない。

Jevとの境界をDecision Contractにする

Jevを便利な関数として直接呼ぶと、問い・state・閾値・fallbackが各機能に散らばる。テスト判断を共通の契約にして、回答がなくてもコード側のgateだけで再現できるようにする。

送ってよいstate

  • 変更ファイルの要約、テストID、schema・契約の版
  • 過去の結果、mutationの種別、必要最小限のログ
  • redaction済みの仕様断片と、状態のdigest
  • 問いのversion、候補集合、予算、実行モード

境界の外に置くもの

  • 秘密、API key、会話全文、巨大な生ログ
  • テストの必須・禁止ポリシーそのもの
  • 最終exit code、rollback、権限付与
  • Jevのconfidenceだけで決めるallow
{
  "kind": "test-impact",
  "contract_version": "score.v1",
  "question_version": "impact.2026-09",
  "state_digest": "sha256:…",
  "answer": { "items": ["unit.auth.12"], "score": 3.4, "confidence": 0.78 },
  "decision": { "status": "recommend", "margin": 0.21 },
  "fallback": "run-required-suite",
  "cost": { "calls": 1, "tokens": 812, "latency_ms": 427 },
  "replay_id": "replay_…"
}
unknownは失敗ではなく、重要な結果。 timeout・outage・入力不足・回答の割れを「テスト不要」へ変換しない。必須suiteを実行する、deferする、または人間レビューへ戻す。

実行フロー:Jevはテストパイプラインの横に置く

Jevの相談が落ちても通常のテストが続く構成から始める。Jevの結果は実行経路を上書きするのではなく、既存結果と並ぶ証拠にする。

決定的な準備 意味判定 実行と記録 diff / test discovery state builder / redact question + batch Jev answer code-side gate required tests recommended tests results / compare receipt / replay
collect → discover tests, schema, fixtures, prior results
build_state → summarize and redact; calculate state_digest
ask → request typed choice / score / unknown; never execute from raw text
gate → apply threshold, margin, policy, timeout and fallback in code
run → always run required tests; optionally add recommendations
record → save answer, decision, cost, result and replay_id
CIの初期形:Jevが落ちてもrequired testsは通常どおり回る。Jevはログ・JSON・PRコメントへ推薦を出すだけにし、適合率・候補漏れ・遅延・費用が既存baselineを上回った後で、限定的なgate候補を検討する。

導入の順番:RED → GREEN → REFACTOR

先にJevを本番の判断へ接続すると、失敗した理由と価値が分からなくなる。回答を固定したテストから始め、測れるようになってから実際の推薦を足す。

  1. Baseline:既存の必須テストと人間の判断を記録する

    テスト候補、失敗分類、mutationの扱いをfixture化する。現状の実行時間・見逃し・レビュー時間も測り、比較対象を作る。

  2. RED:Decision Contractの失敗例を先に書く

    unknown、timeout、入力不足、低margin、危険な推薦が安全側へ倒れることをテストで表現する。Jevを呼ばずに再現できる形にする。

  3. GREEN:recorded answerでgateを通す

    同じstate digestとrecorded answerから、同じdecision・fallback・receiptが得られるようにする。ここではネットワーク品質を評価対象に混ぜない。

  4. Shadow:実Jevの推薦を既存結果と並べる

    必須suiteを省略せず、推薦された候補・理由・confidence・コストを観測する。誤判定があっても自動blockしない。

  5. Calibrate:評価packで閾値と問いを更新する

    代表例、似た候補、none、境界例、失敗例を一つのpackにし、question・model・候補schemaの版と一緒にレビューする。

  6. Refactor:証拠が揃った縦機能だけを狭く自動化する

    まず追加テストの提案や調査順の優先付けから。テスト省略・CI blocking・権限操作は別の安全性レビューが通るまで自動化しない。

Definition of Done:同じfixtureでdecisionを再生でき、unknown / timeout / outageが安全側へ流れ、候補漏れ・誤推薦・p95・costを比較できる。Jevの回答がなくてもrequired testsは成立する。

測るべき指標:正しさだけでなく、危険を増やしていないか

Jevを導入した結果、CIが少し速くなっただけでは不十分。人間の判断を置き換えるなら、置き換え前の判断と比較できる証拠を残す。

指標見ること導入初期の扱い
candidate recall本当に必要だった候補を落としていないか最優先 required testsの漏れはゼロにする
useful precision推薦された候補が実際に役立った割合Shadow rule・packごとに分ける
safe fallback rateunknown・timeout・outageが安全側へ流れた割合100% 自動allowを許さない
replay consistency同じinput・versionで同じanswer / decisionになるか必須 recorded answerで決定的に再現
mutation catch uplift追加提案が生存変異の検出改善につながったか比較 scoreを直接置き換えない
false block / false alarm不要なCI停止・レビュー負荷を増やしていないか上限を決める ruleごとに公開
p95 / cost / tokens人間の判断時間と運用費に見合うか記録 候補ごとに比較可能にする
  • Jevの回答がなくても必須テストは決まる
  • 決定的な処理をJevへ渡していない
  • 入力stateとredaction理由を再現できる
  • threshold・margin・policyが版管理される
  • 回答と最終decisionを別々に記録する
  • candidate missを人間が確認できる
  • 秘密・巨大な生ログを送受信しない
  • CI blockingへの移行条件が先に決まっている

よくある迷い

Jevに「テストは通った」と判定させてよい?
させません。テストrunnerのexit code、assertion、schema互換性、SLOは決定的な仕組みが持ちます。Jevは「何を追加で見るべきか」「この失敗は何に近いか」を推薦する役割です。
Jevの推薦でテストを省略すれば、CIは速くなるのでは?
速くなる可能性はありますが、最初の目的にしません。まずrequired suiteを維持したShadow Modeで候補漏れと有用性を測り、十分な証拠と明示的なpolicyが揃った範囲だけ、追加・任意テストの順序を変えます。
confidenceが高ければ自動化してよい?
confidenceは与えたstateに対する回答の確からしさであり、現実全体の正しさの証明ではありません。state completeness、margin、unknown、再現性、危険度を含めてコード側でgateします。
最初の小さな導入単位は何?
一つのテスト種別と一つの問いに絞った評価packがおすすめです。たとえば「変更diffから追加候補を順位づけする」だけを、required suiteを変えないCLIまたはPRコメントとして運用します。
Jevを使わない方がよい判断は?
型・構文・schema・テスト実行・数値集計・権限付与のように、正確で再現可能な機械的ルールで解けるものです。Jevを使う必然性が説明できない機能は、まず決定的な実装を選びます。