差分からテスト候補を選ぶ
問い:今回のdiffに影響しそうなテストを、理由付きで順位づけできるか。
出力:test id、score、reason、confidence、候補漏れの有無。
ガード:必須suiteは省略しない。Jevは追加実行候補と並び順だけを提案する。
人間がコードを書く前後に行ってきた「どのテストを回すか」「この失敗をどう読むか」「何を追加で確かめるか」という判断を、Jevへの問いに変える。ただし、最終的な合否・権限・安全側への退避は決定的なコードに残す。
Jevは、構文解析やテスト実行の代わりではない。人間が経験と文脈で行ってきた、候補の絞り込み・意味の分類・優先順位付けを、型のある回答として返す部品にするとテスト戦略へ差し込める。
提案:最初の導入先は、テストを減らす仕組みではなく、テストを選び、失敗を分類し、追加検証を提案するShadow Mode。Jevの回答はrecommendationとして記録し、既存のテスト結果や決定的なルールと比較する。
この境界なら、Jevが不明・timeout・outageになっても通常の安全なテストフローを壊さず、判断の質とコストを測りながら段階的に自動化できる。
変更とテストの影響関係、失敗ログの意味、仕様とテストのズレ、追加すべき境界例の候補。
対象抽出、テスト発見、schema検証、閾値、最終exit code、必須テスト、権限、秘密の除外。
回答が割れる場合、入力stateが足りない場合、破壊的操作やCI blockingに関わる場合はdeferしてレビューへ。
Jevをif文の置き換えとして考えると、責務が広がりすぎる。置き換える対象は、if文へ入れる前に人間が行っている「何を見ればよいか」「どの候補を比較するか」「この結果をどう説明するか」の作業だ。
| 判断の種類 | 人間がこれまでしていたこと | Jevへ聞く問い | 最終的に決めるもの |
|---|---|---|---|
| テスト候補 | 変更箇所とテストの関係を読み、優先順をつける | このdiffが影響しそうなテストはどれか | 必須テストと実行順はコード+ポリシー |
| 失敗分類 | ログ・diff・履歴を見て原因の仮説を立てる | この失敗は実装・環境・フレークのどれに近いか | 再試行、停止、担当者通知はコード+人間 |
| 追加ケース | 仕様と既存テストを読み、抜けた境界を考える | この仕様に対して未検証の境界例は何か | 実行可能なtest codeは人間のレビュー後 |
| ミューテーション | 生き残った変異を読み、重要度と追加テストを判断する | この変異は本当の検証漏れか、等価か | スコア反映・閾値変更は決定的ルール |
| リリースリスク | 変更範囲・証拠・過去障害をまとめて判断する | 今回の証拠から、追加確認が必要なリスクは何か | リリース停止やrollbackはSLO・policy |
既存のテスト戦略に新しい網を一枚足すのではなく、各網の前後にある判断を薄いJevレイヤーで補助する。テストそのものの信頼性を落とさず、網が何を捕まえたかを説明しやすくする。
| 網 | Jevに相談できること | 相談しないこと | 安全な着地点 |
|---|---|---|---|
| 静的解析 | 規約違反の意味的な優先順位、review signal | 型、構文、依存方向の検証 | warning中心。exit codeは静的解析 |
| 単体 | 境界値・異常系の追加候補 | assertionの合否、coverage計算 | 候補をfixture化し、人間レビュー後に実装 |
| ミューテーション | 生存変異の分類と追加テストの提案 | 変異を殺したとみなす判定 | mutation resultとJev回答を別々に記録 |
| 契約 | 変更が影響しそうなconsumer・契約の候補 | schema互換性の検証 | 全必須契約は決定的に実行 |
| 統合 | 失敗の原因候補、追加の障害注入候補 | DB・queue・networkの実際の整合 | 環境結果を根拠として保存 |
| E2E | 変更に近いcritical journeyの優先順位 | 必須導線の省略、成功判定 | critical pathは常に実行 |
| 本番検証 | アラートの関連事象の分類、調査の次の一手 | SLO判定、rollback、権限変更 | 運用policyが最終判断を保持 |
価値が出やすく、失敗しても本番コードの実行を直接変えない順に並べる。共通するのは、Jevの提案を見なくても既存フローが成立することだ。
問い:今回のdiffに影響しそうなテストを、理由付きで順位づけできるか。
出力:test id、score、reason、confidence、候補漏れの有無。
ガード:必須suiteは省略しない。Jevは追加実行候補と並び順だけを提案する。
問い:生き残った変異は検証漏れか、等価変異か、対象外か。
出力:分類、根拠、追加テスト案、確信度。
ガード:mutation scoreの計算と閾値は既存runnerが持ち、回答だけをreview signalにする。
問い:説明・実装・テストが同じ振る舞いを主張しているか。
出力:矛盾箇所、対象行、検証すべき主張。
ガード:最初はCIを赤くせず、誤検出率と有用検出率をrule単位で測る。
問い:時間・順序・共有状態・外部依存のどれが失敗と整合するか。
出力:原因候補、再現手順、追加ログの提案。
ガード:自動retryやskipの理由にはしない。skipは別の人間承認が必要。
問い:変更に近いconsumerやcritical journeyはどれか。
出力:優先順位と、見落としがありそうな境界。
ガード:全必須契約とcritical journeyは必ず残し、Jevは追加の観測を増やす。
問い:アラートと直近変更・テスト証拠の組み合わせから、次に見るべき証拠は何か。
出力:調査順、関連receipt、再現用fixtureの候補。
ガード:SLO判定・rollback・権限操作は既存の運用policyから切り離さない。
Jevを便利な関数として直接呼ぶと、問い・state・閾値・fallbackが各機能に散らばる。テスト判断を共通の契約にして、回答がなくてもコード側のgateだけで再現できるようにする。
{
"kind": "test-impact",
"contract_version": "score.v1",
"question_version": "impact.2026-09",
"state_digest": "sha256:…",
"answer": { "items": ["unit.auth.12"], "score": 3.4, "confidence": 0.78 },
"decision": { "status": "recommend", "margin": 0.21 },
"fallback": "run-required-suite",
"cost": { "calls": 1, "tokens": 812, "latency_ms": 427 },
"replay_id": "replay_…"
}
Jevの相談が落ちても通常のテストが続く構成から始める。Jevの結果は実行経路を上書きするのではなく、既存結果と並ぶ証拠にする。
collect → discover tests, schema, fixtures, prior results build_state → summarize and redact; calculate state_digest ask → request typed choice / score / unknown; never execute from raw text gate → apply threshold, margin, policy, timeout and fallback in code run → always run required tests; optionally add recommendations record → save answer, decision, cost, result and replay_id
先にJevを本番の判断へ接続すると、失敗した理由と価値が分からなくなる。回答を固定したテストから始め、測れるようになってから実際の推薦を足す。
テスト候補、失敗分類、mutationの扱いをfixture化する。現状の実行時間・見逃し・レビュー時間も測り、比較対象を作る。
unknown、timeout、入力不足、低margin、危険な推薦が安全側へ倒れることをテストで表現する。Jevを呼ばずに再現できる形にする。
同じstate digestとrecorded answerから、同じdecision・fallback・receiptが得られるようにする。ここではネットワーク品質を評価対象に混ぜない。
必須suiteを省略せず、推薦された候補・理由・confidence・コストを観測する。誤判定があっても自動blockしない。
代表例、似た候補、none、境界例、失敗例を一つのpackにし、question・model・候補schemaの版と一緒にレビューする。
まず追加テストの提案や調査順の優先付けから。テスト省略・CI blocking・権限操作は別の安全性レビューが通るまで自動化しない。
Jevを導入した結果、CIが少し速くなっただけでは不十分。人間の判断を置き換えるなら、置き換え前の判断と比較できる証拠を残す。
| 指標 | 見ること | 導入初期の扱い |
|---|---|---|
| candidate recall | 本当に必要だった候補を落としていないか | 最優先 required testsの漏れはゼロにする |
| useful precision | 推薦された候補が実際に役立った割合 | Shadow rule・packごとに分ける |
| safe fallback rate | unknown・timeout・outageが安全側へ流れた割合 | 100% 自動allowを許さない |
| replay consistency | 同じinput・versionで同じanswer / decisionになるか | 必須 recorded answerで決定的に再現 |
| mutation catch uplift | 追加提案が生存変異の検出改善につながったか | 比較 scoreを直接置き換えない |
| false block / false alarm | 不要なCI停止・レビュー負荷を増やしていないか | 上限を決める ruleごとに公開 |
| p95 / cost / tokens | 人間の判断時間と運用費に見合うか | 記録 候補ごとに比較可能にする |