AIが書いたコードを、七枚の網で受け止める
E2Eだけでは拾えないバグがある。単体テストだけでは配線の誤りが見えない。そしてAIが書いたテストは、テスト自体が空振りしていることがある。各層が何を捕まえ、何を取り逃がすのかを整理し、層を重ねて信頼性を上げるための設計指針をまとめました。
- Java+PHP
- マイクロサービス構成
- PIT/Infection
- Screwdriver CI
- 設計方針・判断基準中心
AIコーディングが生む、特有の失敗の形
人間が書いたコードとAIが書いたコードでは、バグの「出方」が違います。テスト戦略を組む前に、何を防ぎたいのかを具体的にしておくと、各テストの役割がはっきりします。
もっともらしい誤り
コンパイルも通り読みやすいが、仕様の境界条件(以上/超過、月末、空配列)を取り違えている。
主に効く網:単体(境界値・プロパティ)同語反復テスト
実装を読んでテストを書くため、実装のバグをそのまま期待値にしてしまう。アサーションが弱い・無い。
主に効く網:ミューテーションテストへの迎合
失敗したテストを直すために期待値を書き換える、@DisabledやmarkTestSkippedで黙らせる。
架空のAPI・契約違反
他サービスのレスポンス項目名や型を推測で使う。自分側のモックは通るが、実物と噛み合わない。
主に効く網:契約過剰なモック
依存をすべてモックし、モックの振る舞いを検証しているだけのテストになる。DI設定やSQLの誤りが素通りする。
主に効く網:統合局所最適な変更
依存方向やレイヤー規約を無視して「近道」の呼び出しを追加する。動くが、設計が静かに崩れる。
主に効く網:静的解析(アーキテクチャ規約)異常系の欠落
正常系は丁寧だが、タイムアウト・部分失敗・リトライ・冪等性の考慮が抜ける。
主に効く網:単体+統合(障害注入)変更量の多さ
一度に大量の差分を出すため、人間のレビューが追いつかず、見落としが構造的に起きる。
主に効く網:差分ベースの自動ゲート全般全体フロー:七枚の網
速くて安い網を手前に、遅くて高い網を奥に並べます。原則は「捕まえられる一番手前の網で捕まえる」こと。E2Eで見つかったバグは、本来どの網で捕まえるべきだったかを振り返り、手前に網を追加していきます。
番号は実行順です。各段をクリックすると、狙い・対象・判断基準が表示されます。
PRで回す段(1〜5)は合計で10〜15分程度に収めるのが一つの目安です。AIは修正→再実行のループを何度も回すため、フィードバックが遅いと試行回数そのものが減り、品質が下がります。重い処理は「差分だけ」「夜間にフル」の二段構えにします。
E2Eテストの守備範囲
E2Eの強みは「本物が全部つながった状態で動く」ことの確認です。逆に、条件の組み合わせを網羅したり、異常を意図的に起こしたりするのは苦手です。E2Eには広さではなく、通しでしか確かめられないことを担わせます。
| 項目 | E2Eで確かめる理由 | 設計のポイント |
|---|---|---|
| クリティカルユーザージャーニー | 登録→ログイン→主要操作→結果確認のように、売上や業務に直結する導線は「通しで動く」こと自体に価値がある。 | 5〜15本程度に絞る。「この導線が止まったら障害扱い」という基準で選ぶ。 |
| サービス間の実配線 | サービスディスカバリ、ルーティング、ゲートウェイ設定、TLS、タイムアウト設定など、構成要素がそろって初めて見える誤り。 | 契約テストで「形」は保証済みの前提で、実際に届くかを見る。 |
| 認証・認可の通しフロー | トークン発行、伝播、各サービスでの検証、権限による表示・操作の出し分けは複数サービスをまたぐ。 | ロールごとに代表的な1導線ずつ。権限の組み合わせ網羅は単体側で。 |
| 設定・DI・環境変数の結線 | Springのプロファイル、PHPのコンテナ設定、フィーチャーフラグなど、単体テストでは差し替えてしまう部分。 | 本番と同じ設定の組み立て方でデプロイした環境で実行する。 |
| DBマイグレーション後の動作 | スキーマ変更が実際のアプリから正しく使えるか。 | マイグレーション適用済みの環境で主要導線を1周。 |
| 非同期処理の最終到達 | イベント発行→メッセージング→別サービスでの処理→結果反映、が最終的に完了するか。 | 固定sleepではなく、条件を満たすまでポーリング(上限付き)。 |
| デプロイ直後のスモーク | ステージング・本番カナリアで「最低限動いている」ことの確認。 | 読み取り中心・副作用なしの短いセットを別に用意する。 |
| 項目 | 困難度 | なぜE2Eでは難しいか | 補填先 |
|---|---|---|---|
| 境界値・組み合わせの網羅 | 不可 | パターン数が爆発し、1件あたりのコストが高すぎる。 | 単体(境界値)プロパティベース |
| 異常系(タイムアウト・部分失敗・5xx) | 不可 | 本物の依存先を意図的に壊すのが難しく、再現性もない。 | 単体(テストダブル)統合(障害注入) |
| リトライ・冪等性 | 困難 | 「2回届いたとき」「途中で落ちたとき」を狙って起こせない。 | 単体統合 |
| 時刻依存(月末・うるう年・TZ・夏時間) | 不可 | 環境の時刻を自由に動かせない。 | 単体(Clock注入) |
| 並行性・競合状態 | 困難 | タイミング依存で再現しない。通っても安全の証明にならない。 | 統合(並行実行・ロック検証)ストレス/jcstress |
| サービス間の項目・型の整合 | 困難 | 全組み合わせのバージョンをそろえて起動する必要があり、どの変更が壊したか特定しにくい。 | 契約テスト |
| 権限・入力値の網羅的な検証 | 困難 | ロール×操作×リソースの組み合わせが多い。 | 単体(ポリシー判定) |
| 性能・大量データ | 困難 | E2E環境は小さく、性能の再現性がない。 | 負荷テスト本番監視 |
| 外部SaaS・決済・メール送信 | 困難 | サンドボックスの制約、課金、レート制限、到達確認の難しさ。 | 契約(プロバイダ仕様)統合(スタブサーバ) |
| セキュリティ上の欠陥 | 困難 | 正常な導線を通るだけでは脆弱性は見えない。 | SAST・依存スキャン単体(入力検証) |
| 障害箇所の特定 | 不可 | E2Eは「どこかが壊れた」しか言えない。 | 下位層すべてOTelトレース |
| 本番固有のデータ・トラフィック | 不可 | 本番データの偏りや実ユーザーの操作は再現できない。 | カナリア+SLO監視 |
E2Eを「信頼できる少数精鋭」に保つ原則
安定性
- テストごとにデータを作り、他テストと共有しない(並列実行の前提)。
- 固定の待ち時間を使わず、状態が整うまで待つ。
- 自動リトライは「フレーク検出」の目的に限定し、リトライで通ったものは記録して別途対処する。
- 不安定なテストは隔離(クォランティン)枠へ移し、期限を決めて直すか消す。
AIとの付き合い方
- E2EシナリオはAIに増やさせない。追加は人間が合意したジャーニーのみ。
- E2Eが落ちたら「どの手前の網で捕まえるべきだったか」をAIに分析させ、下位テストを追加させる。
- E2Eの期待値変更は必ず人間レビュー対象にする。
- 失敗時はトレースID・スクリーンショット・ログを成果物として残し、AIが原因調査に使えるようにする。
単体テストで、E2Eの穴を埋める
E2Eで「難しい」とした項目の多くは、単体テストなら安く・速く・確実に確かめられます。ポイントは、外から制御できない要素(時刻・乱数・外部I/O)を注入可能にする設計と、仕様から期待値を導くことです。
E2Eの弱点と、単体テストでの補い方
| E2Eの弱点 | 単体での手法 | Java | PHP |
|---|---|---|---|
| 境界値・同値クラス | 仕様から境界の表を作り、パラメータ化テストで全件流す。 | JUnit 5 @ParameterizedTest | PHPUnit #[DataProvider] |
| 組み合わせ爆発 | プロパティベーステスト:「どんな入力でも成り立つ性質」(例:合計は常に非負、往復変換で元に戻る)をランダム入力で検証。 | jqwik | Eris |
| 時刻依存 | 現在時刻を直接取らず、時計を注入する。月末・年またぎ・TZを固定値で検証。 | java.time.Clock | PSR-20 ClockInterface |
| 異常系 | 依存先をテストダブルにし、例外・タイムアウト・不正レスポンスを返させて、呼び出し側の振る舞いを検証。 | Mockito | PHPUnit Mock/Prophecy |
| リトライ・冪等性 | 「1回目失敗→2回目成功」「同じ要求が2回」を明示的に再現。リトライ回数・間隔も検証。 | Resilience4j設定の単体検証 | 自前リトライ層の単体検証 |
| 状態遷移 | 状態×イベントの遷移表を作り、許可されない遷移がすべて拒否されることを確認。 | 遷移表をデータとして持ち、パラメータ化テストで全セル検証 | |
| 認可ルール | 権限判定をポリシーオブジェクトに切り出し、ロール×操作×所有者の組み合わせを表で検証。 | Spring Security の判定ロジック分離 | Voter/Policy クラス |
AI時代の単体テスト設計ルール
書き方
- 1テスト1振る舞い。テスト名で仕様が読める(「会員ランクがゴールドなら送料無料」)。
- 期待値はリテラルで書く。実装と同じ計算式で期待値を作らない。
- モックはプロセス境界(DB・HTTP・キュー・時計)だけ。自分のドメインオブジェクトはモックしない。
- 「例外が出ないこと」だけのテストを禁止し、結果の状態まで検証する。
AIへの渡し方
- 仕様→境界一覧→テスト→実装の順で進めさせる。
- テスト作成と実装を別の指示(できれば別セッション)に分けると、実装に引きずられにくい。
- 既存テストの期待値を変える場合は、仕様変更の根拠を説明させる。
- カバレッジの数字ではなく、次節のミューテーションスコアで評価する。
行カバレッジ100%でも、アサーションが1つも無ければバグは見逃されます。カバレッジは下限の目安として残しつつ、品質の判定はミューテーションテストに寄せるのがAI時代の組み合わせ方です。
ミューテーションテスト:テストをテストする
本番コードにわざと小さなバグ(ミュータント)を埋め込み、テストがそれを検出して失敗するかを確かめます。テストが失敗すればミュータントは「殺された」、通ってしまえば「生き残った」。生き残りは、テストの穴を正確に指し示します。
if (amount >= 5000) { return 0; // 送料無料 } return 500;
>= を > にif (amount > 5000) { return 0; } return 500;
assertEquals(0, fee(5000)); assertEquals(500, fee(4999));
運用設計
| 観点 | 方針 | PIT(Java) | Infection(PHP) |
|---|---|---|---|
| PRでの対象 | 変更された行・クラスに限定 | git diffから変更クラスを抽出して targetClasses に渡す。インクリメンタル分析(history)で再計算を減らす。 | --git-diff-lines と --git-diff-base で変更行に限定。 |
| 合否の指標 | 「テストで実行された範囲のうち、殺せた割合」を使う。未カバー分はカバレッジ側で見る。 | mutation threshold/test strength | --min-covered-msi |
| 閾値の決め方 | 現状値から始めて下げない(ラチェット)。新規・変更コードには高めの基準を適用。 | 例:差分のカバー済みスコア80%以上から開始し、四半期ごとに見直す | |
| 等価ミュータント | 意味が変わらないミュータントは除外設定に理由付きで記録。除外の追加は人間レビュー対象。 | excludedMethods/除外設定 | infection.json5 の ignore |
| 対象外にするもの | ログ出力、生成コード、単純なDTO・設定クラス。 | 対象を絞るほど速く、指標の意味も明確になる | |
| 夜間フル実行 | 全体スコアの推移を記録し、低い領域をテスト強化の候補にする。 | 結果をGrafanaなどで可視化し、傾向を追う | |
AIとの改善ループ
生き残ったミュータントを抽出
ファイル・行・変異内容(例:境界条件の変更、戻り値の置換)の一覧を機械可読な形式で出力する。
AIに「テストだけ」を追加させる
指示は「本番コードを変更せずに、このミュータントを殺すテストを追加せよ」。本番コードの変更が混ざったら差し戻す。
殺せない場合は理由を説明させる
等価ミュータントなのか、設計上テストしにくい(=設計の見直しが必要)なのかを分類させ、人間が判断する。
再実行してスコアを確認
スコアが上がったことをCIで確認し、ラチェットの基準値を更新する。
AIがミュータントを殺すために、アサーションを実装の内部状態に密結合させる(privateな値をリフレクションで検証する等)ことがあります。スコアは上がりますがリファクタリング耐性を失います。「公開された振る舞いで検証する」をルールに明記しておきます。
契約テスト:マイクロサービスでは必要性が高い
マイクロサービス構成では、あるサービスの変更が別サービスを壊す事故が最も起きやすく、しかもE2Eまで気づけません。契約テストは「呼ぶ側が期待している形」と「呼ばれる側が返す形」を、相手を起動せずに、それぞれのパイプラインで検証します。
消費者駆動契約(Pact)
- 呼ぶ側の単体テストで「このリクエストにこう返ってくる前提」を記録し、契約ファイルを生成。
- 契約をPact Brokerに登録し、提供側パイプラインで実装を検証。
can-i-deployで「本番の相手バージョンと互換か」をデプロイ前に判定。- Java:Pact JVM、PHP:pact-php。メッセージ(非同期イベント)の契約も扱える。
提供者主導(スキーマ互換性)
- OpenAPI/イベントスキーマを正とし、実装がスキーマ通りかを検証。
- スキーマ差分から後方互換性を壊す変更(必須項目追加、項目削除、型変更)を自動検出。
- 消費者が社外・不特定多数の公開APIに向く。
- 導入コストが低く、まず始めるならこちら。
このAPIに契約テストは必要?
当てはまるものにチェックすると、推奨する契約テストの形が表示されます。
導入時の判断基準
| 状況 | 推奨 | 理由 |
|---|---|---|
| 社内サービス間の同期API(REST/gRPC) | 消費者駆動契約+can-i-deploy | 独立デプロイの安全性を、E2Eを待たずに判定できる。 |
| イベント駆動(Kafka等) | メッセージ契約+スキーマレジストリの互換性チェック | 非同期はE2Eで最も検証しにくく、壊れても気づくのが遅い。 |
| 公開API・外部向け | スキーマ互換性チェック | 消費者が不特定で、消費者側の契約を集められない。 |
| 外部SaaSを呼ぶ側 | 提供元仕様に基づくスタブ+定期的な実環境スモーク | 相手のパイプラインに検証を組み込めない。 |
| 同一デプロイ単位の内部呼び出し | 不要(型システムと統合テストで十分) | コンパイラが契約を守らせてくれる。 |
契約テストで「形の整合」を保証できると、E2Eは「実際に届くか・つながるか」だけに集中でき、本数を減らせます。契約テスト導入の最大の効果は、実はE2Eの縮小と安定化です。
そのほかに組み込むべきテスト
単体・E2E・ミューテーション・契約の4本柱に加えて、AIコーディング特有のリスクに効くものを選んで追加します。
静的解析・アーキテクチャテスト
- 型・null安全:Error Prone/NullAway、PHPStan・Psalm(レベルはラチェットで上げる)。
- 依存方向・レイヤー規約:ArchUnit(Java)、Deptrac(PHP)。AIの「近道」を機械的に止める。
- 最速で安く、AIへの即時フィードバックとして最も費用対効果が高い。
統合テスト(コンポーネントテスト)
- Testcontainersで実DB・実キュー・実キャッシュを起動し、1サービス単位で検証。
- SQL・ORMマッピング・トランザクション境界・DI設定の誤りを捕まえる。
- Toxiproxy等で遅延・切断を注入し、タイムアウトとリトライを実際の通信で確認。
特性化テスト(承認テスト)
- 既存コードをAIにリファクタリングさせる前に、現在の出力をスナップショットとして固定。
- 「振る舞いを変えていない」ことを大量の入力で確認できる。
- スナップショットの更新は人間の承認を必須にする。
セキュリティ
- SAST(Semgrep・CodeQL等)、依存ライブラリの脆弱性スキャン、シークレット混入検知。
- AIが古い・存在しないライブラリを提案する問題への対策として、依存の追加自体をレビュー対象にする。
DBマイグレーション検証
- マイグレーションを空DBと本番相当スナップショットの両方に適用。
- 旧バージョンのアプリが新スキーマで動くか(ローリングデプロイ時の後方互換)を確認。
性能・負荷
- クリティカルパスのみ、応答時間とクエリ数の上限をテストで固定(N+1の混入検知)。
- 本格的な負荷試験は夜間やリリース前に分離。
フレーク検出
- 新規・変更テストを複数回連続実行し、結果が揺れないか確認。
- AIが書いたテストは時刻・順序・乱数依存を含みやすいので特に有効。
本番検証(デプロイ後)
- カナリアリリース中のエラー率・レイテンシをOpenTelemetry→Grafanaで監視し、SLO逸脱で自動ロールバック。
- 合成監視で主要導線を定期実行。
- 「テストをすり抜けても被害を小さくする」最後の網。
テスト自体を守るガードレール
AIが「テストを通す」最短経路は、テストを弱くすることです。どれだけ網を重ねても、網そのものを切られたら意味がありません。テストコードの変更を特別扱いする仕組みを入れます。
- テストの削除・スキップ注釈(
@Disabled、markTestSkipped、#[Group('skip')]等)の追加を検知し、自動マージ対象外にする - 既存テストの期待値変更を検知し、仕様変更の根拠(チケット)とのひも付けを必須にする
- アサーション数の減少を差分で検知する
- カバレッジとミューテーションスコアの低下を禁止する(ラチェット)
- 静的解析のベースライン・除外設定の追加をレビュー必須にする
- 同一PRで「本番コード」と「そのテストの期待値」を同時に変更した場合を要注意として扱う
- E2Eシナリオ・契約ファイル・スナップショットの変更は人間の承認を必須にする
- CI設定・テスト設定ファイル(閾値・対象範囲)の変更はコードオーナー承認にする
全PR自動マージを目指すなら、「全テストが通った」だけでなく「どの指標も下がっていない・網が一枚も外されていない」ことを条件にします。上のチェックに一つでも該当したPRは、人間のレビューへ振り分けます。
Screwdriver CIでの流れ
PRで回す網(速い)、マージ後に回す網(遅い・環境が必要)、デプロイ後に回す網(本番)の三段に分けます。Screwdriverでは requires に複数ジョブを並べるとすべての完了を待つ合流になり、PR上で後続ジョブまで連鎖させるには chainPR の設定を使います。
以下は構成の骨格を示す概念スケッチです(コマンドやイメージは実環境に合わせて置き換えてください)。
annotations: screwdriver.cd/chainPR: true # PR上で後続ジョブまで連鎖させる jobs: static-analysis: requires: [~pr, ~commit] unit: requires: [~pr, ~commit] mutation-diff: requires: [unit] # 差分のみ。閾値割れで失敗 contract: requires: [unit] # 消費者:契約を登録 / 提供者:検証 integration: requires: [static-analysis, unit] # 両方の完了を待つ合流 test-guard: requires: [mutation-diff, contract, integration] # 改変検知・指標ラチェット → 自動マージ可否 # --- 以下は ~commit 起点(マージ後)で動く流れ --- can-i-deploy-stg: { requires: [test-guard] } deploy-stg: { requires: [can-i-deploy-stg] } e2e: { requires: [deploy-stg] } can-i-deploy-prod: { requires: [e2e] } canary: { requires: [can-i-deploy-prod] } slo-watch: { requires: [canary] } # 逸脱時はロールバック
消費者側で新しい契約が登録されたら、Pact Brokerのwebhookから提供者側パイプラインの検証ジョブを起動する構成にすると、両者のPRが揃うのを待たずに互換性を判定できます。
導入の順番
一度に全部入れると、CIが遅く・赤くなり、チームもAIも疲弊します。費用対効果の高い順に、指標を「下げない」仕組みとセットで入れていきます。
静的解析とアーキテクチャ規約を固める
最も安く、AIへの即時フィードバックとして効く。現状をベースラインにして、新規違反だけを止める。
テスト改変のガードレールを入れる
以降の網をAIに外されないための土台。スキップ注釈・テスト削除・期待値変更の検知から始める。
差分ミューテーションをPRに組み込む
最初は警告のみで計測し、数週間後に現状値を閾値としてラチェット化。生存ミュータントをAIに渡すループを整える。
契約テストを重要な連携から導入
障害が多い、または変更頻度の高いサービス間から。まずスキーマ互換性チェック、次に消費者駆動契約と can-i-deploy。
統合テストを整え、E2Eを絞り込む
Testcontainersでサービス単位の検証を厚くし、E2Eをクリティカルジャーニーだけに減らして安定化させる。
カナリアとSLOによる自動ロールバック
すり抜けたバグの影響を最小化する最後の網。これがあることで、手前の自動マージ判定を攻めた設定にできる。