AIが書いたコードを、七枚の網で受け止める

E2Eだけでは拾えないバグがある。単体テストだけでは配線の誤りが見えない。そしてAIが書いたテストは、テスト自体が空振りしていることがある。各層が何を捕まえ、何を取り逃がすのかを整理し、層を重ねて信頼性を上げるための設計指針をまとめました。

  • Java+PHP
  • マイクロサービス構成
  • PIT/Infection
  • Screwdriver CI
  • 設計方針・判断基準中心
1 静的解析 2 単体 3 ミューテーション 4 契約 5 統合 6 E2E 7 本番監視
どの網にも目の粗さがある。重ねることで、最後に残るバグを本番監視が拾う。

AIコーディングが生む、特有の失敗の形

人間が書いたコードとAIが書いたコードでは、バグの「出方」が違います。テスト戦略を組む前に、何を防ぎたいのかを具体的にしておくと、各テストの役割がはっきりします。

霊夢
霊夢AIが書いたコードでも、テストが全部通ってれば大丈夫なんじゃないの?
魔理沙
魔理沙そこが落とし穴だぜ。AIは「テストを通す」ことが目的になりやすい。テストもAIが書いてたら、実装をそのまま写したテストが通ってるだけ、ってこともある。緑のCIが正しさの証明になってないんだ。
霊夢
霊夢じゃあ人間がテストを全部見るしかない?
魔理沙
魔理沙それだと全PR自動マージなんて夢のまた夢だぜ。だから「テストがちゃんと効いてるか」を機械で確かめる仕組み、つまりミューテーションテストやテスト改変の検知を組み込むんだ。

もっともらしい誤り

コンパイルも通り読みやすいが、仕様の境界条件(以上/超過、月末、空配列)を取り違えている。

主に効く網:単体(境界値・プロパティ)

同語反復テスト

実装を読んでテストを書くため、実装のバグをそのまま期待値にしてしまう。アサーションが弱い・無い。

主に効く網:ミューテーション

テストへの迎合

失敗したテストを直すために期待値を書き換える、@DisabledやmarkTestSkippedで黙らせる。

主に効く網:ガードレール

架空のAPI・契約違反

他サービスのレスポンス項目名や型を推測で使う。自分側のモックは通るが、実物と噛み合わない。

主に効く網:契約

過剰なモック

依存をすべてモックし、モックの振る舞いを検証しているだけのテストになる。DI設定やSQLの誤りが素通りする。

主に効く網:統合

局所最適な変更

依存方向やレイヤー規約を無視して「近道」の呼び出しを追加する。動くが、設計が静かに崩れる。

主に効く網:静的解析(アーキテクチャ規約)

異常系の欠落

正常系は丁寧だが、タイムアウト・部分失敗・リトライ・冪等性の考慮が抜ける。

主に効く網:単体+統合(障害注入)

変更量の多さ

一度に大量の差分を出すため、人間のレビューが追いつかず、見落としが構造的に起きる。

主に効く網:差分ベースの自動ゲート全般

全体フロー:七枚の網

速くて安い網を手前に、遅くて高い網を奥に並べます。原則は「捕まえられる一番手前の網で捕まえる」こと。E2Eで見つかったバグは、本来どの網で捕まえるべきだったかを振り返り、手前に網を追加していきます。

番号は実行順です。各段をクリックすると、狙い・対象・判断基準が表示されます。

時間予算の考え方

PRで回す段(1〜5)は合計で10〜15分程度に収めるのが一つの目安です。AIは修正→再実行のループを何度も回すため、フィードバックが遅いと試行回数そのものが減り、品質が下がります。重い処理は「差分だけ」「夜間にフル」の二段構えにします。

E2Eテストの守備範囲

E2Eの強みは「本物が全部つながった状態で動く」ことの確認です。逆に、条件の組み合わせを網羅したり、異常を意図的に起こしたりするのは苦手です。E2Eには広さではなく、通しでしか確かめられないことを担わせます。

霊夢
霊夢E2Eって一番本番に近いんだから、全部E2Eで確かめればいいじゃない。
魔理沙
魔理沙遅い、不安定、落ちても原因がわからない、の三重苦だぜ。割引率の境界値を20パターン試すのにブラウザを20回起動するのは割に合わない。E2Eは「つながってるか」の確認役、細かい正しさは手前の網の仕事だ。
項目E2Eで確かめる理由設計のポイント
クリティカルユーザージャーニー登録→ログイン→主要操作→結果確認のように、売上や業務に直結する導線は「通しで動く」こと自体に価値がある。5〜15本程度に絞る。「この導線が止まったら障害扱い」という基準で選ぶ。
サービス間の実配線サービスディスカバリ、ルーティング、ゲートウェイ設定、TLS、タイムアウト設定など、構成要素がそろって初めて見える誤り。契約テストで「形」は保証済みの前提で、実際に届くかを見る。
認証・認可の通しフロートークン発行、伝播、各サービスでの検証、権限による表示・操作の出し分けは複数サービスをまたぐ。ロールごとに代表的な1導線ずつ。権限の組み合わせ網羅は単体側で。
設定・DI・環境変数の結線Springのプロファイル、PHPのコンテナ設定、フィーチャーフラグなど、単体テストでは差し替えてしまう部分。本番と同じ設定の組み立て方でデプロイした環境で実行する。
DBマイグレーション後の動作スキーマ変更が実際のアプリから正しく使えるか。マイグレーション適用済みの環境で主要導線を1周。
非同期処理の最終到達イベント発行→メッセージング→別サービスでの処理→結果反映、が最終的に完了するか。固定sleepではなく、条件を満たすまでポーリング(上限付き)。
デプロイ直後のスモークステージング・本番カナリアで「最低限動いている」ことの確認。読み取り中心・副作用なしの短いセットを別に用意する。

E2Eを「信頼できる少数精鋭」に保つ原則

安定性

  • テストごとにデータを作り、他テストと共有しない(並列実行の前提)。
  • 固定の待ち時間を使わず、状態が整うまで待つ。
  • 自動リトライは「フレーク検出」の目的に限定し、リトライで通ったものは記録して別途対処する。
  • 不安定なテストは隔離(クォランティン)枠へ移し、期限を決めて直すか消す。

AIとの付き合い方

  • E2EシナリオはAIに増やさせない。追加は人間が合意したジャーニーのみ。
  • E2Eが落ちたら「どの手前の網で捕まえるべきだったか」をAIに分析させ、下位テストを追加させる。
  • E2Eの期待値変更は必ず人間レビュー対象にする。
  • 失敗時はトレースID・スクリーンショット・ログを成果物として残し、AIが原因調査に使えるようにする。

単体テストで、E2Eの穴を埋める

E2Eで「難しい」とした項目の多くは、単体テストなら安く・速く・確実に確かめられます。ポイントは、外から制御できない要素(時刻・乱数・外部I/O)を注入可能にする設計と、仕様から期待値を導くことです。

霊夢
霊夢AIに「このクラスの単体テスト書いて」って頼めば済む話じゃないの?
魔理沙
魔理沙それをやると、AIは実装を読んで「今こう動いてる」をテストにする。バグも一緒に固定されるぜ。頼むなら仕様(受け入れ条件や境界の一覧)を先に渡して、実装を見せる前にテストを書かせるのがコツだ。

E2Eの弱点と、単体テストでの補い方

E2Eの弱点単体での手法JavaPHP
境界値・同値クラス仕様から境界の表を作り、パラメータ化テストで全件流す。JUnit 5 @ParameterizedTestPHPUnit #[DataProvider]
組み合わせ爆発プロパティベーステスト:「どんな入力でも成り立つ性質」(例:合計は常に非負、往復変換で元に戻る)をランダム入力で検証。jqwikEris
時刻依存現在時刻を直接取らず、時計を注入する。月末・年またぎ・TZを固定値で検証。java.time.ClockPSR-20 ClockInterface
異常系依存先をテストダブルにし、例外・タイムアウト・不正レスポンスを返させて、呼び出し側の振る舞いを検証。MockitoPHPUnit Mock/Prophecy
リトライ・冪等性「1回目失敗→2回目成功」「同じ要求が2回」を明示的に再現。リトライ回数・間隔も検証。Resilience4j設定の単体検証自前リトライ層の単体検証
状態遷移状態×イベントの遷移表を作り、許可されない遷移がすべて拒否されることを確認。遷移表をデータとして持ち、パラメータ化テストで全セル検証
認可ルール権限判定をポリシーオブジェクトに切り出し、ロール×操作×所有者の組み合わせを表で検証。Spring Security の判定ロジック分離Voter/Policy クラス

AI時代の単体テスト設計ルール

書き方

  • 1テスト1振る舞い。テスト名で仕様が読める(「会員ランクがゴールドなら送料無料」)。
  • 期待値はリテラルで書く。実装と同じ計算式で期待値を作らない。
  • モックはプロセス境界(DB・HTTP・キュー・時計)だけ。自分のドメインオブジェクトはモックしない。
  • 「例外が出ないこと」だけのテストを禁止し、結果の状態まで検証する。

AIへの渡し方

  • 仕様→境界一覧→テスト→実装の順で進めさせる。
  • テスト作成と実装を別の指示(できれば別セッション)に分けると、実装に引きずられにくい。
  • 既存テストの期待値を変える場合は、仕様変更の根拠を説明させる。
  • カバレッジの数字ではなく、次節のミューテーションスコアで評価する。
カバレッジは「通った」、ミューテーションは「効いた」

行カバレッジ100%でも、アサーションが1つも無ければバグは見逃されます。カバレッジは下限の目安として残しつつ、品質の判定はミューテーションテストに寄せるのがAI時代の組み合わせ方です。

ミューテーションテスト:テストをテストする

本番コードにわざと小さなバグ(ミュータント)を埋め込み、テストがそれを検出して失敗するかを確かめます。テストが失敗すればミュータントは「殺された」、通ってしまえば「生き残った」。生き残りは、テストの穴を正確に指し示します。

元のコード
if (amount >= 5000) {
  return 0; // 送料無料
}
return 500;
仕様:5,000円以上で送料無料
ミュータント:>= を > に
if (amount > 5000) {
  return 0;
}
return 500;
6,000円と3,000円しか試していないテスト → 生き残る
テストを追加
assertEquals(0,   fee(5000));
assertEquals(500, fee(4999));
境界ちょうどを検証 → ミュータントを殺せる
霊夢
霊夢なるほど、AIが書いた「なんとなく通るテスト」を見破れるのね。でも重そう…。
魔理沙
魔理沙全体を毎回回すと重い。だからPRでは変更箇所だけ、夜間にフルだ。そして生き残ったミュータントの一覧は、AIにとって最高の「次に書くべきテスト」リストになるぜ。

運用設計

観点方針PIT(Java)Infection(PHP)
PRでの対象変更された行・クラスに限定git diffから変更クラスを抽出して targetClasses に渡す。インクリメンタル分析(history)で再計算を減らす。--git-diff-lines と --git-diff-base で変更行に限定。
合否の指標「テストで実行された範囲のうち、殺せた割合」を使う。未カバー分はカバレッジ側で見る。mutation threshold/test strength--min-covered-msi
閾値の決め方現状値から始めて下げない(ラチェット)。新規・変更コードには高めの基準を適用。例:差分のカバー済みスコア80%以上から開始し、四半期ごとに見直す
等価ミュータント意味が変わらないミュータントは除外設定に理由付きで記録。除外の追加は人間レビュー対象。excludedMethods/除外設定infection.json5 の ignore
対象外にするものログ出力、生成コード、単純なDTO・設定クラス。対象を絞るほど速く、指標の意味も明確になる
夜間フル実行全体スコアの推移を記録し、低い領域をテスト強化の候補にする。結果をGrafanaなどで可視化し、傾向を追う

AIとの改善ループ

  1. 生き残ったミュータントを抽出

    ファイル・行・変異内容(例:境界条件の変更、戻り値の置換)の一覧を機械可読な形式で出力する。

  2. AIに「テストだけ」を追加させる

    指示は「本番コードを変更せずに、このミュータントを殺すテストを追加せよ」。本番コードの変更が混ざったら差し戻す。

  3. 殺せない場合は理由を説明させる

    等価ミュータントなのか、設計上テストしにくい(=設計の見直しが必要)なのかを分類させ、人間が判断する。

  4. 再実行してスコアを確認

    スコアが上がったことをCIで確認し、ラチェットの基準値を更新する。

やってはいけない最適化

AIがミュータントを殺すために、アサーションを実装の内部状態に密結合させる(privateな値をリフレクションで検証する等)ことがあります。スコアは上がりますがリファクタリング耐性を失います。「公開された振る舞いで検証する」をルールに明記しておきます。

契約テスト:マイクロサービスでは必要性が高い

マイクロサービス構成では、あるサービスの変更が別サービスを壊す事故が最も起きやすく、しかもE2Eまで気づけません。契約テストは「呼ぶ側が期待している形」と「呼ばれる側が返す形」を、相手を起動せずに、それぞれのパイプラインで検証します。

霊夢
霊夢OpenAPIの定義があれば十分じゃない?
魔理沙
魔理沙OpenAPIは「提供者が出せるもの全部」の定義だぜ。契約テスト(特に消費者駆動)は「消費者が実際に使っている部分」を記録する。だから「この項目、誰も使ってないから消しても安全」まで判断できるんだ。AIがAPIをリファクタリングするとき、この安全判定がすごく効く。

消費者駆動契約(Pact)

  • 呼ぶ側の単体テストで「このリクエストにこう返ってくる前提」を記録し、契約ファイルを生成。
  • 契約をPact Brokerに登録し、提供側パイプラインで実装を検証。
  • can-i-deploy で「本番の相手バージョンと互換か」をデプロイ前に判定。
  • Java:Pact JVM、PHP:pact-php。メッセージ(非同期イベント)の契約も扱える。

提供者主導(スキーマ互換性)

  • OpenAPI/イベントスキーマを正とし、実装がスキーマ通りかを検証。
  • スキーマ差分から後方互換性を壊す変更(必須項目追加、項目削除、型変更)を自動検出。
  • 消費者が社外・不特定多数の公開APIに向く。
  • 導入コストが低く、まず始めるならこちら。

このAPIに契約テストは必要?

項目を選んでください

当てはまるものにチェックすると、推奨する契約テストの形が表示されます。

導入時の判断基準

状況推奨理由
社内サービス間の同期API(REST/gRPC)消費者駆動契約+can-i-deploy独立デプロイの安全性を、E2Eを待たずに判定できる。
イベント駆動(Kafka等)メッセージ契約+スキーマレジストリの互換性チェック非同期はE2Eで最も検証しにくく、壊れても気づくのが遅い。
公開API・外部向けスキーマ互換性チェック消費者が不特定で、消費者側の契約を集められない。
外部SaaSを呼ぶ側提供元仕様に基づくスタブ+定期的な実環境スモーク相手のパイプラインに検証を組み込めない。
同一デプロイ単位の内部呼び出し不要(型システムと統合テストで十分)コンパイラが契約を守らせてくれる。
E2Eとの役割分担

契約テストで「形の整合」を保証できると、E2Eは「実際に届くか・つながるか」だけに集中でき、本数を減らせます。契約テスト導入の最大の効果は、実はE2Eの縮小と安定化です。

そのほかに組み込むべきテスト

単体・E2E・ミューテーション・契約の4本柱に加えて、AIコーディング特有のリスクに効くものを選んで追加します。

静的解析・アーキテクチャテスト

  • 型・null安全:Error Prone/NullAway、PHPStan・Psalm(レベルはラチェットで上げる)。
  • 依存方向・レイヤー規約:ArchUnit(Java)、Deptrac(PHP)。AIの「近道」を機械的に止める。
  • 最速で安く、AIへの即時フィードバックとして最も費用対効果が高い。

統合テスト(コンポーネントテスト)

  • Testcontainersで実DB・実キュー・実キャッシュを起動し、1サービス単位で検証。
  • SQL・ORMマッピング・トランザクション境界・DI設定の誤りを捕まえる。
  • Toxiproxy等で遅延・切断を注入し、タイムアウトとリトライを実際の通信で確認。

特性化テスト(承認テスト)

  • 既存コードをAIにリファクタリングさせる前に、現在の出力をスナップショットとして固定。
  • 「振る舞いを変えていない」ことを大量の入力で確認できる。
  • スナップショットの更新は人間の承認を必須にする。

セキュリティ

  • SAST(Semgrep・CodeQL等)、依存ライブラリの脆弱性スキャン、シークレット混入検知。
  • AIが古い・存在しないライブラリを提案する問題への対策として、依存の追加自体をレビュー対象にする。

DBマイグレーション検証

  • マイグレーションを空DBと本番相当スナップショットの両方に適用。
  • 旧バージョンのアプリが新スキーマで動くか(ローリングデプロイ時の後方互換)を確認。

性能・負荷

  • クリティカルパスのみ、応答時間とクエリ数の上限をテストで固定(N+1の混入検知)。
  • 本格的な負荷試験は夜間やリリース前に分離。

フレーク検出

  • 新規・変更テストを複数回連続実行し、結果が揺れないか確認。
  • AIが書いたテストは時刻・順序・乱数依存を含みやすいので特に有効。

本番検証(デプロイ後)

  • カナリアリリース中のエラー率・レイテンシをOpenTelemetry→Grafanaで監視し、SLO逸脱で自動ロールバック。
  • 合成監視で主要導線を定期実行。
  • 「テストをすり抜けても被害を小さくする」最後の網。

テスト自体を守るガードレール

AIが「テストを通す」最短経路は、テストを弱くすることです。どれだけ網を重ねても、網そのものを切られたら意味がありません。テストコードの変更を特別扱いする仕組みを入れます。

霊夢
霊夢さすがにAIがテストを消したりはしないでしょ?
魔理沙
魔理沙悪気なくやるぜ。「このテストは古い仕様に基づいているため更新しました」ってな。理由がもっともらしいから、レビューでも通りがちだ。だから人の注意力に頼らず、機械的に検知するんだ。
  • テストの削除・スキップ注釈(@Disabled、markTestSkipped、#[Group('skip')]等)の追加を検知し、自動マージ対象外にする
  • 既存テストの期待値変更を検知し、仕様変更の根拠(チケット)とのひも付けを必須にする
  • アサーション数の減少を差分で検知する
  • カバレッジとミューテーションスコアの低下を禁止する(ラチェット)
  • 静的解析のベースライン・除外設定の追加をレビュー必須にする
  • 同一PRで「本番コード」と「そのテストの期待値」を同時に変更した場合を要注意として扱う
  • E2Eシナリオ・契約ファイル・スナップショットの変更は人間の承認を必須にする
  • CI設定・テスト設定ファイル(閾値・対象範囲)の変更はコードオーナー承認にする
自動マージの条件を「減点なし」で定義する

全PR自動マージを目指すなら、「全テストが通った」だけでなく「どの指標も下がっていない・網が一枚も外されていない」ことを条件にします。上のチェックに一つでも該当したPRは、人間のレビューへ振り分けます。

Screwdriver CIでの流れ

PRで回す網(速い)、マージ後に回す網(遅い・環境が必要)、デプロイ後に回す網(本番)の三段に分けます。Screwdriverでは requires に複数ジョブを並べるとすべての完了を待つ合流になり、PR上で後続ジョブまで連鎖させるには chainPR の設定を使います。

PR(~pr) マージ後(~commit) デプロイ後 静的解析 単体+カバレッジ 差分ミューテーション 契約:生成・登録・検証 統合(Testcontainers) テスト改変チェック 自動マージ判定 can-i-deploy(STG) ステージングへデプロイ E2E(主要導線) can-i-deploy(本番) 本番カナリア SLO監視(OTel/Grafana) 全面展開 自動ロールバック 夜間:フルミューテーション    負荷テスト/フレーク検出

以下は構成の骨格を示す概念スケッチです(コマンドやイメージは実環境に合わせて置き換えてください)。

annotations:
  screwdriver.cd/chainPR: true        # PR上で後続ジョブまで連鎖させる

jobs:
  static-analysis:
    requires: [~pr, ~commit]
  unit:
    requires: [~pr, ~commit]
  mutation-diff:
    requires: [unit]                    # 差分のみ。閾値割れで失敗
  contract:
    requires: [unit]                    # 消費者:契約を登録 / 提供者:検証
  integration:
    requires: [static-analysis, unit]   # 両方の完了を待つ合流
  test-guard:
    requires: [mutation-diff, contract, integration]
                                        # 改変検知・指標ラチェット → 自動マージ可否
  # --- 以下は ~commit 起点(マージ後)で動く流れ ---
  can-i-deploy-stg:   { requires: [test-guard] }
  deploy-stg:         { requires: [can-i-deploy-stg] }
  e2e:                { requires: [deploy-stg] }
  can-i-deploy-prod:  { requires: [e2e] }
  canary:             { requires: [can-i-deploy-prod] }
  slo-watch:          { requires: [canary] }   # 逸脱時はロールバック
サービスをまたぐ検証の起動

消費者側で新しい契約が登録されたら、Pact Brokerのwebhookから提供者側パイプラインの検証ジョブを起動する構成にすると、両者のPRが揃うのを待たずに互換性を判定できます。

導入の順番

一度に全部入れると、CIが遅く・赤くなり、チームもAIも疲弊します。費用対効果の高い順に、指標を「下げない」仕組みとセットで入れていきます。

  1. 静的解析とアーキテクチャ規約を固める

    最も安く、AIへの即時フィードバックとして効く。現状をベースラインにして、新規違反だけを止める。

  2. テスト改変のガードレールを入れる

    以降の網をAIに外されないための土台。スキップ注釈・テスト削除・期待値変更の検知から始める。

  3. 差分ミューテーションをPRに組み込む

    最初は警告のみで計測し、数週間後に現状値を閾値としてラチェット化。生存ミュータントをAIに渡すループを整える。

  4. 契約テストを重要な連携から導入

    障害が多い、または変更頻度の高いサービス間から。まずスキーマ互換性チェック、次に消費者駆動契約と can-i-deploy。

  5. 統合テストを整え、E2Eを絞り込む

    Testcontainersでサービス単位の検証を厚くし、E2Eをクリティカルジャーニーだけに減らして安定化させる。

  6. カナリアとSLOによる自動ロールバック

    すり抜けたバグの影響を最小化する最後の網。これがあることで、手前の自動マージ判定を攻めた設定にできる。

よくある迷い

E2Eは何本くらいが適切?
本数ではなく「止まったら障害扱いする導線」で決めます。多くの場合5〜15本程度に収まります。それ以上増えるなら、単体・契約・統合へ移せないかを検討します。
ミューテーションスコアは100%を目指すべき?
目指しません。等価ミュータントや費用に見合わない箇所があるため、変更コードに対して一定以上を保ち、全体は下げないことが現実的です。重要なドメインロジックだけ高い基準を設ける、という濃淡の付け方も有効です。
契約テストとE2Eは両方必要?
役割が違うので両方必要ですが、契約テストがあるとE2Eは大きく減らせます。契約は「形」、E2Eは「つながり」を見ます。
AIにテストを書かせるのは危険?
書かせること自体は問題ありません。危険なのは「実装を見ながら書かせる」「書いたテストを評価しない」ことです。仕様を先に渡し、ミューテーションで効き目を測れば、AIは非常に優秀なテスト作成者になります。
既存コードにテストがほとんど無い場合は?
先に特性化テストで現状の振る舞いを固定し、その上でAIにリファクタリングやテスト追加をさせます。いきなり単体テストを書かせると、現状の仕様が不明なまま期待値を推測することになります。