AIが書いたコードでCIが詰まる Linearが待ち時間を6分超から5分強に削った

3行まとめ

• エージェントがコードを出す速さにCIが追いつかず、Linear が作り直した
• テストがほぼ4倍でも、PRの待ち時間は6分超から5分強に下がった
• テストの隔離をやめる設定が最も効き、月あたり約17%を削った

何が起きたか

Linear が自社のCI（継続的インテグレーション）を作り直しました。CIは、コードを変えるたびに自動でテストを回す仕組みです。きっかけは、CTOの Tuomas が「CI costs are high」という課題を割り当てたことでした。

エージェントがコードを出す速さは上がりました。検証する側は同じ速さで伸びていません。PR（プルリクエスト、変更を取り込んでもらう申請）はどれもCIを通るため、開発が速くなるほどCIに列ができます。

削る対象は2つに絞りました。PRがCIを待つ時間と、消費するランナーランナーCIのジョブを実際に走らせるマシン。Linear は GitHub Actions から外部のランナーに移し、ジョブが平均34%速くなりました。用語集でこの語を見る時間です。テスト群は年初からほぼ4倍に増えています。

それでも待ち時間は6分超から5分強へ下がりました。テスト1件あたりのランナー時間はおよそ半分です。

なぜ難しい・何がすごいか

CIを遅くしているのはテスト本体だけではありません。ジョブを1つ動かすたびに、ランナーを起動し、パッケージを入れ、ビルドの下準備をする固定費がかかります。数秒の仕事しかしないジョブが、数分のインフラ時間を食います。

Linear では7つの小さなチェックが、数秒だけ働くために毎回ランナーを起動していました。2つのジョブにまとめ、中で7つを並行に走らせました。6月の使用量で月あたり約87,000ランナー分、CI使用量全体の11.8%が浮きました。

固定費を先に削ったことが、後の並列化を可能にしました。テストシャードシャードテストを分割して同時に走らせるときの1本分。Linear は年の前半に3本から4本にし、さらに8本へ増やしました。用語集でこの語を見る1本あたりの準備時間は110〜140秒から67〜73秒へ、約44%減っています。準備が重いまま8本に増やしていたら、準備だけで15〜19分のランナー時間を使っていました。

順番が効いています。

たとえ話

台所で8人分の料理を8人で分担する場面を思い浮かべてください。各自が毎回まな板を洗い、包丁を研ぐところから始めるなら、人数を倍にしても下ごしらえの手間が倍になります。道具を並べた台を先に用意しておくと、人を増やした意味が出ます。

用語ミニ辞典

• ランナー: CIのジョブを実際に走らせるマシン。Linear は GitHub Actions から外部のランナーに移し、ジョブが平均34%速くなりました。
• シャード: テストを分割して同時に走らせるときの1本分。Linear は年の前半に3本から4本にし、さらに8本へ増やしました。
• tsgo: TypeScript のコンパイラをネイティブ実装したもの。切り替えで tsc チェックの週次中央値が73%縮みました。
• Vitest: Linear が TypeScript のテストに使うテストランナー。仕事をテストの所要時間ではなくファイル単位で配ります。

技術者向けの深掘り

VitestVitestLinear が TypeScript のテストに使うテストランナー。仕事をテストの所要時間ではなくファイル単位で配ります。用語集でこの語を見る は通常、テストファイルごとに実行環境を隔離します。Linear ではシャードごとに entity・GraphQL・デコレータのグラフを組み直していました。そこで isolate: false を指定した opt-in のプロジェクトを作りました。

安全だと判断したファイルだけが、ワーカー内でモジュールレジストリを共有します。最も遅いシャードは約300〜379秒から約195秒へ落ちました。APIシャードの合計ランナー時間は、1回あたり約32.8分から22分に減りました。

単体では最大の改善で、月あたり約17%の節約にあたります。同時に、正しさのリスクが最も高い変更でもありました。対象になるファイルには opt-in のコメントを1つずつ書かせ、共有状態の後始末を足しています。

フェイクタイマーを使うファイルは隔離したまま残しました。テストの大半はいまエージェントが書きます。エージェント用のスキルも更新し、生成されるテストが既定でこの制約に従うようにしました。

これは自分に関係ある？

• エージェントにコードを書かせている人: 書く速さが上がっても、検証が追いつかなければ結果が返るまでの時間は縮みません。Linear の数字は、その差がインフラ費用として表に出ることを示しています。
• CIを運用するエンジニア: Linear は固定費の削減を先に、並列化を後に置きました。準備が重いままシャードを増やすと、準備時間も一緒に倍になります。
• 外から眺めている人: Linear のコードベースには週に約2,000件のテストが増え続けます。改善しなければ今日のテスト群は約11分かかっていた計算です。