🔁

Claude CodeにCIを見てもらいながら、単純作業を無限労働させる

に公開

記事の概要

  • CIの失敗・成功をClaude Code (CLI)が理解できる仕組みを入れよう
  • CIが失敗したらコマンドを打つだけで修正してもらえるようにしよう
  • CIの成功がわかるようになった = 一定の作業ごとにCIを実行し、成功をチェックポイントにして単純作業を永続化させよう

※ この週末にClaude Codeに以下のアップデートがあったので、一足遅かった内容になります

https://claude.com/blog/preview-review-and-merge-with-claude-code


株式会社ZAICOの地味な記事担当エンジニア、takakです。

以前、以下の記事で不足APIドキュメントを埋める旅に出ました。
https://zenn.dev/zaico/articles/430349ec1bd156

あれからどうなったか

前回の記事執筆後、最低限必要なAPIドキュメントは出揃いました。
しかし、全てのAPIのドキュメントが埋まりきったわけではありません。
ちょくちょくモバイルアプリのエンジニアから、コマンドを使って必要なAPIのドキュメント生成をしてもらい、PRをもらっていた状況でした。

そんな中、あるタスクの対応をしていた時、
CIが失敗
→失敗する要因をClaude Codeにスクリーンショットやログを直接貼り付けて修正指示
→CIが失敗
→再度失敗する要因を貼り付けて修正指示
→CIが失敗…
のループに陥っていました。

弊社のサービスはE2Eテストの数が多くローカルでの全実行はあまり現実的ではないため、CI上でテストをfail-fastオプションを付与して並列実行して失敗したら修正して再push、という手法をよく取っています。
たしかに広範な修正だったとはいえ、あまりに失敗するので面倒くさくなってきました。いつもの展開です。

もうCIの情報を自分で取得して、良い感じに判断して修正してほしい。

Claude CodeにCIの情報を取得させてエラーを修正させる

弊社ではCIにCircleCIを導入しています。

調べてみたところCircleCIのCLIがあったのですが、こちらは実行したワークフローの情報を取る、という用途には向いていなさそうでした。
他の手段はないものかと改めて調べたところ、API (v2)がありました。
これならPipeline, Workflow, Jobの情報とエラーメッセージも取得できそうです。

ここまできたら、あとは簡単です↓

  1. CircleCIのPersonal API Tokensを発行
  2. シェルの設定ファイルなどで、環境変数 CIRCLECI_TOKEN に発行したAPIトークンを設定
  3. シェルスクリプトを配置 (後述)
  4. Commandを配置 (後述)
check-circleci-pipeline.sh
#!/bin/bash

# 使用方法: ./circleci.sh <branch_name>
# 指定したbranchの最新パイプラインのステータスを確認し、
# 失敗していればRSpec/Capybaraの失敗テストケースを表示する

set -e

# ==================== 設定 ====================
CIRCLECI_TOKEN="${CIRCLECI_TOKEN}"
VCS_TYPE="${VCS_TYPE:-github}"
ORG_NAME="${ORG_NAME:-{GitHubのorg名}}"
PROJECT_NAME="${PROJECT_NAME:-{GitHubのリポジトリ名}}"

# ==================== 引数チェック ====================
if [ $# -eq 0 ]; then
  echo "Usage: $0 <branch_name>"
  exit 1
fi

BRANCH_NAME="$1"
PROJECT_SLUG="${VCS_TYPE}/${ORG_NAME}/${PROJECT_NAME}"
API_BASE="https://circleci.com/api/v2"

# ==================== 関数定義 ====================

call_api() {
  local endpoint="$1"
  curl -s -H "Circle-Token: ${CIRCLECI_TOKEN}" "${API_BASE}${endpoint}"
}

# 最新のpipelineを取得
get_latest_pipeline() {
  local branch="$1"
  call_api "/project/${PROJECT_SLUG}/pipeline?branch=${branch}" | \
    jq -r '.items[0] | {id: .id, number: .number, state: .state, created_at: .created_at}'
}

# Pipelineのworkflowsを取得
get_workflows() {
  local pipeline_id="$1"
  call_api "/pipeline/${pipeline_id}/workflow" | \
    jq -r '.items[] | {id: .id, name: .name, status: .status}'
}

# Workflowのjobsを取得
get_jobs() {
  local workflow_id="$1"
  call_api "/workflow/${workflow_id}/job" | \
    jq -r '.items[] | {id: .id, name: .name, status: .status, job_number: .job_number}'
}

# V2 APIでテストメタデータから失敗テストを取得
get_failed_tests() {
  local job_number="$1"
  call_api "/project/${PROJECT_SLUG}/${job_number}/tests" | \
    jq -r '[.items[] | select(.result == "failure")] // []'
}

# 失敗テストをフォーマットして出力
format_failed_tests() {
  local failed_tests="$1"
  local count
  count=$(echo "$failed_tests" | jq 'length')

  if [ "$count" -eq 0 ]; then
    echo "  (テストメタデータなし)"
    return
  fi

  echo "  失敗テスト数: ${count}"
  echo ""

  echo "$failed_tests" | jq -r '.[] | "  [\(.file // "unknown")]",
    "  テスト: \(.name)",
    "  エラー: \(.message | split("\n") | .[0:5] | join("\n         "))",
    ""'
}

# ==================== メイン処理 ====================

echo "Checking CircleCI status for branch: ${BRANCH_NAME}"
echo "Project: ${PROJECT_SLUG}"
echo "---"

# 1. 最新のpipelineを取得
pipeline=$(get_latest_pipeline "${BRANCH_NAME}")

pipeline_id=$(echo "$pipeline" | jq -r '.id')

if [ -z "$pipeline_id" ] || [ "$pipeline_id" = "null" ]; then
  echo "ブランチ ${BRANCH_NAME} に実行されたパイプラインはありません"
  exit 0
fi

pipeline_state=$(echo "$pipeline" | jq -r '.state')
pipeline_created=$(echo "$pipeline" | jq -r '.created_at')

echo "Latest Pipeline ID: ${pipeline_id}"
echo "Pipeline State: ${pipeline_state}"
echo "Created: ${pipeline_created}"

# 2. Workflowsを取得
workflows=$(get_workflows "${pipeline_id}")

if [ -z "$workflows" ] || [ "$workflows" = "null" ]; then
  echo "No workflows found for pipeline: ${pipeline_id}"
  exit 1
fi

# 全てのworkflowの状態をチェック
all_success=true
failed_output=""

while IFS= read -r workflow; do
  workflow_id=$(echo "$workflow" | jq -r '.id')
  workflow_name=$(echo "$workflow" | jq -r '.name')
  workflow_status=$(echo "$workflow" | jq -r '.status')

  echo "Workflow: ${workflow_name} - Status: ${workflow_status}"

  if [ "$workflow_status" = "running" ] || [ "$workflow_status" = "on_hold" ] || [ "$workflow_status" = "not_run" ]; then
    echo "最新のパイプラインは実行中です (Workflow: ${workflow_name} - ${workflow_status})"
    exit 0
  fi

  if [ "$workflow_status" != "success" ]; then
    all_success=false

    # 3. Jobsを取得
    jobs=$(get_jobs "${workflow_id}")

    while IFS= read -r job; do
      job_name=$(echo "$job" | jq -r '.name')
      job_status=$(echo "$job" | jq -r '.status')
      job_number=$(echo "$job" | jq -r '.job_number')

      if [ "$job_status" = "failed" ]; then
        echo "  ├─ Job: ${job_name} - FAILED (Job #${job_number})"

        # 4. テストメタデータから失敗テストを取得
        failed_tests=$(get_failed_tests "${job_number}")
        formatted=$(format_failed_tests "$failed_tests")

        failed_output+="
================================================
Job: ${job_name} (Workflow: ${workflow_name})
Job Number: ${job_number}
================================================
${formatted}
"
      else
        echo "  ├─ Job: ${job_name} - ${job_status}"
      fi
    done <<< "$(echo "$jobs" | jq -c '.')"
  fi
done <<< "$(echo "$workflows" | jq -c '.')"

echo "---"

# 5. 結果を出力
if [ "$all_success" = true ]; then
  echo "最新のpipelineは成功しています"
  exit 0
else
  echo "最新のpipelineは失敗しています"
  echo ""
  echo "$failed_output"
  exit 1
fi
fix-circleci-pipeline.md
---
argument-hint: [OPTION]
description: 現在のbranchの最新のCircleCIのパイプラインの実行結果を取得し、失敗していれば修正
allowed-tools: Write, Edit
disable-model-invocation: true
---

# 指示
1. 現在のbranchを確認
  - `main`の場合、以下のメッセージを返却して作業終了
    - 「`main` branchに対してはコマンドを実行することはできません」

2. `path/to/check-circleci-pipeline.sh {現在のbranch}`を実行
  - APIリクエストに失敗した場合
    - `CIRCLECI_TOKEN` が定義されているか確認
      - もし定義されていない場合、Personal API Tokenを発行して使用しているシェルの設定ファイルにexportで定義してもらうようメッセージを返却して作業終了
      - もし定義されている場合、APIトークンの見直しをするようメッセージを返却して作業終了
  - APIレスポンスが空, nullの場合、以下のメッセージを返却して作業終了
    - 「まだパイプラインが実行されていないようです」
  - パイプラインが実行中の場合、以下のメッセージを返却して作業終了
    - 「まだパイプラインが実行中のようです」
  - パイプラインが成功している場合、以下のメッセージを返却して作業終了
    - 「パイプラインが成功しているため、修正の必要はありません」
  - パイプラインが失敗している場合
    - 失敗しているジョブがテスト以外(例: ~~~)の場合、以下のメッセージとエラー内容を返却して作業終了
      - 「テスト以外のジョブが失敗しているようです。エラーメッセージを確認して再実行などを手動で行ってください」
    - 失敗しているジョブがテスト・Formatter・Linterの場合
      - エラーメッセージを分析し、修正を行う

# OPTION引数
- `commit-and-push`
  - 修正が完了したらcommitし、pushする

これで準備が整いました。
あとはCIが失敗していたらClaude Codeを起動して /fix-circleci-pipeline を実行するだけで直してくれるようになりました。一件落着です。

シェルスクリプトはClaudeくんにさっと書いてもらったものなのですが、コマンドは自分で書いています。
ここ1年ですっかり自分でコードを書く比率が減ったのですが、なんとなくコマンドは自分で書きたくなってしまうところがあります。

Claude Codeの作業にCIを組み込む

Claude Codeが[CIの状況をチェックして、失敗していたら直せる]ならば、
[CIが成功したのを確認して、作業を続けることが可能]ということにもなります。

近頃、「自分が寝ている時間帯にかかる5時間セッションを余らせているの、なんだかもったいないな〜〜」という思いが強くなっていた中、最近Anthropicの記事でClaudeの並列実行でCコンパイラを作った、という記事が公開されました。

https://www.anthropic.com/engineering/building-c-compiler

その中で以下のコードが紹介されていました。

#!/bin/bash

while true; do
    COMMIT=$(git rev-parse --short=6 HEAD)
    LOGFILE="agent_logs/agent_${COMMIT}.log"

    claude --dangerously-skip-permissions \
           -p "$(cat AGENT_PROMPT.md)" \
           --model claude-opus-X-Y &> "$LOGFILE"
done

これだ!!
これを参考に、以下のようなことが出来そうです。

  1. やるべきことのリストをTODO.mdとして作成
  2. 実行してほしい内容をPROMPT.mdとして作成
  3. claude -p xxx を一定回数実行
  4. pushしてCIの完了まで待機
  5. CIが失敗したら修正してpushし、手順4に戻る
  6. CIが成功していたら次の指示を出す
    • 指示の中でTODO.mdにやり残しがあれば作業
    • 完遂していたら自らプロセスをkillする

本来であればローカルでテストまで完全に回せる運用の方が良いのですが、先述の理由に加えて他のテスト(Request Spec)もそれなりにあり時間がかかるため、CIを組み込んだ運用にします。

上記をシェルスクリプトにしたのが以下です。

eternal.sh
#!/bin/bash

# 使用方法: ./eternal.sh <branch_name>
# check-circleci-pipeline.sh を実行し、結果に応じて処理を分岐する
#   - 実行中: 7分待機して再実行
#   - 成功: 成功用の処理を実行
#   - 失敗: 失敗用の処理を実行

set -euo pipefail

CHECK_SCRIPT="path/to/check-circleci-pipeline.sh"
WAIT_SECONDS=420

if [ $# -eq 0 ]; then
  echo "Usage: $0 <branch_name>"
  exit 1
fi

BRANCH_NAME="$1"

# 初回のClaude Codeの作業
on_start() {
  echo ""
  echo "=== Claude Codeの初回作業開始 ==="

  for i in $(seq 1 5); do
    echo "--- Claude Code 実行 ${i}/5 ---"
    claude --dangerously-skip-permissions \
           -p "$(cat path/to/PROMPT.md)" \
           --model opus
  done

  claude --dangerously-skip-permissions \
         -p "plz git push" \
         --model opus
}

# CIパイプライン成功時の処理
on_success() {
  echo ""
  echo "=== CI パイプライン成功 ==="
  echo "Claude Codeに次の作業を指示します..."

  for i in $(seq 1 5); do
    echo "--- Claude Code 実行 ${i}/5 ---"
    claude --dangerously-skip-permissions \
           -p "$(cat path/to/PROMPT.md)" \
           --model opus
  done

  claude --dangerously-skip-permissions \
         -p "plz git push" \
         --model opus
}

# CIパイプライン失敗時の処理
on_failure() {
  echo ""
  echo "=== CI パイプライン失敗 ==="
  echo "Claude Codeに原因となる部分を修正させます..."

  # CIで失敗したテストを修正する
  claude --dangerously-skip-permissions \
         -p "/fix-circleci-pipeline commit-and-push" \
         --model opus
}

on_start

MAX_LOOPS=100
loop_count=0

while [ $loop_count -lt $MAX_LOOPS ]; do
  loop_count=$((loop_count + 1))
  echo "=== ループ ${loop_count}/${MAX_LOOPS} ==="
  echo "$(date '+%Y-%m-%d %H:%M:%S') - CircleCI パイプラインを確認中 (branch: ${BRANCH_NAME})"

  set +e
  output=$("${CHECK_SCRIPT}" "${BRANCH_NAME}" 2>&1)
  exit_code=$?
  set -e

  echo "$output"

  if [ $exit_code -eq 0 ] && echo "$output" | grep -q "実行中です"; then
    echo ""
    echo "パイプライン実行中のため ${WAIT_SECONDS} 秒後に再確認します..."
    sleep "${WAIT_SECONDS}"
    continue
  fi


  if [ $exit_code -eq 0 ]; then
    on_success
  else
    on_failure
  fi

  # CIパイプラインが起動するまでの念のための待機
  sleep 5
done

echo ""
echo "=== ${MAX_LOOPS} ループに達したため終了します ==="

※ CIチェックのシェルスクリプトがこれを想定した作りになっていなかったので、実行中の判定など雑な部分があります

このシェルスクリプトは、以下のループを行います。

  1. Claude Codeに同じ指示を5回与える (指示の中でTODO.mdにチェックが付いていく)
  2. pushしてCIの実行を待つ
  3. 成功したらまたClaude Codeに同じ指示を5回与える。失敗したら修正して再度push
  4. TODOをやり終えたら終了 (指示の中でTODO.mdを確認し、完遂していたらプロセスを自らkill)
  5. 一定のループに達したら終了 (無限ループではなく有限ループにして検証中)

試しにworktreeでbranchを切ってAPIドキュメントの実装でこれを日中にずっと実行させていたら、不足していたドキュメントが2日くらいでほぼ埋まりました。
単純作業であれば、そこそこ力を発揮してくれるようです。

直列の実行で回し続けて、ちゃんと計測していないですがClaude Maxの20xプランで週間リミットを10-20%使ったかな?くらいの感覚でした。

Claude Codeの作業が日中に終わってしまったので、夜中にやらせる事を別途考えないといけません。
別記事でRuboCopのルールを適用していく記事を書いたのですが、これも単純作業タイプなのでこの運用が使えるかもしれません。
また最近Slackの公式MCPも登場したので、エラー通知チャンネルのメッセージを検索・バグ修正・pushするコマンドを作って定期的に実行、みたいな使い方もできそうです。

https://zenn.dev/zaico/articles/d2932ed5227e32

Claude Codeの使用制限を使い倒そう 💪

ZAICO Developers Blog

Discussion