2-AI 개발 방법론과 에이전트 운영

실행자(Claude Code)와 독립 검증자(Codex)를 나누고, 검증 게이트·TDD·파일 기반 인계를 어느 프로젝트에나 설치해 쓰는 방법론 킷과, 여러 맥에서 에이전트 세션을 운영하는 도구들을 묶은 개인 프로젝트다. 킷은 1.12.0까지 운영 중이고 현 직장 과제(쇼츠 자동 제작 서비스 등)에도 적용했다. 주변 도구는 운영·보류·중단이 섞여 있어 구성요소별로 상태를 따로 적었다.

• 같은 AI가 만들고 채점하면 결함을 놓친다. 긴 작업에서는 맥락이 사라지고, 「동작하는 것 같다」가 검증을 대신한다.
• 같은 검증자가 반복하면 시각이 고착돼 왕복이 끝나지 않았다 — 에이전트 대시보드 기획은 계획 검증을 40회 넘게 통과하지 못했다.
• 양식·스킬을 통째로 깔면 쓰지 않는 파일이 지침을 흐리고, 외부 스킬 모음은 자동 발동·질문 방식·리뷰 권한이 서로 겹쳤다.
• 운영자가 자리를 비우면 검증 판정·완료를 알 수 없었고, 여러 맥 세션 사이 메시지를 사람이 번갈아 붙여 넣어야 했다.

구현·문서는 AI 에이전트가 했다 — Claude Code가 실행자, Codex가 독립 검증자. 아래는 결정·지시 기록이 남은 것만이다. 방법론 골격·게이트 계약·세션 메시징 도구 구조의 설계 주체와 그 도구의 설치 주체는 기록이 없어 적지 않는다.

• 검증 규칙 정의: 4차 검증 체계(1.4.0)와 대체 검증자 규칙(다른 모델로 대신한 단계는 나중에 Codex 최종 검증·별도 보고)을 정의했다 — 적용 프로젝트 진행 로그의 본인 정의 기록.
• 선택형 조합 CLI 결정: 본인 결정 11개 중 7개는 직접 답을 정했고 4개는 AI 추천안을 채택했다. 진행 원칙(단계마다 Codex 확인, 문서는 Codex 2회 검증 뒤 진행)을 지시했고, 계획 검증이 2회 반려된 뒤 구현 진입을 지시했다(user_directed — 통과 아님). 모듈 발행·재시험, 파일럿 사용자 역할을 Codex로 두는 것도 결정했다.
• 방향·정리 요청: 「계속 갱신·진화하는 방법론, 파생 모델과 계보 지도」 방향과 계보 트리, 보안 패치 점검표, 킷 폴더 정리를 요청했다.
• 운영 도구: mods는 요구와 「실행계획 → Codex 1회 검증 → 진행」 순서를 지시했다. 에이전트 대시보드는 회차 상한에서 멈춘 뒤 새 상한(5회)을 승인했고, 실행자가 이를 넘겨 진행한 것을 지시 위반으로 정정했다.

1. 3차부터 검증 주체를 바꾸고, 4차 뒤에는 재검증 없이 진행한다 — 1·2차는 Codex가 수정 가이드와 함께 보고, 3차부터 Claude가 검증하고 Codex는 보정안만 낸다. 42회 미통과 사례를 나눠 보니 진짜 설계 공백은 1건이고 나머지는 문서 여러 곳에 산문으로 쓴 값의 불일치였다 — 같은 검증자가 계속 보면 같은 층위의 지적만 반복된다. 4차 뒤 남은 지적은 숨기지 않고 기록·보고한 뒤 다음 작업으로 간다.
2. 종료 근거를 셋으로 나눠 적는다 — 「통과」로 적는 것은 Codex exit 0뿐이다. 3차 교대로 닫은 것은 role_swap_verified, 본인 지시로 진행한 것은 user_directed로 남긴다. 나눠 적지 않으면 종료 규칙이 통과를 만들어 내는 장치로 바뀐다.
3. 대체 검증자에게는 통과 확정 권한을 주지 않는다 — Codex를 쓸 수 없을 때 다른 모델(Qwen)로 대신하되, 그 단계는 나중에 Codex 최종 검증을 받아야 끝난다. 검증 강도가 낮았던 구간을 사용자가 알아야 판단할 수 있다.
4. 양식은 묻고 고른 것만 꺼낸다 — 처음 설치는 뼈대와 질문 목록만 두고, 에이전트가 묻고 사용자가 고른 양식만 꺼낸다. 양식을 고르지 않아도 검증 의무는 그대로다. 선택형 조합 CLI도 본인 결정 11개에 필요한 기능만 1차로 만들었다.

• 시작(2026.04 ~ 07): 자막 번역 과제의 TDD + 팀 에이전트 가이드에서 출발해 킷 1.0.0이 됐다.
• 운영 도구(2026.07 ~ 09): 텔레그램 원격 조종(계획 검증 6회 반려 뒤 보류), 맥 간 세션 메시징(1.0.0~1.2.0), 에이전트 대시보드, 여러 세션을 취합해 음성으로 보고하는 리더 Claude(이후 꺼 둠)가 차례로 나왔다.
• 검증 규칙(2026.09): 5회 체계를 같은 날 4차 체계로 바꿨고, 적용 프로젝트(쇼츠 자동 제작 서비스)에서 첫 Codex 통과(exit 0)가 나왔다.
• 킷 확장(2026.09 ~ 10): LLM-wiki 연동 → 한글 문장 표준 → HTML 문서·슬라이드 양식 → 선택 템플릿 → 선택형 조합 CLI 연결 → 보안 패치 점검표(1.6.0 → 1.12.0).
• 선택형 조합 CLI(2026.10): 핵심 마일스톤이 구현됐다. 계획 검증과 첫 모듈 발행은 본인 지시로 진행했고, 나머지 다섯 마일스톤은 모두 Codex 1·2차 반려 뒤 3차 교대 재검증으로 닫혔다.
• 계보 트리(2026.10): 배포판 13·추적 항목 74·확인된 파생 0의 첫 판이 나왔다(브라우저 보조 측정 11/11 — 브라우저 게이트 아님).

• 킷 1.12.0: 템플릿 12파일, 배포 16파일. 킷 회귀 878 PASS·0 FAIL — Codex 응답 대역(fake codex)을 사용한 회귀 시험, 킷 1.12.0 기준.
• 선택형 조합 CLI: 시험 323 통과·타입 검사 0(macOS·Node 25.9). 실제 모듈 목록으로 시험 프로필 10개 중 9개가 후보를 냈다. 마일스톤 검증의 Codex exit 0은 0건이다.
• 3차 교대가 Codex 1·2차가 놓친 결함을 찾았다 — 파생 단계의 모델 조건 우회(치명), 입력 기록 파일이 특수 파일(FIFO)이면 명령이 멈추는 문제.
• 세션 메시징 도구는 16mac·smac에 설치돼 있고, 발신 전 안전 검사가 실운영에서 5회 막았다.
• 조직 기여·사용자 효과는 근거가 없다.

• 선택형 조합 CLI의 모든 마일스톤에서 Codex 1·2차 반려가 반복됐는데, 그 원인을 분석한 기록은 없다.
• 파일럿에서 에이전트가 사용자 답을 이어 붙여 「확정 응답」으로 기록하는 행동이 반복 관측됐고 아직 해결하지 않았다. 파일럿 실행 수가 적어 성공률·재현성은 평가하지 못했다.
• 실측 환경은 macOS·Node 25.9뿐이고 그 밖은 미검증이다.
• 세션 메시징 도구는 원격 세션을 띄울 때 기본값이 Claude Code의 권한 확인 생략 모드다. 전용 SSH 키·피어 설정으로 연결하고 발신 전 안전 판정이 있지만, 쓰는 쪽이 이 기본값을 알고 써야 한다.
• 에이전트 대시보드는 git상 구현 기록(85커밋)이 있지만 지금 가동하지 않고, 최종 상태는 확인이 필요하다.

• 킷: bash 3.2 CLI(method.sh), 판정 종료 코드 0/2/3, 리뷰 파일 회차 누적(덮어쓰기 금지), 런타임 의존은 Codex CLI 하나
• 선택형 조합 CLI: TypeScript 순수 core + Node CLI, 입력을 기다리지 않는 JSON 한 줄 출력, 기존 파일을 덮어쓰지 않는 적용, 승인 기록
• 운영 도구: tmux + SSH(세션 메시징), SQLite·Telegram Bot API(원격 조종), 이벤트 수집·서버·웹(대시보드), Tailscale
• 검증 보조: 브라우저 게이트, 변이 시험, Qwen3.8 대체 검증(OpenAI 호환)

• 도구가 한 일: Claude Code가 킷·CLI·운영 도구의 계획·구현·시험을 맡고, Codex가 읽기 전용으로 검증을 판정했다. 선택형 방법론 기획안은 반대로 Codex가 쓰고 Claude가 검토했고, 파일럿에서는 사용자 역할도 Codex가 맡았다.
• 본인이 한 일: 규칙과 진행·발행 결정(위 「본인 역할」) — 반려 중 진행한 결정은 user_directed로 남겨 통과와 구분했다.
• 다른 사례에 적용: 쇼츠 자동 제작 서비스에서는 사용자가 정한 2회 상한이 4차 체계보다 우선하는 운용으로 이어졌다.