그래서 최근 흐름은 에이전트 한 개가 길게 생각해서 답 하나를 내는 구조보다, 여러 후보를 짧게 병렬 생성하고 verifier가 빠르게 압축하는 speculative execution 쪽으로 움직이고 있습니다. 이건 단순히 멀티에이전트를 멋있게 부르는 말이 아닙니다. Task Graph Runtime, Synthetic Replay + Eval Gate, Review Ops Unified Human Gate, Model Release Canary, Agent Handoff Packet처럼, 후보 생성과 검증, 승인, 수렴을 분리하는 운영 설계 쪽으로 이어지는 변화에 가깝습니다.

이 글에서 얻는 것

• 왜 최근 AI 코딩 워크플로가 단일 세션 최적화보다 병렬 초안 + verifier 구조를 더 자주 택하는지 이해할 수 있습니다.
• speculative execution이 맞는 작업과, 오히려 과한 작업을 구분할 수 있습니다.
• 분기 수, 테스트 예산, verifier 기준, 사람 승인 cut point를 어떤 숫자로 잡으면 되는지 감을 잡을 수 있습니다.
• “후보를 많이 만들수록 좋다"는 착각 없이, 실제 throughput과 review 비용을 줄이는 설계를 가져갈 수 있습니다.

핵심 개념/이슈

1) 요즘 병목은 답변 생성보다 재작업 루프에 더 자주 있다

AI 코딩 도구를 오래 써 보면 진짜 느린 구간은 모델 토큰 생성 시간이 아닐 때가 많습니다. 더 자주 비싼 것은 아래입니다.

• 첫 초안이 애매해서 사람이 요구사항을 다시 적어 준다
• 테스트가 일부만 통과해서 다시 수정한다
• 문서와 코드가 어긋나서 재정리한다
• reviewer가 “방향은 맞는데 이 버전 말고 다른 접근도 봐 달라"고 돌려보낸다

즉 비용의 본체는 종종 한 번의 추론이 아니라 다시 지시하고 다시 검토하는 순환 횟수입니다. speculative execution은 이 지점을 줄이려는 방법입니다. 처음부터 완벽한 답 하나를 기대하기보다, 후보 2~4개를 짧게 만들고 verifier가 빠르게 쳐내면 사람은 더 좁은 범위를 비교하면 됩니다.

실무 기준으로는 아래 두 조건이 자주 보이면 speculative 구조를 검토할 가치가 큽니다.

• 같은 종류의 작업에서 첫 답안 재지시율이 30% 이상
• 사람 리뷰가 최종 승인 시간의 절반 이상을 차지

이 상황에서 모델 하나만 바꾸는 것보다 후보 생성과 검증 구조를 바꾸는 편이 효과가 큰 경우가 많습니다.

2) 좋은 speculative execution은 병렬화보다 수렴 규칙이 먼저다

많은 팀이 여기서 실수합니다. 후보를 많이 띄우면 더 좋은 답이 나올 것 같지만, 수렴 규칙이 없으면 review inbox만 더 커집니다. 그래서 좋은 speculative execution은 “몇 개를 만들까"보다 먼저 아래를 정합니다.

1. 허용 분기 수: 보통 후보 2~4개면 충분한가
2. 폐기 기준: lint fail, test fail, diff risk 초과면 즉시 버리는가
3. 채택 기준: pass rate, 변경 범위, rollback ease, 설명 가능성 중 무엇을 우선하는가
4. 승인 위치: 사람은 어느 단계에서 1개로 수렴된 후보만 보는가

핵심은 병렬 생성 자체가 아니라, 비교 비용을 낮춘 후보 집합을 만드는 것입니다. 이 관점은 Task Graph Runtime과 정확히 이어집니다. 분기 노드를 만들더라도 결국 evidence bundle 단계에서 하나로 줄지 않으면 운영 체계가 무너집니다.

3) verifier는 채점기가 아니라 비용 압축기다

Speculative Execution을 제대로 쓰려면 verifier가 필요합니다. 그런데 verifier를 단순 정답 판정기로 이해하면 범위를 너무 좁게 봅니다. 실무에서 verifier는 아래 일을 같이 합니다.

• 형식적 실패 제거: lint, unit test, schema validation
• 위험도 정렬: diff 크기, 권한 변화, 파일 영향 범위
• 증거 압축: 어떤 후보가 왜 남았는지 비교 근거 생성
• 사람 검토 감소: reviewer가 볼 후보 수를 3개에서 1개로 줄임

그래서 verifier 품질은 모델 IQ보다도 운영 비용 절감률로 보는 편이 맞습니다. 예를 들어 후보 3개를 만들더라도 verifier가 2개를 자동 탈락시키고, 남은 1개에 테스트 로그와 요약 근거까지 붙이면 사람 검토 시간이 크게 줄어듭니다. 반대로 verifier가 약하면 후보만 많고 판단은 여전히 사람이 다 해야 합니다.

추천 출발 지표는 아래 정도입니다.

• accepted_candidate_rate: 전체 후보 중 최종 채택 비율 25~50%
• verifier_catch_rate: 사람이 나중에 잡았을 실패를 verifier가 먼저 잡은 비율 70% 이상 목표
• human_review_minutes_saved: 기준선 대비 20% 이상 절감이 안 나오면 구조 재검토
• speculative_retry_inflation: 후보 생성 때문에 총 실행량이 baseline 대비 1.8배 이하 유지

4) 모든 작업이 speculative execution에 맞는 것은 아니다

이 구조가 특히 맞는 작업은 답안 공간이 여러 개인 경우입니다.

• 리팩터링 방향 비교
• 테스트 케이스 보강 방식 비교
• 쿼리 최적화 초안 비교
• 문서 구조화 초안 비교
• 복구 런북 초안 비교

반대로 아래는 대개 단일 경로가 낫습니다.

• 포맷 정리, 기계적 rename, 정형 변환
• 이미 golden path가 있는 코드 생성
• side effect가 즉시 큰 운영 액션
• 후보 다양성보다 contract 준수가 중요한 작업

즉 speculative execution은 “어려운 작업에 항상 더 좋다"가 아니라, 후보 다양성이 실제 가치를 만드는 작업에만 좋다고 보는 편이 맞습니다. 이 선을 못 그으면 분기만 늘고 throughput은 안 늘어납니다.

5) 사람 승인은 마지막이 아니라 수렴 지점에 놓여야 한다

병렬 후보를 여러 개 만든 뒤 사람이 전부 읽어야 한다면, 모델이 만든 작업을 사람에게 그냥 전가한 셈입니다. 그래서 최근 운영은 사람 승인을 맨 끝에 두더라도, 그 전에 verifier가 후보를 하나로 줄이는 수렴 지점을 강하게 둡니다.

보통 흐름은 이렇게 갑니다.

1. 문제 분석 1회
2. 후보 초안 2~4개 병렬 생성
3. verifier가 테스트, 규칙, diff risk 기준으로 1차 정렬
4. evidence bundle 생성
5. 사람은 상위 1개 또는 2개만 검토

이 구조는 Review Ops Unified Human Gate와 잘 맞습니다. 핵심은 사람을 없애는 것이 아니라, 사람이 어디서 가장 적은 인지 비용으로 판단할 수 있는가를 재설계하는 것입니다.

실무 적용

1) 어디부터 병렬화할 것인가

처음부터 코드 수정 전체를 분기할 필요는 없습니다. 보통 아래 순서가 안전합니다.

• 문서 초안 또는 테스트 초안부터 병렬화
• 다음으로 리팩터링 제안이나 대안 설계 비교
• 마지막으로 실제 코드 patch 생성에 제한적으로 적용

이 순서가 좋은 이유는 실패 비용이 낮은 영역에서 verifier 품질을 먼저 올릴 수 있기 때문입니다. 특히 테스트 초안은 pass/fail 기준이 상대적으로 명확해서 speculative 구조를 실험하기 좋습니다.

2) 추천 시작 숫자

처음 도입할 때는 공격적으로 벌리지 않는 편이 낫습니다.

• 후보 분기 수: 2개에서 시작, 많아도 4개 이하
• verifier 단계: lint + unit test + diff size + touched file risk 4종
• 사람 검토 대상: 항상 상위 1~2개 후보로 제한
• speculative 적용 대상: 전체 작업의 상위 20% 난도 작업부터
• 같은 작업의 총 실행 예산: 단일 경로 baseline 대비 2배 이하

이 숫자를 넘기기 시작하면 “좋은 후보를 찾는 것"보다 “후보를 관리하는 것"이 본업이 되기 쉽습니다.

3) 운영 기준과 우선순위

실무에서는 아래 우선순위가 비교적 안전합니다.

1. 사람이 다시 지시하는 횟수 감소
2. verifier가 명백한 실패를 조기 제거
3. 최종 승인 대기 시간 감소
4. 토큰 비용 최적화

측정 기준 예시는 이 정도면 충분합니다.

• 첫 답안 재지시율 30% → 15% 이하
• 리뷰 대상 후보 수 평균 3개 → 1.5개 이하
• verifier_false_positive_rate 10% 이하
• human_gate_backlog_minutes baseline 대비 25% 이상 감소
• patch 최종 채택 후 rollback 필요 비율 5% 이하

비용을 볼 때도 총 토큰만 보지 말고, 사람 시간 절감과 rollback 감소까지 같이 봐야 합니다. 후보 2개를 더 돌렸더니 reviewer 시간이 절반으로 줄었다면 운영 관점에서는 이득일 수 있습니다.

4) 2주 파일럿 방법

1주차
최근 비슷한 수정 작업 10건을 고르고, 첫 답안 재지시율과 사람 리뷰 시간을 적습니다. 그다음 작업 2종만 골라 후보 2개씩 병렬 생성해 봅니다.

2주차
verifier에 lint, unit test, diff risk rule을 붙이고, reviewer는 상위 1~2개 후보만 보게 제한합니다. 이후 accepted_candidate_rate, verifier_catch_rate, human_review_minutes_saved를 기록합니다.

이렇게 하면 “우리 팀에 진짜 병렬 후보가 필요한가"를 감이 아니라 수치로 볼 수 있습니다.

5) 운영 점수표를 먼저 정해 두면 실패가 빨리 보인다

Speculative execution을 도입할 때 의외로 자주 생기는 문제는, 후보를 여러 개 만들기 시작한 뒤에야 “무엇이 좋아진 것인지"를 다시 정의하는 것입니다. 이 순서로 가면 대개 체감은 분산되고 비용만 남습니다. 그래서 파일럿 단계에서도 아래처럼 운영 점수표(scorecard) 를 먼저 고정하는 편이 훨씬 낫습니다.

이 표의 좋은 점은 토큰 비용, 모델 성능, 사람 리뷰 시간을 한 줄에서 같이 볼 수 있다는 것입니다. 예를 들어 후보 3개를 만들었는데 merge 시간은 줄고 rollback도 줄었다면, 토큰이 조금 늘어도 운영 관점에서는 성공일 수 있습니다. 반대로 accepted candidate rate가 지나치게 낮고 reviewer 시간이 그대로라면, 병렬화가 아니라 문제 분해나 verifier 규칙을 먼저 손봐야 합니다.

6) 어떤 verifier부터 붙여야 하나

초기 verifier는 똑똑할 필요보다 안정적이고 설명 가능해야 합니다. 추천 순서는 아래와 같습니다.

1. lint/format
2. unit test or focused test
3. changed files scope check
4. diff size / risky file heuristic
5. summary quality or rationale check

이 순서가 좋은 이유는 앞의 4개는 비교적 객관적이고, 마지막 하나만 다소 해석이 들어가기 때문입니다. verifier가 설명 가능해야 reviewer도 결과를 신뢰할 수 있습니다. 이건 Synthetic Replay + Eval Gate와 Model Release Canary가 강조하는 방향과도 같습니다.

트레이드오프/주의점

첫째, 분기 수가 많을수록 좋은 후보가 나온다는 보장은 없습니다. 일정 수준을 넘기면 후보 품질보다 비교 비용이 더 빨리 늘어납니다.

둘째, verifier가 약하면 speculative execution은 거의 항상 손해입니다. 후보를 여러 개 만드는 비용을 줄일 장치가 없기 때문입니다.

셋째, side effect가 큰 작업은 병렬 생성과 병렬 적용을 분리해야 합니다. 초안은 여러 개여도 실제 적용은 항상 단일 승인 경로로 수렴해야 합니다.

넷째, 사람 검토를 없앨 생각으로 도입하면 실패하기 쉽습니다. 잘 되는 구조는 사람을 제거하는 게 아니라, 사람이 비교해야 할 범위를 작게 만듭니다.

다섯째, 모델 성능 향상과 speculative execution은 대체 관계가 아닙니다. 모델이 좋아져도 후보 비교와 검증이 필요한 작업군은 계속 남습니다.

자주 실패하는 도입 패턴 4가지

실패 사례를 보면 기술 문제가 아니라 운영 순서가 잘못된 경우가 많습니다. 특히 아래 네 패턴은 초기에 가장 많이 부딪히는 함정입니다.

1. 후보 수부터 늘리는 패턴
   “일단 5개 돌려 보자"로 시작하면 verifier보다 reviewer inbox가 먼저 터집니다. 후보 수 증가는 항상 마지막 조절 변수여야 합니다.
2. 검증 기준이 자연어 감상에 머무는 패턴
   “이 후보가 더 좋아 보인다” 수준으로 비교하면 speculative execution의 이점이 거의 사라집니다. 테스트, diff risk, touched files, rollback ease 같은 증거 기준이 먼저여야 합니다.
3. side effect가 있는 작업까지 병렬 적용하는 패턴
   초안 병렬화와 실제 적용 병렬화는 완전히 다른 문제입니다. 외부 전송, 데이터 변경, 배포는 끝까지 단일 승인 경로로 수렴시켜야 합니다.
4. 사람 검토 대상을 줄이지 않는 패턴
   후보 3개를 만든 뒤 reviewer가 3개를 다 읽는 구조면, 모델이 줄여야 할 인지 비용을 사람에게 그대로 떠넘긴 셈입니다.

실무적으로는 이 네 가지 중 하나라도 보이면, 모델 교체보다 먼저 분기 상한, verifier 규칙, human gate 위치를 다시 잡는 편이 훨씬 효과적입니다.

체크리스트 또는 연습

체크리스트

• 첫 답안 재지시율과 사람 리뷰 시간을 측정하고 있다.
• speculative 적용 대상 작업을 난도와 후보 다양성 기준으로 제한했다.
• 후보 분기 수 상한이 정해져 있다.
• verifier가 lint, test, diff risk 같은 객관적 기준을 먼저 본다.
• 사람 검토는 상위 1~2개 후보로 수렴된 뒤에만 열린다.
• side effect가 있는 작업은 단일 승인 경로로만 적용된다.

연습 과제

1. 최근 반복된 수정 작업 5건을 골라, “첫 답안으로 바로 승인된 비율"과 “다시 지시한 횟수"를 적어 보세요.
2. 그중 1건에 대해 후보 2개만 병렬 생성한다고 가정하고, 어떤 verifier 규칙 3개를 먼저 붙일지 써 보세요.
3. reviewer가 후보 3개를 다 보는 구조와 상위 1개만 보는 구조를 비교해, 어느 지점에서 시간이 절감될지 계산해 보세요.
4. speculative execution을 적용하면 안 되는 작업 3가지를 현재 팀 워크플로에서 골라 보세요.

관련 글

• Task Graph Runtime
• Synthetic Replay + Eval Gate
• Review Ops Unified Human Gate
• Model Release Canary
• Agent Handoff Packet