이 변화는 자연스럽습니다. 데모 단계에서는 답변 품질이 중요하지만, 실제 서비스 단계에서는 AI 출력이 워크플로를 직접 건드립니다. 잘못된 필드 하나, 누락된 권한 값 하나가 배포 실패나 보안 사고로 이어질 수 있습니다. 그래서 최근 실무 트렌드는 프롬프트 미세조정보다 **Schema-Constrained Output(구조화 출력 제약) + Runtime Validator(실행 전 검증 게이트)**로 이동하고 있습니다.

핵심은 간단합니다. 자연어 응답을 “좋아 보이는 문장"으로 다루지 않고, **검증 가능한 계약(Contract)**으로 다루는 팀이 운영 사고를 빠르게 줄이고 있습니다.

이 글에서 얻는 것

• 왜 “모델 정확도 개선"만으로는 운영 안정성이 안 올라가는지 구조적으로 이해할 수 있습니다.
• 출력 스키마, 정책 검증, 자동 복구(repair) 단계를 어디에 배치해야 하는지 실무 기준을 가져갈 수 있습니다.
• 도입 시 필요한 의사결정 기준(허용 실패율, 재생성 횟수, 수동 승인 전환 조건)을 숫자 중심으로 정리할 수 있습니다.

핵심 개념/이슈

1) 운영 실패의 본질은 모델 지능보다 출력 변동성이다

같은 입력이라도 모델 출력은 길이, 필드명, enum 표현, null 처리 방식이 흔들릴 수 있습니다. 사람이 읽으면 “의미는 비슷"해 보이지만, 시스템 입장에선 파싱 실패 또는 잘못된 액션입니다.

대표 장애 패턴:

• 필수 필드 누락(target_id, approval_reason 등)
• enum 값 변형(high vs HIGH, allow-once vs allow_once)
• 단위 오해(초/밀리초, 원/달러)
• 금지 필드 포함(PII, 내부 토큰)

즉, 문제는 “정답을 모르는 모델"이 아니라 계약 없이 실행되는 파이프라인입니다. 이 관점은 에이전트 런타임 거버넌스와 A2A 상호운용성에서 다룬 운영 통제 이슈와 같은 축입니다.

2) Schema-Constrained Output은 품질 기능이 아니라 안전장치다

최근 팀들이 공통으로 적용하는 구조는 다음과 같습니다.

1. 출력 계약 정의: JSON Schema/Zod/Protobuf 등으로 필드·타입·범위를 명시
2. 생성 단계 제약: 모델이 계약 외 필드를 만들지 못하도록 generation constraint 적용
3. 런타임 검증: 파싱 + 비즈니스 룰 검증(권한/금액/정책)
4. 실패 처리: 자동 재생성 또는 수동 승인 경로 전환

중요한 포인트는 “스키마가 있으면 끝"이 아니라, 스키마를 실행 게이트와 연결해야 한다는 점입니다. 이 구조가 있어야 Inference Router 품질·비용 게이트와 함께 운영 일관성을 만들 수 있습니다.

3) Validator는 파서가 아니라 정책 엔진에 가깝다

실무에서 유효한 validator는 타입 체크만 하지 않습니다. 아래 계층을 분리해야 사고가 줄어듭니다.

• 형식 검증: JSON 파싱, 필수 필드, enum/범위
• 정책 검증: 역할별 허용 액션, 민감 데이터 마스킹 여부
• 문맥 검증: 현재 세션 상태/예산/승인 단계와의 정합성

예를 들어 “삭제” 요청은 형식이 맞아도 문맥상 승인 없이는 실행되면 안 됩니다. 따라서 validator는 valid/invalid만 반환하기보다 accept / repair / escalate 3분류 결과를 주는 편이 실무에 맞습니다.

4) 자동 복구(Repair Loop)는 제한된 범위에서만 허용해야 한다

검증 실패 후 모델에 “다시 생성해"를 무한 반복하면 지연과 비용이 급증합니다. 최근 운영팀은 repair loop를 아래처럼 제한합니다.

• 재생성 최대 2회
• 각 회차 1초 이내 타임박스
• 같은 필드에서 2회 연속 실패 시 수동 승인 큐 이동

즉 목표는 완전 자동화가 아니라, 자동화 가능한 실패와 사람이 봐야 할 실패를 빠르게 분리하는 것입니다. 이 접근은 승인형 Auto-Remediation 흐름과 맞닿아 있습니다.

실무 적용

1) 참조 파이프라인: Generate → Validate → Repair → Execute

운영에 자주 쓰는 최소 흐름:

1. 모델이 구조화 출력 생성
2. validator가 형식/정책/문맥 검증 수행
3. 실패 시 제한된 repair prompt로 재생성
4. 임계치 초과 실패는 human approval 큐로 이동
5. 통과 결과만 실행 엔진이 반영

이렇게 분리하면 “모델 변경"과 “정책 변경"을 독립적으로 배포할 수 있어 운영 회귀가 줄어듭니다.

2) 의사결정 기준(숫자·조건·우선순위)

우선순위는 보안/정책 준수 > 잘못된 실행 방지 > 지연/비용 최적화 순으로 두는 게 안전합니다.

권장 초기 기준:

• schema validation 실패율: p95 구간 3% 초과 시 경보
• policy validation 실패율: 1% 초과 시 즉시 룰 점검
• 자동 repair 성공률: 70% 미만이면 프롬프트/스키마 동시 재설계
• 재생성 횟수: 최대 2회(초과 시 수동 승인)
• 고위험 액션(권한 변경/외부 전송/삭제): validator 통과 + 2인 승인 필수

운영 전환 기준 예시:

• 2주 카나리에서 잘못된 실행 0건 + 수동 승인율 15% 이하
• 실행 지연 p95가 기존 대비 20% 이내 증가
• 월간 예산 초과 없이 재생성 비용이 전체 AI 비용의 10% 이하

3) 도입 4주 플랜

1주차: 계약 정의
상위 5개 자동화 작업의 입력/출력 스키마를 명시하고, “금지 필드"와 “필수 승인 조건"을 문서화합니다.

2주차: 검증 게이트 삽입
기존 파이프라인 앞단에 validator를 두고, 실패 분류 코드(FORMAT, POLICY, CONTEXT)를 기록합니다.

3주차: repair loop 제한 도입
재생성 횟수 상한, 타임아웃, 수동 전환 조건을 적용합니다.

4주차: 운영 지표 고정
실패율·승인율·잘못된 실행률을 대시보드로 고정하고, 주간 리뷰 루틴을 만듭니다.

4) 운영 대시보드 최소 항목

• 작업 유형별 schema/policy/context 실패율
• 재생성 횟수 분포(0/1/2/수동전환)
• 잘못된 실행(rollback 필요) 건수
• 승인 큐 체류시간(p50/p95)
• 작업별 평균 토큰 비용과 성공률

이 5개가 없으면 “잘 되고 있는지"를 감으로 판단하게 됩니다.

트레이드오프/주의점

1. 초기 개발 속도는 느려질 수 있다
   스키마/검증/승인 흐름을 추가하면 PoC 속도는 떨어집니다. 다만 운영 사고 복구 비용을 크게 줄입니다.

2. 스키마를 과도하게 엄격하게 잡으면 유연성이 사라진다
   자주 바뀌는 도메인은 optional + 버전 필드 전략을 같이 써야 유지보수가 쉽습니다.

3. validator 자체가 새로운 병목이 될 수 있다
   검증 로직이 느리면 전체 지연이 늘어납니다. 고비용 룰은 비동기 후검증과 분리하는 전략이 필요합니다.

4. 사람 승인 큐를 방치하면 결국 전체가 수동으로 회귀한다
   승인율이 높아지면 자동화 범위를 줄이는 게 아니라, 실패 상위 3개 원인을 먼저 제거해야 합니다.

체크리스트 또는 연습

체크리스트

• 상위 자동화 작업마다 출력 스키마(버전 포함)가 정의되어 있다.
• validator가 형식/정책/문맥 실패를 구분해 기록한다.
• repair loop 상한(횟수·시간)과 수동 전환 규칙이 있다.
• 고위험 액션은 자동 실행 전 승인 단계가 강제된다.
• 주간 리뷰에서 실패율 상위 케이스 3개를 개선 backlog로 연결한다.

연습 과제

1. 현재 운영 중인 자동화 작업 3개를 골라, 출력 스키마와 금지 필드를 정의해 보세요.
2. 지난주 실패 로그를 FORMAT/POLICY/CONTEXT로 분류하고, 가장 비중이 큰 실패 유형 1개에 대한 개선안을 작성해 보세요.
3. “재생성 2회 초과 시 수동 승인” 규칙을 시뮬레이션해 승인 큐 체류시간과 잘못된 실행률 변화를 비교해 보세요.

관련 글

• AI 코딩 에이전트 런타임 거버넌스
• Agent-to-Agent 상호운용성
• 승인형 Auto-Remediation 운영
• Inference Router 품질·비용 게이트
• LLM Gateway Prompt Firewall + DLP