· Colinch AI · 8 min read
ChatGPT·Claude·Gemini SOP 검증 - 운영 담당자가 반복 업무를 테스트 케이스로 바꾸는 법
운영 담당자가 반복 SOP를 ChatGPT·Claude·Gemini로 테스트 케이스와 합격 기준으로 바꾸는 프롬프트, 무료·유료 선택, 검수표를 정리한다.
운영 담당자가 매주 같은 절차를 안내하거나 점검한다면 ChatGPT·Claude·Gemini 중 무료 계정 하나로 SOP를 테스트 케이스로 바꾸는 선택이 유리하다. 반대로 AI가 승인·환불·권한 변경을 직접 실행해야 하거나 원문에 개인정보와 비공개 계약이 섞였다면 이 방법만으로는 부족하다. 목표는 SOP를 예쁘게 다시 쓰는 게 아니라, 누가 실행해도 같은 결과가 나오는지 확인할 표를 만드는 데 있다.
SOP를 요약하면 검증이 사라진다
“이 절차를 요약해줘”라고 하면 읽기 좋은 문장이 나온다. 하지만 운영에서 필요한 건 입력 → 행동 → 기대 결과 → 실패 시 처리다. 예를 들어 환불 요청 SOP라면 “고객에게 답변한다”가 아니라 “주문 상태가 결제 완료이고 환불 가능 기간 안이면 담당자가 환불 요청을 생성한다”처럼 조건을 드러내야 한다.
| 결과물 | 확인할 내용 | 사람이 볼 지점 |
|---|---|---|
| 테스트 입력 | 정상·경계·예외 사례 | 실제 규정에 있는 사례인가 |
| 기대 결과 | 통과 조건과 필수 문구 | 숫자·기한·담당자가 맞는가 |
| 실패 처리 | 보류·추가 질문·에스컬레이션 | AI가 임의로 결정하지 않는가 |
| 근거 | SOP의 장·문단 또는 페이지 | 원문에서 추적 가능한가 |
복사해서 쓰는 프롬프트
SOP 원문과 가상 사례 3~5개를 넣고 아래 프롬프트를 실행한다. 실제 고객명, 이메일, 주문번호는 가린 뒤 시작한다.
너는 운영 프로세스 QA 담당자다. 아래 SOP에 없는 규칙은 만들지 마라.
SOP의 각 조건을 정상 2개, 경계 2개, 예외 2개의 테스트 케이스로 바꿔라.
출력 열:
ID | 입력 상황 | 실행 단계 | 기대 결과 | 실패·보류 조건 | 근거 문장 | 확인 필요
규칙:
1. 기대 결과에는 원문에 있는 숫자·기한·담당자만 사용한다.
2. 원문에서 답을 찾지 못하면 “근거 없음”이라고 쓴다.
3. 결제, 개인정보, 법적 분쟁, 권한 변경은 자동 통과시키지 말고 사람 검토로 보낸다.
4. 각 케이스에 사람이 확인할 질문을 최대 1개만 붙인다.
결과표에서 근거 없음이 여러 번 나오면 프롬프트 문제가 아니라 SOP가 비어 있다는 신호다. 그 상태에서 유료 모델로 바꿔도 더 그럴듯한 추측이 늘어날 뿐이다. 운영팀은 케이스별로 통과·실패를 표시하고, 실패한 행의 원인이 입력 부족인지, 절차 충돌인지, AI의 잘못된 해석인지 나눠 기록한다.
무료와 유료의 경계
짧은 SOP 한 건과 가상 테스트 6개는 무료 플랜으로 검증할 수 있다. ChatGPT는 업로드 파일을 분석하고 표·차트를 만들 수 있지만 파일 한도는 플랜·모델·워크스페이스에 따라 달라진다. Claude 무료 플랜도 문서 작업이 가능하나 사용량이 제한되고, Gemini는 파일 업로드와 분석에 롤링 한도가 있으며 더 높은 한도는 유료 Google AI 플랜에서 제공한다고 안내한다.
| 상황 | 선택 | 이유 |
|---|---|---|
| SOP 1~2개, 월 1회 검수 | 무료부터 | 형식과 누락 여부를 확인하는 단계다 |
| 긴 문서 여러 개, 매일 반복 | 유료 검토 | 업로드·대화 한도가 병목인지 측정할 수 있다 |
| 팀이 같은 테스트 세트를 공유 | 회사 승인 워크스페이스 | 권한·보관·검수 책임을 정할 수 있다 |
| 자동으로 시스템을 변경 | 바로 도입하지 않음 | 사람 승인과 되돌리기 절차가 필요하다 |
유료 전환 기준은 “답변이 더 똑똑해 보인다”가 아니다. 2주 동안 처리한 케이스 수, 재검수 시간, 실패 행 수를 기록한 뒤 무료 한도가 실제 병목일 때만 결제한다. 개인용 계정에 회사 원문을 올려도 유료라는 이유만으로 보안 승인이 끝나는 것은 아니다.
10분 검수 체크리스트
- 정상·경계·예외 케이스가 모두 들어갔는가
- 기대 결과마다 SOP 원문 근거가 있는가
- 근거가 없는 답을
근거 없음으로 표시했는가 - 개인정보·결제·권한 변경은 사람 검토로 남겼는가
- 실패한 케이스의 원인을 기록했는가
- 무료 한도가 실제로 업무를 막았는가
Microsoft의 공식 에이전트 평가 체크리스트도 테스트 프롬프트, 기대 답변, 합격 기준을 한 세트로 만들고 여러 번 실행해 기준선을 잡는 흐름을 제시한다. 이 글의 프롬프트도 같은 원칙을 일반 채팅에 적용한 것이다. AI가 SOP를 대신 승인하는 구조가 아니라, 반복 업무의 빈틈을 사람이 발견하는 보조 도구로 써야 결과를 설명할 수 있다.
참고한 공식 문서는 OpenAI 데이터 분석 안내, Anthropic Claude 요금제 안내, Google Gemini 파일 분석 안내, Microsoft 에이전트 평가 체크리스트다. 기능과 한도는 2026년 11월 11일 확인 기준이며 계정·지역·워크스페이스에 따라 달라질 수 있다.