AI 업무 운영

AI 에이전트 운영 신뢰성

AI 에이전트의 업무 범위와 승인 절차를 정합니다. 자료 수집·분석·초안 작성은 에이전트가, 판단·검증·승인은 사람이 맡습니다. 고객 자료는 분리하고 작업 기록과 결과를 확인합니다.

운영 기준이 필요한 이유

발송·자료 보호·권한·결과를 확인합니다

가트너는 2027년까지 기업의 40%가 도입했던 AI 에이전트를 되돌릴 것이라고 내다봤습니다. 원인은 성능 부족이 아니라 권한 설계 실패라고 짚었습니다. 실제로 이미 여러 조직이 바로 이 지점에서 대가를 치렀습니다.

외부 발신

에어캐나다

챗봇이 실제 환불 규정과 다른 안내를 했고, 고객은 그 말을 믿고 항공권을 구매했습니다. 캐나다 심판원은 "챗봇도 회사의 일부"라며 배상 책임을 인정했습니다 — 챗봇을 별도 법인으로 떼어 놓을 수는 없다는 판단이었습니다.

2024 · 캐나다 민사심판원 판결

데이터

삼성전자

2023년, 직원들이 반도체 설비 소스코드와 회의 녹음을 20일 사이 세 차례 ChatGPT에 그대로 입력했습니다. 회사는 곧바로 사내 전 기기에서 외부 생성형 AI 사용을 전면 금지하고, 자체 AI 플랫폼 구축으로 방향을 돌렸습니다.

2023 · 삼성전자 사내 조치

권한

Replit AI 에이전트

개발자가 "코드 동결"을 명시적으로 지시했는데도, 코딩 에이전트가 임원 정보 1,200여 건이 담긴 프로덕션 데이터베이스를 통째로 삭제했습니다. 무엇을 할지 정하는 권한과 실행 권한이 분리돼 있지 않았던 결과였습니다.

2025 · 공개된 개발 사례

검증

Mata v. Avianca

한 로펌이 소송 준비서면에 AI가 지어낸, 실존하지 않는 판례 6건을 검증 없이 그대로 인용해 제출했습니다. 담당 판사는 제재금을 부과하고 관련된 모든 법원에 정정 서한을 보내도록 명령했습니다.

2023 · 미국 연방법원 판결

발신 · 데이터 · 권한 · 검증을 다섯 가지 운영 기준으로 관리합니다.

사람이 판단하고, 에이전트가 실행합니다

사람과 에이전트의 역할을 나누고, 다섯 가지 운영 기준에 따라 업무를 진행합니다.

사람이 합니다

판단 · 검증 · 승인. 무엇을 할지, 그 결과가 맞는지, 내보내도 되는지.

에이전트가 합니다

수집 · 분석 · 초안 · 반복 실행.

다섯 가지 운영 기준

01

사람이 직접 처리하는 업무

아래 업무는 사람이 직접 처리합니다. 에이전트는 자료 준비 · 초안 작성 · 내용 대조를 돕습니다.

금전

결제 · 송금 · 계좌 변경 · 세금 신고

법적 약속

계약 체결 · 서명 · 공식 제출

사람

채용 · 해고 · 인사 결정

정보

개인정보 처리 · 고객 및 외부 대상 발신과 발행

고객이나 외부에 보내는 문서·메시지·수치는 사람이 확인하고 발송합니다.

02

업무별 실행 권한과 승인

모든 에이전트에는 등급이 부여되고, 등급을 넘는 행위에는 사람 승인이 필요합니다.

등급할 수 있는 일승인
1조회 · 분석 · 모니터링승인 없이 가능
2내부 초안 작성승인 없이 가능 (내부 한정)
3승인된 범위의 내부 실행미리 승인한 범위에서 실행
4운영 환경 변경 · 외부 발송 · 발행담당 책임자 승인
5계약 · 결제 · 법적 사항 · 인사대표 승인

에이전트마다 소속 · 담당 업무 · 이용 자료 · 실행 권한 · 승인 담당자 · 결과 기록 위치를 정합니다.

03

작업 내용과 판단 근거를 기록합니다

요청 내용 · 사용 자료 · 실행 도구 · 결과물을 기록합니다. 결정과 근거, 남은 과제와 다음 조치를 문서로 정리합니다. 파일 변경 여부도 확인할 수 있어 나중에 작업 과정을 살펴볼 수 있습니다.

04

보고서와 의사결정에 쓸 결과를 확인합니다

고객 보고서나 의사결정에 쓰는 수치·평가·예측은 중요도에 따라 세 단계로 확인합니다. 되돌리기 어려운 일, 외부에 전달할 수치, 기존 측정과 다른 값은 같은 결과가 나오는지 다시 확인하고 반대 근거도 검토합니다.

확인 규칙은 프로그램에 적용하고, 자동 시험으로 계속 점검합니다.

운영 규칙 시험 결과 (2026-08-11 재실행)

18건 / 18건

대표 사례 전부 정상 판정

24,576건

입력 조건 전체 조합에 대해 11개 안전 규칙 위반 0건

검증을 거쳐 기존 측정 결과와 일치하는 값을 실행 근거로 사용합니다.

05

고객별 자료와 작업 공간을 분리합니다

고객사·프로젝트별로 작업 범위 · 접근 자료 · 인증 정보를 분리합니다. 교육 실습 환경도 수강자별로 나누어 제공합니다.

운영 규칙 적용 방법

업무 판단과 규칙 확인을 나눕니다

업무에 맞는 방법은 사람이나 에이전트가 판단합니다. 실행 권한과 승인 규칙은 프로그램으로 확인합니다.

업무에 맞게 판단

수행할 업무와 필요한 자원은 사람이나 에이전트가 상황에 맞춰 판단합니다.

실행 전 권한 확인

사람이 맡을 업무와 에이전트의 권한 범위를 프로그램이 같은 기준으로 확인합니다.

입력 조건별 시험

규칙을 추가하면 적용될 입력 조건을 모두 확인합니다. 앞서 안내한 24,576건은 전체 입력 조합을 시험한 결과입니다.

업무에 맞춰 판단하고, 정해진 규칙에 따라 실행합니다.

운영 방식

사업에 맞춰 확인하고 안내합니다

검토 방식 · 실행 권한 · 설정 변경 · 사업별 운영 기준을 확인합니다.

  1. 01

    여러 관점에서 결과를 확인합니다.

    서로 독립된 검토 결과를 비교해 결론을 확인합니다.

  2. 02

    접근 권한과 발송 담당을 구분합니다.

    에이전트의 권한을 분리하고, 외부 발송은 사람이 담당합니다.

  3. 03

    설정 변경 시 재검증을 검토합니다.

    모델이나 참조 자료가 바뀌면 담당자가 재검증 여부를 판단하고 수행합니다.

  4. 04

    사업에 맞는 운영 기준을 함께 정합니다.

    내부에서 운영 중인 항목과 사업에 맞춰 구성할 항목을 구분해 자료로 안내합니다.

도입 협의 시 사업에 적용할 항목과 운영 자료를 함께 안내합니다.

도입 검토에 필요한 자료

도입 검토에 필요한 자료를 요청하시면, 협의한 범위에 맞춰 제공합니다.

  • check에이전트별 담당 업무 · 접근 자료 · 실행 권한 · 승인 담당자
  • check사람이 직접 처리할 업무와 적용 방법 확인서
  • check결과물 확인 기준과 고객 제출 전 점검 수준
  • check자료 이용 범위 · 보관 장소 · 파기 시점
  • check작업 기록 보관 방식과 조회 방법
  • check사고 발생 시 통보·중단·복구 절차

시작 전에 함께 정할 내용

에이전트를 어디까지 쓰고 어디부터 사람이 맡을지는 업무마다 다르게 정합니다. 착수 전에 다음 세 가지를 함께 확정합니다.

  1. 01

    사람이 결정하고 승인할 업무

  2. 02

    에이전트가 이용할 자료의 범위

  3. 03

    고객 제출 전 결과를 확인할 담당자

사람의 결정 범위, 자료 이용 범위, 확인 담당자를 정한 뒤 시작합니다.

우리 업무에는 어디까지 맡길 수 있을까요?

업무와 데이터 환경을 알려주세요. 사람이 맡을 일과 에이전트가 맡을 일을 나눈 도입안을 드립니다.

도입 문의하기