Trust
AI 에이전트 운영 신뢰성
AI 에이전트를 실제 업무에 넣는 일은 성능 문제가 아니라 책임 문제입니다. 잘 만든 에이전트도 권한을 잘못 쥐면 사고를 냅니다. 그래서 고객께서 가장 먼저 확인하셔야 할 것은 “이 회사의 AI가 얼마나 똑똑한가”가 아니라 “이 회사는 AI에게 무엇을 시키지 않는가, 그리고 그것을 어떻게 강제하는가” 입니다. 이 페이지는 그 질문에 대한 답입니다.
명성심재 · 2026년 8월 기준
Why this matters now
먼 미래의 걱정이 아닙니다
가트너는 2027년까지 기업의 40%가 도입했던 AI 에이전트를 되돌릴 것이라고 내다봤습니다. 원인은 성능 부족이 아니라 권한 설계 실패라고 짚었습니다. 실제로 이미 여러 조직이 바로 이 지점에서 대가를 치렀습니다.
에어캐나다
챗봇이 실제 환불 규정과 다른 안내를 했고, 고객은 그 말을 믿고 항공권을 구매했습니다. 캐나다 심판원은 "챗봇도 회사의 일부"라며 배상 책임을 인정했습니다 — 챗봇을 별도 법인으로 떼어 놓을 수는 없다는 판단이었습니다.
2024 · 캐나다 민사심판원 판결
삼성전자
2023년, 직원들이 반도체 설비 소스코드와 회의 녹음을 20일 사이 세 차례 ChatGPT에 그대로 입력했습니다. 회사는 곧바로 사내 전 기기에서 외부 생성형 AI 사용을 전면 금지하고, 자체 AI 플랫폼 구축으로 방향을 돌렸습니다.
2023 · 삼성전자 사내 조치
Replit AI 에이전트
개발자가 "코드 동결"을 명시적으로 지시했는데도, 코딩 에이전트가 임원 정보 1,200여 건이 담긴 프로덕션 데이터베이스를 통째로 삭제했습니다. 무엇을 할지 정하는 권한과 실행 권한이 분리돼 있지 않았던 결과였습니다.
2025 · 공개된 개발 사례
Mata v. Avianca
한 로펌이 소송 준비서면에 AI가 지어낸, 실존하지 않는 판례 6건을 검증 없이 그대로 인용해 제출했습니다. 담당 판사는 제재금을 부과하고 관련된 모든 법원에 정정 서한을 보내도록 명령했습니다.
2023 · 미국 연방법원 판결
네 가지 사례는 각각 발신 · 데이터 · 권한 · 검증 — 아래 다섯 가지 통제가 겨냥하는 자리와 정확히 겹칩니다.
사람이 판단하고, 에이전트가 실행합니다
저희는 업무를 두 층으로 나눕니다. 이 경계는 권고가 아니라 운영 규칙으로 고정되어 있으며, 아래 다섯 가지 통제로 뒷받침됩니다.
사람이 합니다
판단 · 검증 · 승인. 무엇을 할지, 그 결과가 맞는지, 내보내도 되는지.
에이전트가 합니다
수집 · 분석 · 초안 · 반복 실행.
다섯 가지 통제
사람만 하는 일 — 위임 불가 목록
다음 행위는 어떤 상황에서도 에이전트에게 맡기지 않습니다. 에이전트는 준비·초안·대조까지만 하고 멈춥니다.
금전
결제 · 송금 · 계좌 변경 · 세금 신고
법적 약속
계약 체결 · 서명 · 공식 제출
사람
채용 · 해고 · 인사 결정
정보
개인정보 처리 · 고객 및 외부 대상 발신과 발행
특히 외부 발신을 사람 전담으로 둔 점을 강조드립니다. 에이전트가 만든 문서·메시지·수치가 고객이나 제3자에게 직접 나가는 경로는 열어 두지 않습니다.
권한 등급과 승인
모든 에이전트에는 등급이 부여되고, 등급을 넘는 행위에는 사람 승인이 필요합니다.
| 등급 | 할 수 있는 일 | 승인 |
|---|---|---|
| 1 | 조회 · 분석 · 모니터링 | 불요 |
| 2 | 내부 초안 작성 | 불요 (내부 한정) |
| 3 | 승인된 범위의 내부 실행 | 사전 승인 범위 내 |
| 4 | 운영 환경 변경 · 외부 발송 · 발행 | 담당 책임자 승인 |
| 5 | 계약 · 결제 · 법적 사항 · 인사 | 대표 승인 |
각 에이전트는 소속·담당 업무·읽을 수 있는 데이터·실행 권한·사람 승인 지점·결과 기록 위치 여섯 항목을 명시한 상태로만 편성됩니다. “무엇을 하는지 모르는 에이전트”는 두지 않습니다.
실행 기록 — 무엇을 했는지 남습니다
어떤 요청을 받아 어떤 정보를 쓰고 어떤 도구를 호출해 무엇을 산출했는지가 기록으로 남습니다. 작업이 끝나면 결정·근거·미해결 항목·다음 조치가 문서로 확정되고, 산출물 목록은 파일 해시로 고정됩니다. 나중에 “그때 무엇을 근거로 그렇게 했는가”를 되짚을 수 있습니다.
산출물 검증 — 숫자와 판정은 그냥 나가지 않습니다
에이전트가 만든 수치·평가·예측·완료 판정은 그 자체로는 참고값입니다. 그것이 고객 보고서에 들어가거나, 의사결정 근거가 되거나, 기준값으로 저장되는 순간에만 검증 절차가 걸립니다. 검증 강도는 사안의 무게에 따라 세 단계로 나뉘며, 되돌리기 어려운 일·외부로 나가는 수치· 기존 실측과 어긋나는 값은 가장 높은 단계에서 복제 확인과 반대 검증을 거칩니다.
핵심은 이 판정이 사람의 재량이 아니라 프로그램으로 강제된다는 점입니다. 판정 로직은 코드로 구현되어 있고, 자동 시험으로 지속 점검합니다.
최근 점검 결과 (2026-08-11 재실행)
18건 / 18건
대표 사례 전부 정상 판정
24,576건
입력 조건 전체 조합에 대해 11개 안전 규칙 위반 0건
여기서 가장 중요한 규칙은 이것입니다 — 검증되지 않았거나 기존 실측과 모순되는 값은, 어떤 경우에도 행동의 근거로 쓸 수 없다. “미검증”이라는 꼬리표는 면책이 아니라 사용 금지 표시입니다.
격리 — 고객 데이터는 섞이지 않습니다
고객사·프로젝트별로 작업 범위, 접근 가능한 자료, 인증 정보를 분리해 운영합니다. 한 고객의 자료·이력·자격 증명이 다른 고객이나 다른 프로젝트의 작업에 노출되지 않도록 하는 것이 기본 운영 조건입니다. 교육 과정에서 다수 수강자가 동시에 실습하는 환경 역시 참가자 단위로 분리된 환경에서 제공합니다.
How it’s enforced
그 판정, 실제로는 어떻게 강제됩니까
“판정은 코드로 강제된다”는 말을 조금 더 풀어보겠습니다. 원리는 하나입니다 — 무엇을 할지 정하는 판단과, 정해진 규칙을 지켰는지 확인하는 집행을 같은 자리에 두지 않는 것입니다.
판단은 유연하게
무엇을 할지, 자원을 얼마나 쓸지는 상황마다 다릅니다. 이 몫은 에이전트나 사람이 맥락에 맞게 판단합니다.
집행은 단단하게
그 판단이 위임 불가 목록·권한 등급 같은 정해진 규칙을 넘었는지 확인하는 부분만은, 사람이 매번 봐주지 않아도 항상 같은 결론을 내는 코드로 고정합니다.
전수로 확인
규칙을 하나 추가하면, 그 규칙이 걸릴 수 있는 입력 조건을 전부 나열해 예외 없이 규칙대로 동작하는지 확인합니다. 앞서 적은 24,576건 전 조합 시험이 그 결과입니다.
느슨해야 할 자리(판단)와 단단해야 할 자리(집행)를 섞지 않는 것 — 이것이 저희가 말하는 “코드로 강제된다”의 실제 내용입니다.
Limits
우리가 아직 하지 않는 것
신뢰는 잘하는 것을 말하는 데서가 아니라, 못하는 것을 먼저 말하는 데서 생깁니다. 현재 시점의 한계를 그대로 적습니다.
- 01
자동 평가와 전문가 판단의 일치율을 수치로 관리하지 않습니다.
여러 독립 검토 경로를 교차시켜 결론을 검증하고 있으나, 자동 평가가 전문가 판단과 몇 퍼센트 일치하는지를 추적하는 지표는 아직 운영하지 않습니다.
- 02
악의적 입력에 대한 정식 시험 세트가 없습니다.
외부 문서·데이터에 심어진 지시로 에이전트를 오작동시키는 유형의 공격에 대해, 구조적 차단(권한 분리·외부 발신 사람 전담)은 두고 있으나 정기 모의 시험은 아직 체계화하지 않았습니다.
- 03
설정 변경 시 자동 재평가로 배포를 막는 장치가 없습니다.
사용 모델이나 참조 자료가 바뀔 때의 재검증은 현재 사람이 판단해 수행합니다.
- 04
일부 통제는 도입 시점에 함께 점검이 필요합니다.
위에 적은 통제 중 회사 내부 운영에서 상시 가동 중인 것과, 프로젝트 착수 시 해당 사업에 맞춰 구성하는 것이 함께 있습니다. 어느 쪽인지는 증빙으로 구분해 제시합니다.
이 네 가지는 개선 대상으로 관리되고 있으며, 도입 협의 시 현재 상태를 그대로 공유합니다.
고객이 요구하실 수 있는 증빙
도입을 검토하시는 단계에서 다음을 요청하실 수 있습니다. 저희는 요청 범위 안에서 제공합니다.
- 해당 사업에 투입되는 에이전트 명세 — 담당 업무·접근 데이터·권한 등급·사람 승인 지점
- 위임 불가 항목이 해당 사업에서 어떻게 적용되는지에 대한 확인서
- 산출물 검증 단계 기준과, 고객 제출물에 적용될 검증 수준
- 데이터 취급 범위 — 어떤 자료를 읽고, 어디에 보관하며, 언제 파기하는지
- 작업 기록의 보존 형태와 조회 방법
- 사고 발생 시 통보·중단·복구 절차
- 위 한계 항목이 해당 사업에 미치는 영향과 보완 방안
도입 시 협의 사항
에이전트를 어디까지 쓰고 어디부터 사람이 맡을지는 업무마다 다르게 정합니다. 착수 전에 다음 세 가지를 함께 확정합니다.
- 01
이 사업에서 사람이 반드시 결정할 지점은 어디인가
- 02
에이전트가 접근할 자료의 범위는 어디까지인가
- 03
결과물이 고객께 나가기 전 누가 확인하는가
이 세 가지가 정해지지 않은 상태로는 착수하지 않습니다.
우리 업무에는 어디까지 맡길 수 있을까요?
업무와 데이터 환경을 알려주시면, 사람이 맡을 지점과 에이전트가 맡을 지점을 나눈 안을 먼저 드립니다.
도입 문의하기