Trust

AI 에이전트 운영 신뢰성

AI 에이전트를 실제 업무에 넣는 일은 성능 문제가 아니라 책임 문제입니다. 잘 만든 에이전트도 권한을 잘못 쥐면 사고를 냅니다. 그래서 고객께서 가장 먼저 확인하셔야 할 것은 “이 회사의 AI가 얼마나 똑똑한가”가 아니라 “이 회사는 AI에게 무엇을 시키지 않는가, 그리고 그것을 어떻게 강제하는가” 입니다. 이 페이지는 그 질문에 대한 답입니다.

명성심재 · 2026년 8월 기준

사람이 판단하고, 에이전트가 실행합니다

저희는 업무를 두 층으로 나눕니다. 이 경계는 권고가 아니라 운영 규칙으로 고정되어 있으며, 아래 다섯 가지 통제로 뒷받침됩니다.

사람이 합니다

판단 · 검증 · 승인. 무엇을 할지, 그 결과가 맞는지, 내보내도 되는지.

에이전트가 합니다

수집 · 분석 · 초안 · 반복 실행.

다섯 가지 통제

사람만 하는 일 — 위임 불가 목록

다음 행위는 어떤 상황에서도 에이전트에게 맡기지 않습니다. 에이전트는 준비·초안·대조까지만 하고 멈춥니다.

금전

결제 · 송금 · 계좌 변경 · 세금 신고

법적 약속

계약 체결 · 서명 · 공식 제출

사람

채용 · 해고 · 인사 결정

정보

개인정보 처리 · 고객 및 외부 대상 발신과 발행

특히 외부 발신을 사람 전담으로 둔 점을 강조드립니다. 에이전트가 만든 문서·메시지·수치가 고객이나 제3자에게 직접 나가는 경로는 열어 두지 않습니다.

권한 등급과 승인

모든 에이전트에는 등급이 부여되고, 등급을 넘는 행위에는 사람 승인이 필요합니다.

등급	할 수 있는 일	승인
1	조회 · 분석 · 모니터링	불요
2	내부 초안 작성	불요 (내부 한정)
3	승인된 범위의 내부 실행	사전 승인 범위 내
4	운영 환경 변경 · 외부 발송 · 발행	담당 책임자 승인
5	계약 · 결제 · 법적 사항 · 인사	대표 승인

각 에이전트는 소속·담당 업무·읽을 수 있는 데이터·실행 권한·사람 승인 지점·결과 기록 위치 여섯 항목을 명시한 상태로만 편성됩니다. “무엇을 하는지 모르는 에이전트”는 두지 않습니다.

실행 기록 — 무엇을 했는지 남습니다

어떤 요청을 받아 어떤 정보를 쓰고 어떤 도구를 호출해 무엇을 산출했는지가 기록으로 남습니다. 작업이 끝나면 결정·근거·미해결 항목·다음 조치가 문서로 확정되고, 산출물 목록은 파일 해시로 고정됩니다. 나중에 “그때 무엇을 근거로 그렇게 했는가”를 되짚을 수 있습니다.

산출물 검증 — 숫자와 판정은 그냥 나가지 않습니다

에이전트가 만든 수치·평가·예측·완료 판정은 그 자체로는 참고값입니다. 그것이 고객 보고서에 들어가거나, 의사결정 근거가 되거나, 기준값으로 저장되는 순간에만 검증 절차가 걸립니다. 검증 강도는 사안의 무게에 따라 세 단계로 나뉘며, 되돌리기 어려운 일·외부로 나가는 수치· 기존 실측과 어긋나는 값은 가장 높은 단계에서 복제 확인과 반대 검증을 거칩니다.

핵심은 이 판정이 사람의 재량이 아니라 프로그램으로 강제된다는 점입니다. 판정 로직은 코드로 구현되어 있고, 자동 시험으로 지속 점검합니다.

최근 점검 결과 (2026-08-11 재실행)

18건 / 18건

대표 사례 전부 정상 판정

24,576건

입력 조건 전체 조합에 대해 11개 안전 규칙 위반 0건

여기서 가장 중요한 규칙은 이것입니다 — 검증되지 않았거나 기존 실측과 모순되는 값은, 어떤 경우에도 행동의 근거로 쓸 수 없다. “미검증”이라는 꼬리표는 면책이 아니라 사용 금지 표시입니다.

격리 — 고객 데이터는 섞이지 않습니다

고객사·프로젝트별로 작업 범위, 접근 가능한 자료, 인증 정보를 분리해 운영합니다. 한 고객의 자료·이력·자격 증명이 다른 고객이나 다른 프로젝트의 작업에 노출되지 않도록 하는 것이 기본 운영 조건입니다. 교육 과정에서 다수 수강자가 동시에 실습하는 환경 역시 참가자 단위로 분리된 환경에서 제공합니다.

Limits

우리가 아직 하지 않는 것

신뢰는 잘하는 것을 말하는 데서가 아니라, 못하는 것을 먼저 말하는 데서 생깁니다. 현재 시점의 한계를 그대로 적습니다.

01
자동 평가와 전문가 판단의 일치율을 수치로 관리하지 않습니다.
여러 독립 검토 경로를 교차시켜 결론을 검증하고 있으나, 자동 평가가 전문가 판단과 몇 퍼센트 일치하는지를 추적하는 지표는 아직 운영하지 않습니다.
02
악의적 입력에 대한 정식 시험 세트가 없습니다.
외부 문서·데이터에 심어진 지시로 에이전트를 오작동시키는 유형의 공격에 대해, 구조적 차단(권한 분리·외부 발신 사람 전담)은 두고 있으나 정기 모의 시험은 아직 체계화하지 않았습니다.
03
설정 변경 시 자동 재평가로 배포를 막는 장치가 없습니다.
사용 모델이나 참조 자료가 바뀔 때의 재검증은 현재 사람이 판단해 수행합니다.
04
일부 통제는 도입 시점에 함께 점검이 필요합니다.
위에 적은 통제 중 회사 내부 운영에서 상시 가동 중인 것과, 프로젝트 착수 시 해당 사업에 맞춰 구성하는 것이 함께 있습니다. 어느 쪽인지는 증빙으로 구분해 제시합니다.

이 네 가지는 개선 대상으로 관리되고 있으며, 도입 협의 시 현재 상태를 그대로 공유합니다.

고객이 요구하실 수 있는 증빙

도입을 검토하시는 단계에서 다음을 요청하실 수 있습니다. 저희는 요청 범위 안에서 제공합니다.

check해당 사업에 투입되는 에이전트 명세 — 담당 업무·접근 데이터·권한 등급·사람 승인 지점
check위임 불가 항목이 해당 사업에서 어떻게 적용되는지에 대한 확인서
check산출물 검증 단계 기준과, 고객 제출물에 적용될 검증 수준
check데이터 취급 범위 — 어떤 자료를 읽고, 어디에 보관하며, 언제 파기하는지
check작업 기록의 보존 형태와 조회 방법
check사고 발생 시 통보·중단·복구 절차
check위 한계 항목이 해당 사업에 미치는 영향과 보완 방안

도입 시 협의 사항

에이전트를 어디까지 쓰고 어디부터 사람이 맡을지는 업무마다 다르게 정합니다. 착수 전에 다음 세 가지를 함께 확정합니다.

01
이 사업에서 사람이 반드시 결정할 지점은 어디인가
02
에이전트가 접근할 자료의 범위는 어디까지인가
03
결과물이 고객께 나가기 전 누가 확인하는가

이 세 가지가 정해지지 않은 상태로는 착수하지 않습니다.

우리 업무에는 어디까지 맡길 수 있을까요?

업무와 데이터 환경을 알려주시면, 사람이 맡을 지점과 에이전트가 맡을 지점을 나눈 안을 먼저 드립니다.

도입 문의하기