단계마다 90% 맞히는 AI 에이전트, 그런데 왜 일은 세 건 중 두 건만 끝낼까

링크드인에 영어로 먼저 올린 글을 한국어로 옮겼습니다.

AI 에이전트가 단계마다 90%를 맞혀도, 일 전체로 보면 세 건 중 두 건만 끝낼 수 있습니다.

저희가 만든 작은 AI 엔진에서 실제로 본 일입니다. 화면 하나하나로 보면 90.7%를 맞혔는데, 일 12건 가운데 끝까지 해낸 것은 8건이었습니다.

그래서 서로 다른 검토자 둘에게 저희 주장을 반박해 달라고 했습니다. 좋은 지적이 나왔습니다. 실수는 서로 이어져 있고, 단계별 시험은 어디서 깨지는지 보여 주며, 모든 것을 확인하려면 시간이 듭니다.

그래서 질문을 바꿨습니다. 「단계를 볼까, 일 전체를 볼까」가 아니라 「실수를 아직 되돌릴 수 있는 곳이 어디까지인가」입니다.

어떤 일에든 되돌릴 수 없는 지점이 몇 군데 있습니다. 제출, 결제, 삭제, 발송입니다. 거기서 확인합니다. 그 앞의 단계는 실제 화면으로 시험합니다. 그리고 에이전트에게 되돌아갈 길을 만들어 줍니다.

여러분 일에서 되돌릴 수 없는 지점은 어디입니까?

슬라이드 (영어)

원문

• 영어 원문 (이 사이트)
• 링크드인 게시물