Wild Issue

AI 에이전트는 정답만 맞으면 될까. 에이전트 평가가 모델 평가보다 어려운 이유와 인디 빌더가 봐야 할 신호 3 가지 📅 2026.08.02 | ✍️ 경제 흐름을 읽어주는 형 오늘 아침 형이 챙긴 글은 한 개발자가 직접 겪은 이야기야. 이 사람은 AgentEval Forge라는 걸 만들고 있어. AI 에이전트가 일을 제대로 하는지 채점해 주는 오픈소스 시험대야. 처음엔 예전에 모델 성능 채점해 본 경험이 있으니 이번 것도 그 연장이겠거니 했대. 그런데 만들면 만들수록 그 생각이 틀렸다는 걸 깨달았다는 거야. 형이 이 글을 고른 이유는 여기 담긴 한 문장 때문이야. 모델을 평가할 땐 답이 좋은지만 물으면 되는데, 에이전트를 평가할 땐 이 시스템을 믿고 맡겨도 되는지를 물어야 한다는 거지. 얼핏 비슷해 보여도 이 둘은 완전히 다른 질문이야. 이 개발자가 만드는 시험대만 봐도 그래. 상황별 시나리오 묶음, 일부러 골탕 먹이는 함정 사례, 에이전트가 밟아 간 경로 채점, 판을 새로 짤 때마다 나빠진 곳을 되짚는 회귀 추적까지 다 담으려고 하거든. 답 하나 채점하는 것과는 무게가 다른 일이야. 왜 다른지 짚어 볼게. 모델은 입력을 넣으면 답 하나를 뱉어. 그 답이 좋은지만 보면 돼. 그런데 에이전트는 답 하나로 끝나지 않아. 도구를 고르고, 실패하면 다시 시도하고, 중간에 상태를 기억하고, 비용을 쓰고, 위험한 행동을 할지 말지 매 순간 정해. 다시 말해 답이 아니라 일하는 과정 전체가 평가 대상이 되는 거야. 이 개발자가 계속 되뇌는 문장이 바로 그거야. 과정이 중요하다. 에이전트가 마지막에 그럴듯한 답을 내놨어도 거기까지 오는 길이 엉망이었을 수 있거든. 처음에 엉뚱한 도구를 골랐다가 운 좋게 수습했거나, 쓸데없이 같은 일을 반복했거나, 더 나은 길이라면 다섯 배는 적게 썼을 비용을 태웠거나 말이야. 결과만 보면 성공으로 채점하지만 실제론 사고였던 셈이지. 그럼 여기서 인디 빌더가 건질 신호를 세 갈래로 풀어보자. 【 핵심 체크포인트 】 ...