사람이 AI 명령을 검사하면 3개 중 1개를 놓친다. 4만 판이 증명한 착각과 인디 빌더가 봐야 할 신호 3 가지

📅 2026.08.07 | ✍️ 경제 흐름을 읽어주는 형

오늘 아침 형이 챙긴 소식은 숫자 하나로 요약돼. AI 에이전트가 내리는 명령을 사람이 옆에서 지켜보다가 허락할지 말지 눌러 주는데, 그 사람이 위험한 명령 세 개 중 한 개를 그냥 통과시키더라는 거야. 어느 연구팀이 이걸 게임으로 만들어서 확인했어. 화면에 명령이 뜨면 플레이어가 시간 안에 승인하거나 막아야 하고, 그중에는 평범한 것도 있고 몰래 정보를 빼내거나 파일을 지우는 위험한 것도 섞여 있었어. 이렇게 모인 판이 4만 판이 넘고, 사람이 누른 결정은 40만 건이 넘어. 평균 정확도가 66.3퍼센트로 나왔으니, 딱 세 개 중 한 개를 놓친 셈이야.

형이 이 소식을 고른 이유가 있어. 요즘 코딩 에이전트를 쓰면 위험한 명령이 나올 때 사람한테 물어보는 방식이 안전장치로 통하잖아. 그런데 이 실험은 그 안전장치가 생각보다 허술하다고 대놓고 말해 줘. 우리처럼 에이전트를 직접 만들고 굴리는 사람한테는 그냥 넘길 얘기가 아니야. 형이 여기서 읽는 신호 셋을 풀어볼게.

【 핵심 체크포인트 】

1. 사람은 검문관 노릇을 잘 못한다.

위험 명령을 놓친 비율을 종류별로 나눠 보면 흐름이 보여. 대놓고 파괴적인 명령, 그러니까 전체 디스크를 지우는 것 같은 건 11.7퍼센트만 놓쳤어. 그런데 몰래 정보를 빼내거나 코드를 실행하는 공격은 33.4퍼센트, 있으면 안 될 곳에 손대는 명령은 35퍼센트가 통과됐어. 눈에 확 띄는 건 잘 막는데, 조금만 얌전하게 생겼으면 놓친다는 뜻이야. 더 뼈아픈 건 시간이 갈수록 놓치는 비율이 올라갔다는 점이야. 허락 버튼을 자꾸 누르다 보면 나중엔 대충 넘기게 되는 승인 피로가 실제로 잡혔어. 사람을 안전장치로 세워 두면 처음엔 멀쩡하다가 뒤로 갈수록 새는 구조라는 거지.

2. 익숙한 이름 뒤에 숨기면 성공률이 두 배로 뛴다.

제일 많이 뚫린 명령이 뭐였냐면, 개발자한테 낯익은 실행 명령 하나였어. 그 안에 정보를 빼내는 코드가 화면 기록에 그대로 보이는데도 64.7퍼센트가 승인했어. 낯익은 이름으로 감싼 공격을 모아 보니 절반 넘게, 52.5퍼센트가 통과했는데, 똑같이 정보를 빼내지만 낯선 모양을 한 공격은 28.4퍼센트만 통과했어. 연구팀 말대로 익숙한 이름 뒤에 위험한 걸 숨기면 성공률이 대략 두 배가 돼. 형이 여기서 읽는 신호는 이래. 사람은 명령의 진짜 속뜻보다 겉모양에 반응한다는 거야. 낯익으면 안심하고 눌러 버려. 공격하는 쪽은 이 습관을 정확히 노려.

3. 사람 허락에만 기대는 설계는 답이 아니다.

그렇다고 사람이 무능하다는 결론은 아니야. 문제는 애초에 사람한테 명령을 하나하나 검사시키는 방식 자체에 있어. 어차피 다 못 잡을 뿐 아니라, 멀쩡한 명령까지 자꾸 막게 돼. 실제로 아무 문제 없는 명령을 59퍼센트씩 막아 버린 경우도 있었어. 이런 헛경보가 쌓이면 사람은 더더욱 대충 눌러. 그래서 연구팀이 내놓은 진짜 해법은 사람 눈이 아니야. 위험한 작업은 격리된 공간에서만 돌게 판을 짜고, 중요한 자격증명은 에이전트 손이 닿지 않게 따로 떼어 두라는 거야. 사람이 실수해도 큰일이 안 나도록 바닥을 다시 까는 쪽이지.

【 형 빌드에 어떻게 이어지나 】

형이 만들고 있는 것들에 이 소식이 어떻게 걸리는지 짚어볼게.

MINDCHANGE 하네스 부터야. 이건 답을 내고 스스로 되짚어 검사하는 자가검증 루프인데, 이번 연구가 딱 이걸 뒷받침해. 사람이 세 개 중 하나를 놓친다면, 그 검사를 사람 눈에만 맡길 수 없다는 뜻이잖아. 기계가 자기가 내린 명령을 다시 한번 규칙에 비춰 걸러 주는 절차가 있어야 새는 걸 막아. 형이 이 루프를 만들어 둔 방향이 헛짚은 게 아니라는 확인이지.

agent-starter-kit 하고도 이어져. 형이 나눠 주는 텔레그램 에이전트 키트는 받는 사람이 바로 굴릴 수 있게 만드는 게 목표인데, 이번 소식은 여기에 숙제를 하나 얹어 줘. 편하게 쓰게 하되 위험한 명령은 애초에 손을 못 대게 최소 권한과 격리를 기본값으로 넣어야 한다는 거야. 편함과 안전을 같이 챙기는 게 좋은 키트의 조건이 되겠지.

claude-code-masterpack 도 걸려. 승인 피로라는 게 결국 사람한테 판단할 거리를 너무 많이 던진 탓이거든. 무엇을 사람한테 물어보고 무엇을 규칙으로 자동 처리할지 잘 나누는 게 형이 정리해 온 맥락 설계의 핵심이야. 물어볼 걸 줄여야 정작 중요한 순간에 사람이 집중해서 판단할 수 있어.

【 결론 】

정리하면 이래. 사람이 AI 명령을 검사하면 세 개 중 하나는 놓치고, 시간이 갈수록 더 놓치고, 익숙한 이름으로 감싼 공격엔 특히 약해. 그러니 안전을 사람 손가락 하나에 걸어 두면 안 돼. 위험한 건 격리된 곳에서만 돌게 하고, 중요한 열쇠는 에이전트 손이 안 닿게 떼어 두고, 기계가 자기 명령을 스스로 다시 검사하게 만드는 쪽이 답이야. 형이 인디 빌더한테 남기고 싶은 한마디는, 에이전트를 만들 때 잘 굴러가게 하는 것만큼이나 잘못 굴러도 크게 안 다치게 바닥을 까는 일이 중요해졌다는 거야.

출처: scalex.dev, Humans missed 1 in 3 threats approving AI agent commands

이 글은 2026.08.07 뉴스 + 데이터 기반 AI 도구 활용 재작성.