사람이 AI 명령을 검사하면 3개 중 1개를 놓친다. 4만 판이 증명한 착각과 인디 빌더가 봐야 할 신호 3 가지
사람이 AI 명령을 검사하면 3개 중 1개를 놓친다. 4만 판이 증명한 착각과 인디 빌더가 봐야 할 신호 3 가지 📅 2026.08.07 | ✍️ 경제 흐름을 읽어주는 형 오늘 아침 형이 챙긴 소식은 숫자 하나로 요약돼. AI 에이전트가 내리는 명령을 사람이 옆에서 지켜보다가 허락할지 말지 눌러 주는데, 그 사람이 위험한 명령 세 개 중 한 개를 그냥 통과시키더라는 거야. 어느 연구팀이 이걸 게임으로 만들어서 확인했어. 화면에 명령이 뜨면 플레이어가 시간 안에 승인하거나 막아야 하고, 그중에는 평범한 것도 있고 몰래 정보를 빼내거나 파일을 지우는 위험한 것도 섞여 있었어. 이렇게 모인 판이 4만 판이 넘고, 사람이 누른 결정은 40만 건이 넘어. 평균 정확도가 66.3퍼센트로 나왔으니, 딱 세 개 중 한 개를 놓친 셈이야. 형이 이 소식을 고른 이유가 있어. 요즘 코딩 에이전트를 쓰면 위험한 명령이 나올 때 사람한테 물어보는 방식이 안전장치로 통하잖아. 그런데 이 실험은 그 안전장치가 생각보다 허술하다고 대놓고 말해 줘. 우리처럼 에이전트를 직접 만들고 굴리는 사람한테는 그냥 넘길 얘기가 아니야. 형이 여기서 읽는 신호 셋을 풀어볼게. 【 핵심 체크포인트 】 1. 사람은 검문관 노릇을 잘 못한다. 위험 명령을 놓친 비율을 종류별로 나눠 보면 흐름이 보여. 대놓고 파괴적인 명령, 그러니까 전체 디스크를 지우는 것 같은 건 11.7퍼센트만 놓쳤어. 그런데 몰래 정보를 빼내거나 코드를 실행하는 공격은 33.4퍼센트, 있으면 안 될 곳에 손대는 명령은 35퍼센트가 통과됐어. 눈에 확 띄는 건 잘 막는데, 조금만 얌전하게 생겼으면 놓친다는 뜻이야. 더 뼈아픈 건 시간이 갈수록 놓치는 비율이 올라갔다는 점이야. 허락 버튼을 자꾸 누르다 보면 나중엔 대충 넘기게 되는 승인 피로가 실제로 잡혔어. 사람을 안전장치로 세워 두면 처음엔 멀쩡하다가 뒤로 갈수록 새는 구조라는 거지. 2. 익숙한 이름 뒤에 숨기면 성공률이 두 배로 뛴다. ...