AI한테 물어보게 했더니 사람이 3배 더 틀리고 2배 더 자신만만해졌어. 인디 빌더가 봐야 할 신호 3 가지

📅 2026.07.20 | ✍️ 경제 흐름을 읽어주는 형

오늘 아침 형이 챙겨 본 소식은 유럽 연구팀이 내놓은 실험 하나야. 밀라노 비코카대의 발레리오 카프라로, 파리 고등사범학교의 키아라 마르코차, 로마 사피엔차대의 발테르 콰트로치오키가 함께 사람들한테 문제를 풀게 했어. 일부러 AI가 잘 틀리는 종류의 질문을 골랐지. 영화 속 유니폼 색깔 같은 세세한 시각 정보를 묻는 문제였고, 옆에 붙여준 AI도 이런 걸 자주 틀리는 모델이었어.

결과가 뒤통수를 치더라. AI를 옆에 둔 사람들은 정답을 더 못 맞혔는데, 스스로는 훨씬 더 확신에 차 있었어. 틀린 답을 자신 있게 내놓는 최악의 조합이 나온 거야. 혼자 제품을 짓는 사람 입장에서 이 실험이 무슨 뜻인지, 신호 세 갈래로 풀어보자.

【 핵심 체크포인트 】

1. AI가 곁에 있자 "모르겠다"는 말이 거의 사라졌어.

AI 없이 문제를 풀 때는 사람들이 "모르겠다"고 솔직하게 답한 비율이 44%였어. 그런데 AI를 옆에 붙여주자 이 비율이 3%로 뚝 떨어졌어. 거의 아무도 모른다고 말하지 않게 된 거야. 형이 여기서 눈여겨보는 건 이거야. 연구를 이끈 카프라로가 "모르겠다고 말할 수 있는 능력은 내 지식의 한계를 스스로 인정하는 것이라 매우 중요하다"고 짚었거든. 그 인정하는 힘이 AI가 곁에 있다는 사실 하나만으로 눌려버린 거지. 화면에 그럴듯한 답이 떠 있으면, 사람은 자기가 뭘 모르는지 되짚어 볼 생각을 접어버려. 제품을 만드는 사람이라면 이 장면을 거꾸로 읽어야 해. 사용자가 우리 AI 앞에서 판단을 멈추고 그냥 받아들이기 쉽다는 뜻이니까.

2. 정답률은 떨어지는데 자신감은 치솟았어.

숫자를 나란히 놓으면 더 또렷해져. 정답률은 AI 없을 때 27%에서 AI를 낀 뒤 9%로 세 배 가까이 낮아졌어. 그런데 자신감은 30%에서 76%로 두 배 넘게 뛰었지. 틀린 답을 손에 쥐고도 어느 때보다 확신하는 상태, 이게 가장 위험한 조합이야. 형이 늘 말하는 대목이 바로 여기야. AI가 매끄럽게 대답하는 것과 실제로 맞는 답을 내는 건 전혀 다른 문제라는 거지. 매끄러운 문장은 사람의 경계심을 녹여. 답이 유창하니까 맞겠지 하고 넘겨버리는 거야. 이 실험은 그 착각이 기분 탓이 아니라 숫자로 잡히는 현상이라는 걸 보여줬어. AI를 쓰는 도구를 만들 때, 유창함이 곧 정확함이라는 오해를 사용자가 하지 않도록 설계로 막아줘야 한다는 신호야.

3. 돈을 걸어도 원래대로 못 돌아왔어.

연구팀은 정직하게 답하고 정답을 맞히면 돈을 주겠다는 보상까지 걸어봤어. 그랬더니 정직함은 8%, 정답률은 16%로 조금 올라오긴 했어. 그런데 이 숫자도 AI가 아예 없을 때보다 여전히 낮았어. 형이 이 대목을 특히 무겁게 보는 건, 보상으로도 못 되돌렸다는 게 그만큼 습관 자체가 바뀌었다는 뜻이라서야. 잠깐 방심한 게 아니라, AI 옆에서는 스스로 점검하는 회로가 통째로 느슨해진 거지. 그래서 AI를 얹은 제품을 짓는 사람은 사용자의 의지에만 기대면 안 돼. 사람이 알아서 다시 확인하겠거니 믿는 순간 이 함정에 그대로 빠지거든. 확인하는 절차를 제품 안에 아예 심어두는 쪽이 안전해.

【 형 빌드 cross-reference 】

이번 소식은 형이 붙잡고 있는 것들이랑 곧바로 맞물려.

첫째는 MINDCHANGE 자가검증 루프야. AI가 내놓은 답을 그대로 믿지 않고, 스스로 한 번 더 되짚어 틀린 곳을 잡아내게 만드는 장치인데, 이번 실험이 이 장치가 왜 필요한지를 통째로 증명해 줬어. 사람은 AI 옆에서 확인하는 습관을 잃어버려. 그렇다면 그 확인을 사람의 마음가짐이 아니라 시스템이 대신 떠맡아야 한다는 결론이 나와. 답을 내기 전에 한 번 더 되짚는 절차를 기계 쪽에 심어두면, 유창한 오답이 그대로 사용자한테 흘러가는 걸 막을 수 있어. 형이 이 루프를 붙드는 이유가 오늘 숫자로 또렷해졌어.

둘째는 WILD_SNIPER 트레이딩 봇이야. 형이 이 봇을 굴릴 때 정한 분업 원칙이 있어. 진입 각도는 형이 잡고, 그 자리의 승률은 AI가 계산하고, 최종 결정은 다시 형이 내려. 판단 자체를 AI한테 통째로 넘기지 않는 구조지. 오늘 실험이 이 설계가 왜 옳았는지 뒷받침해 줘. 판단을 AI에 맡기면 자신감만 부풀고 정확도는 떨어진다는 게 숫자로 나왔으니까. 돈이 오가는 트레이딩에서 이 함정에 빠지면 그대로 손실이야. AI는 계산을 돕는 자리에 두고, 결정은 사람이 쥐는 이 분업이 곧 안전장치인 거야.

셋째는 claude-code-masterpack 컨텍스트 엔지니어링이야. AI한테 일을 시킬 때 어떻게 묻고 어떻게 검증할지를 짜임새 있게 설계하는 꾸러미인데, 이 실험의 교훈이 그 한복판에 놓여. AI가 "모르겠다"고 말할 자리를 안 만들어 주면, AI도 사람도 모르는 걸 아는 척 넘겨버려. 그래서 형은 하위 작업을 맡긴 AI가 "다 됐다"고 스스로 보고해도 그대로 안 믿고, 결과를 직접 가져와 눈으로 맞춰봐. 모른다고 말할 통로와 검증할 통로를 처음부터 설계에 넣는 것, 그게 유창한 오답에 속지 않는 유일한 방법이야.

【 결론 】

오늘 소식을 한 문장으로 줄이면 이래. AI를 옆에 두자 사람들은 답을 더 못 맞히면서도 오히려 더 확신했고, 돈을 걸어도 원래의 신중함으로 돌아오지 못했다는 거야. AI가 똑똑해서 생긴 문제가 아니라, 그럴듯한 답이 곁에 있다는 사실만으로 사람의 점검하는 습관이 느슨해져서 생긴 문제야. 혼자 제품을 짓는 사람한테 오늘 점검할 질문은 셋이야. 내 도구가 유창한 오답을 걸러내는 확인 절차를 품고 있는지, 판단을 사람과 AI가 어떻게 나눠 쥐고 있는지, 그리고 "모르겠다"고 말할 통로를 설계에 열어뒀는지. 유창함은 정확함이 아니야. 그 둘을 갈라놓는 장치를 만드는 사람만이, 오늘 실험 속 함정을 비켜 갈 수 있어.

출처 = AI advice made people 3x less accurate but 2x more confident, researchers found (The Next Web, 2026.07)

이 글은 2026년 7월 20일 뉴스와 데이터를 기반으로 AI 도구를 활용해 재작성했어.