Wisdom

좋은 판단력이라는 착각, 정보가 늘어도 판단은 나아지지 않는다

좋은 판단은 정보의 양에서 나오지 않는다. 정보가 늘어나면 판단의 정확도가 아니라 판단에 대한 확신이 늘어난다. 이 둘을 구분하지 못하는 것이 판단력을 둘러싼 가장 흔한 착각이다.

1973년 심리학자 폴 슬로빅(Paul Slovic)이 확인한 것이 정확히 이 지점이다. 그는 경마 예상으로 생계를 유지하는 전문 예상가 여덟 명을 불러 모았다. 주말에 재미로 마권을 사는 사람들이 아니라 그 일로 밥을 먹는 사람들이었다. 슬로빅은 이미 끝난 실제 경주 자료를 준비하고 말 이름을 지웠다. 이름을 알면 평판이 개입하기 때문이다. 남은 것은 숫자뿐이었다. 그리고 예상가들에게 자기가 원하는 정보를 다섯 개씩 고르게 했다. 어떤 사람은 기수의 몸무게를 골랐고 어떤 사람은 최근 성적을 골랐다. 고른 다음 순위를 예측하고, 그 예측을 얼마나 믿는지도 함께 적게 했다.

정보 다섯 개로 예상가들의 적중률은 17퍼센트가 나왔다. 아무렇게나 찍었을 때 기대되는 10퍼센트보다 확실히 높다. 전문성이 실재한다는 뜻이다. 다음 단계에서 슬로빅은 정보를 열 개로 늘렸다. 그다음엔 스무 개, 마지막엔 마흔 개로 늘렸다. 적중률은 17퍼센트에서 움직이지 않았다. 대신 자기 예측에 대한 확신은 19퍼센트에서 34퍼센트로 올라갔다. 정보가 여덟 배로 늘어나는 동안 실력은 그대로였고 확신만 두 배가 되었다. 여덟 명 가운데 셋은 정보가 늘어나자 오히려 적중률이 떨어졌다고 보고되었다.

이 실험이 불편한 이유는 결과보다 구조에 있다. 정보를 더 모으면 판단이 나아진다는 믿음은, 들어온 정보가 좋은 정보인지 아닌지를 이미 가려낼 수 있다는 전제 위에 서 있다. 그런데 그 가려내는 능력이야말로 판단력의 핵심이다. 판단력이 부족한 사람은 정보의 질도 제대로 가리지 못한다. 그래서 정보를 늘리면 쓸모없는 정보와 자기 생각을 지지해주는 정보가 함께 늘어나고, 대개는 뒤쪽이 더 눈에 띈다. 부족한 것을 부족한 도구로 메우려는 순환이다.

숫자는 이 착각을 특히 강하게 만든다. 숫자는 소수점까지 찍혀 있고, 표에 정렬되어 있으며, 회의실에서 반박하기 어렵다. 그러나 숫자가 놓인 자리 옆에는 언제나 칸이 비어 있다. 측정하지 않아서 비어 있는 것이 아니라, 측정할 방법이 없어서 비어 있다.

1971년 사회조사 연구자 대니얼 얀켈로비치(Daniel Yankelovich)는 이 과정을 네 단계로 정리했다. 첫째, 측정하기 쉬운 것을 측정한다. 여기까지는 문제가 없다. 둘째, 측정하기 어려운 것은 빼거나 임의의 숫자를 붙인다. 셋째, 측정하기 어려운 것은 중요하지 않다고 여긴다. 넷째, 측정할 수 없는 것은 존재하지 않는다고 말한다. 얀켈로비치는 셋째 단계를 눈이 머는 것이라 했고 넷째 단계를 자살이라고 불렀다. 그는 이것을 맥나마라 오류(McNamara Fallacy)라 이름 붙였다.

로버트 맥나마라는 포드 자동차의 사장을 거쳐 미국 국방장관이 된 사람이고, 숫자로 조직을 운영하는 방식의 상징 같은 인물이었다. 베트남에서 그가 붙잡은 지표는 적 사망자 수였다. 셀 수 있었기 때문이다. 베트남 농민이 무엇을 각오하고 있는지, 남베트남 정부가 얼마나 썩었는지는 셀 수 없었고, 셀 수 없으니 표에 오르지 않았다. 표에 오르지 않은 것들이 결국 전쟁의 결말을 정했다. 지표는 정직했다. 시신 수는 늘어났다. 다만 그 지표가 답하고 있던 질문이 실제 질문이 아니었을 뿐이다.

30년 넘게 시장을 보면서 같은 구조를 반복해서 봤다. 재무제표는 회사를 숫자로 옮긴 문서다. 그런데 회사가 무너지는 이유는 대체로 그 표에 계정 과목이 없는 것들이었다. 오너가 요즘 무슨 생각을 하는지, 핵심 인력이 언제쯤 나갈 마음을 먹었는지, 조직 안에서 나쁜 소식이 위로 올라가는지 아니면 중간에서 잘리는지. 숫자로 옮길 방법이 없으니 모형에 들어가지 않고, 모형에 없으니 리스크로 잡히지 않는다. 실적 발표 자료를 아무리 정밀하게 뜯어도 이 칸은 채워지지 않는다.

판단이 곧 직업인 자리를 보면 문제가 더 선명해진다. 판사가 그렇다. 흔히 판사는 법에 적힌 대로인지 아닌지만 가린다고 말한다. 절반은 맞다. 죄가 되는지 아닌지를 따지는 작업의 상당 부분은 요건을 하나씩 대보는 일이다. 문제는 나머지 절반이다. 어떤 진술을 사실로 인정할지, 형을 얼마나 매길지는 조문이 정해주지 않는다. 그 자리에 사람이 들어간다.

2007년 스탠퍼드 로 리뷰에 실린 난민 룰렛(Refugee Roulette) 연구가 이것을 수치로 보여줬다. 조지타운대와 템플대 연구진이 미국 망명 심사 자료를 통째로 분석한 작업인데, 이민법원 판사 225명이 내린 결정 14만 건이 포함되어 있다. 마이애미 이민법원의 콜롬비아 출신 신청자들을 보면, 어떤 판사 앞에서는 승인율이 5퍼센트였고 같은 건물의 다른 판사 앞에서는 88퍼센트였다. 신청자의 사연이 달라서가 아니다. 서기가 사건을 누구에게 배당하는 순간이 결과를 갈랐다. 연구진이 붙인 룰렛이라는 제목은 비유가 아니라 요약이었다.

한국도 이 문제를 제도로 인정했다. 2005년 말 법원조직법을 고쳐 양형기준을 도입했고, 2007년 4월 대법원에 양형위원회가 출범했다. 대륙법 체계에는 원래 없던 장치다. 형을 정하는 일을 판사의 재량에 맡겨왔는데, 판사마다 형량이 갈리는 문제가 오래 지적되었기 때문이다. 눈여겨볼 대목은 이 기준에 법적 구속력이 없다는 점이다. 기준을 벗어나 선고해도 그 자체로 위법이 되지 않는다. 다만 판결문에 이유를 적어야 한다. 판단의 폭을 좁힐 수는 있어도 판단 자체를 없앨 수는 없다는 것을, 제도를 설계한 쪽도 알고 있었다는 뜻이다.

기업의 수장과 정치인은 다른 경로로 같은 자리에 도착한다. 그 자리에 오르는 데 필요한 능력과 그 자리에서 요구되는 능력이 서로 다른 능력이라는 점이 문제의 시작이다. 올라가는 데 필요한 것은 성과, 조직 장악, 말솜씨, 관계, 시기의 운이다. 올라간 뒤에 요구되는 것은 정보가 모자란 상태에서 방향을 고르는 일이다. 두 능력이 강하게 연결되어 있다고 볼 근거는 별로 없다. 그런데 사람들은 자리를 능력의 증명으로 읽는다. 더 곤란한 것은 본인도 그렇게 읽는다는 점이다. 그 자리에 올랐다는 사실 자체가 자기 판단이 옳다는 증거로 쓰이기 시작하면, 반대 신호는 잡음으로 분류된다.

2003년 이라크의 대량살상무기 판단이 그 규모를 보여준다. 미국은 그때 세계에서 가장 크고 가장 비싼 정보 조직을 굴리고 있었다. 정보가 모자란 상황이 아니었다. 2005년 3월 31일 실버먼과 롭이 이끈 대통령 직속 조사위원회가 내놓은 결론은, 전쟁 전 판단의 거의 전부가 완전히 틀렸다는 것이었다. 위원회가 짚은 원인 쪽이 더 중요하다. 후세인이 무기를 가지고 있으리라는 가정 자체는 그의 과거 행적을 보면 무리한 가정이 아니었다. 문제는 그 합리적인 가정이 어느 시점에 굳은 확신으로 바뀌었다는 데 있었다. 그 뒤로 들어오는 정보는 확신을 확인하는 용도로 쓰였고, 어긋나는 정보는 걸러졌다. 위원회는 정보 조직이 자신들이 사실은 모른다는 사실을 정책 결정자에게 전달하지 않았다는 점도 지적했다. 슬로빅의 실험실에서 여덟 명에게 일어난 일이 국가 규모로 일어난 것이다.

지금은 정보가 모자란 시대가 아니다. 반대쪽 극단에 와 있다. 2026년 국제 AI 안전 보고서(International AI Safety Report)는 자동화 편향(Automation Bias)이 인공지능 도구 환경에서도 그대로 남아 있다고 정리했다. 자동화된 출력을 과하게 믿고 그와 어긋나는 정보를 깎아내리는 성향인데, 의료 진단을 비롯한 여러 영역의 실험에서 반복해서 확인되고 있다. 도구가 좋아지면 판단이 좋아질 것 같지만, 지금까지 관찰된 것은 확신이 먼저 좋아진다는 쪽이다. 구조는 1973년과 같다.

도덕경 27장에 이런 구절이 있다. 善數不用籌策. 셈을 잘하는 사람은 산가지를 쓰지 않는다. 여기서 籌策은 옛날에 계산할 때 늘어놓던 대나무 막대다. 지금으로 치면 스프레드시트이고 계량 모형이고 대시보드다. 앞뒤 구절이 전부 같은 형식으로 되어 있다. 善行無轍迹, 잘 가는 사람은 바퀴 자국을 남기지 않는다. 善閉無關楗而不可開, 잘 닫는 사람은 빗장이 없는데도 열 수 없다. 善結無繩約而不可解, 잘 묶는 사람은 줄이 없는데도 풀 수 없다. 다섯 구절이 모두 도구를 지운다.

왕필(王弼)은 이 대목에 因物之數 不假形也라고 주를 달았다. 사물이 이미 가지고 있는 수를 따를 뿐 형체를 빌리지 않는다는 뜻이다. 산가지는 대상 바깥에 있는 물건이다. 도구가 정교해지면 대상을 더 깊이 파악한 느낌이 들지만, 실제로 정교해진 것은 도구다. 대상은 그대로다. 슬로빅의 예상가들이 마흔 개의 항목을 손에 쥐었을 때 정교해진 것도 손에 쥔 것 쪽이었다.

같은 장 뒷부분은 더 직접적이다. 雖智大迷. 지혜롭다 해도 크게 미혹된다. 노자가 이 말을 붙인 대상이 어리석은 사람이 아니라는 점이 중요하다. 지혜롭다고 여겨지는 사람, 그래서 판단을 맡게 된 사람이 크게 헤맨다는 뜻이다. 그 앞에는 襲明이라는 말이 나온다. 밝음을 껴입는다는 뜻인데, 밖으로 드러나지 않는 밝음으로 새긴다. 자기가 밝다는 것을 증명하지 않는 밝음이다. 판단력이 있다고 증명해야 하는 자리에 앉은 사람에게는 가장 어려운 상태이기도 하다.

그래서 좋은 판단이 무엇인지는 여전히 잘 모르겠다. 다만 반복해서 관찰되는 것은 있다. 판단이 오래 살아남는 사람들은 대체로 자기 판단이 어디까지 유효한지를 함께 말한다. 어디서부터는 모른다고 말하고, 새 정보가 들어오면 앞의 말을 조용히 접는다. 확신의 총량이 적은 것이 아니라, 확신을 두는 자리가 다르다.

문제는 이것도 곧 하나의 지표가 된다는 점이다. 겸손하게 들리는 화법을 익히는 일과 실제로 자기 한계를 아는 일은 전혀 다른데, 밖에서 보면 잘 구분되지 않는다. 그리고 그 둘을 구분하는 작업 역시 판단이다.

판단력을 판단하는 데도 판단력이 필요하다면, 그 바깥에 서서 볼 수 있는 자리는 어디에 있는가.

댓글에 인색하지 마세요