인공지능끼리 헛도는 방, 판정하는 사람이 없다

인공지능 시대에 희소해지는 능력은 만드는 능력이 아니라 판정하는 능력이다. 이력서를 쓰는 쪽도 인공지능, 그것을 걸러내는 쪽도 인공지능인 지금의 채용 시장은 이 사실을 가장 선명하게 보여주는 장면이다. 생산은 무한히 늘었는데 판정하는 사람은 방 안에 한 명도 없다.

숫자를 먼저 보자. 링크드인은 2025년 기준으로 분당 1만 1000건의 지원서가 접수되고 있다고 밝혔다. 전년 대비 45퍼센트 증가다. 사람이 갑자기 부지런해진 것이 아니라, 지원서를 쓰는 비용이 0에 수렴한 것이다. 예전에는 한 회사에 넣으려면 반나절이 들었다. 지금은 채용 공고를 붙여넣고 세 번 대화하면 그 회사만을 위해 태어난 것처럼 보이는 문서가 나온다. 스무 곳에 넣는 데 한 시간이 안 걸린다.

기업 쪽 대응은 예측 가능한 방향으로 흘렀다. 사람이 읽을 수 없는 양이 들어오니 기계에게 읽히는 것이다. 미국의 대형 외식 체인 치폴레는 채용 일정 조율과 1차 선별을 인공지능 도구에 맡겼고, 이런 구조는 이제 표준에 가깝다. 그러자 지원자 쪽은 다시 그 기계를 통과하는 문법을 학습한다. 키워드 밀도, 문장 길이, 직무기술서와의 어휘 일치율. 어떤 도구가 어떤 형식을 좋아하는지가 취업 커뮤니티의 주요 정보가 된다. 기업은 그 패턴을 다시 걸러낸다. 그리고 이 순환은 끝나지 않는다. 끝날 수 있는 구조가 아니기 때문이다.

이 순환에서 정확히 무엇이 사라졌는지 짚어볼 필요가 있다. 흔히 사람이 사라졌다고 말하지만, 조금 더 정확히 말하면 사라진 것은 판정이다. 양쪽 모두 판정을 기계에게 넘겼는데, 기계는 판정을 하지 않는다. 기계가 하는 일은 형식의 일치도를 재는 것이다. 그래서 남는 것은 형식뿐이고, 형식은 무한히 복제된다. 무한히 복제되는 것은 곧 값이 0이 된다.

이 구조가 만들어낸 부작용은 이미 법정까지 갔다. 2025년 5월, 미국 캘리포니아 북부연방지방법원은 인사관리 소프트웨어 기업 워크데이를 상대로 한 소송에서 40세 이상 지원자들의 집단소송 진행을 예비 승인했다. 지원자를 걸러낸 알고리즘이 연령을 이유로 차별했다는 주장이다. 소프트웨어 회사가 채용 대리인의 지위에 놓일 수 있다는 판단이었는데, 이 소송의 실질적 쟁점은 결국 하나로 모인다. 아무도 판정하지 않은 결정에 대해 누가 책임을 지는가.

판정 능력이라는 말을 조금 더 밀고 들어가 보자. 판정이 어려운 이유는 인공지능이 틀리기 때문이 아니다. 틀리면서 그럴듯하기 때문이다. 그리고 그럴듯함은 우연이 아니라 설계의 결과다.

2025년 9월 오픈에이아이 연구진이 낸 논문 하나가 이 지점을 정면으로 다뤘다. 요지는 이렇다. 언어 모델의 환각(Hallucination)은 고칠 수 있는 버그가 아니라 채점 방식이 만들어낸 습관이다. 대부분의 평가 방식에서 모르겠다고 답하면 0점이고, 찍으면 가끔 맞는다. 그러면 모델은 찍는 쪽으로 학습된다. 시험을 잘 보도록 훈련된 존재는 모르는 문제 앞에서 침묵하지 않는다. 사람도 그렇다. 다만 사람은 찍을 때 목소리가 흔들리는데, 모델은 흔들리지 않는다는 차이가 있을 뿐이다.

그 결과가 어떻게 나타나는지는 이미 충분한 표본이 쌓였다. 법학자 데미앙 샤를로탱이 운영하는 인공지능 환각 판례 데이터베이스에는 2026년 8월 기준 1952건이 등록되어 있다. 존재하지 않는 판례를 인용한 서면이 법원에 제출되어 재판부가 이를 지적한 사건들이다. 미국 1341건, 캐나다 213건, 영국 62건 등 49개가 넘는 관할에 걸쳐 있다. 눈여겨볼 대목은 제출자의 다수가 변호사라는 점이다. 자기 분야의 전문가조차 걸러내지 못했다. 판례 형식을 갖춘 문장이 판례처럼 보였기 때문이다.

코드도 사정이 다르지 않다. 보안 기업 베라코드가 2025년 7월 발표한 조사에 따르면 100개 이상의 모델에 실제 코딩 과제를 시켰을 때, 완성된 코드의 45퍼센트에서 알려진 보안 취약점이 발견됐다. 돌아간다는 것과 안전하다는 것은 다른 문제인데, 돌아가는 것은 눈에 보이고 안전한 것은 눈에 보이지 않는다.

여기까지는 남의 이야기로 들릴 수 있다. 그러나 다음 실험은 좀 다르다. 2025년 7월 비영리 연구기관 METR이 발표한 무작위 대조 실험이다. 숙련된 오픈소스 개발자 16명에게 자신이 오래 관리해온 저장소에서 246개의 실제 과제를 수행하게 했다. 절반은 인공지능 도구를 쓰고 절반은 쓰지 않았다. 결과는 인공지능을 쓴 쪽이 19퍼센트 느렸다. 흥미로운 것은 그다음이다. 작업을 마친 개발자들은 인공지능 덕분에 평균 20퍼센트 빨라졌다고 답했다. 자기 손으로 한 작업의 속도조차 40퍼센트포인트 가까이 오판정한 것이다.

이들은 초심자가 아니었다. 자기 코드의 구조를 손금 보듯 아는 사람들이었고, 그런 사람들도 자기가 만든 결과물의 품질을 실시간으로 판정하지 못했다. 그렇다면 자기가 모르는 분야에서는 어떻겠는가. 판정할 기준 자체가 없으니 판정하지 않는다. 판정하지 않으면 만족스럽다. 그럴듯하니까.

요즘 스레드를 열어 보면 인공지능으로 수익을 내겠다는 사람이 대단히 많다. 바이브 코딩(Vibe Coding)으로 무언가를 만들었다는 글이 하루에도 몇 건씩 올라온다. 이 말은 2025년 2월 안드레이 카파시가 던진 표현인데, 코드를 읽지 않고 대화만으로 프로그램을 만드는 방식을 가리킨다. 콜린스 사전은 2025년 11월 이 단어를 올해의 단어로 선정했다. 한 해 만에 사전에 들어갔다는 건 그만큼 많은 사람이 실제로 그렇게 하고 있다는 뜻이다.

그중에서도 사주 서비스를 만드는 사람이 유난히 많다. 이유는 짐작하기 어렵지 않다. 진입장벽이 없어 보이고, 데이터 구조가 단순해 보이고, 사람들이 돈을 낸다는 것이 이미 증명되어 있기 때문이다. 실제로 시장은 작지 않다. 스타트업 분석 기관 혁신의숲은 국내 점술 시장 규모를 1조 4000억원 정도로 추산했다. 10대에서 30대까지 1인당 연간 8만원 안팎을 쓰는 셈이다. 점신은 누적 내려받기 1700만 건에 월간 이용자 97만 명 수준이고, 포스텔러는 가입자 750만 명에 월간 이용자 62만 명 선이다. 포스텔러를 운영하는 운칠기삼의 2023년 매출은 99억원이었다.

여기까지만 보면 들어갈 만한 시장으로 보인다. 문제는 이 시장이 어떤 방식으로 돈을 버는가에 있다.

명리학 시장은 트래픽 장사가 아니다. 반복구매로 굴러가는 시장이다. 12월부터 2월까지 신년 특수라 불리는 기간에 이용자가 평소보다 20퍼센트가량 늘어나는데, 이 숫자가 그대로 매출이 되는 것은 신년운세뿐이다. 신년운세는 한 번 팔고 끝난다. 실제 수익은 그 사람이 3월에 다시 오고, 이직을 앞두고 또 오고, 아이 문제로 또 오는 데서 나온다. 사람이 왜 다시 오는가. 지난번에 들은 말이 실제로 그렇게 되었기 때문이다. 그것 말고 다른 이유는 없다.

그래서 이 시장에서 정확도는 마케팅 문구가 아니라 손익계산서 항목이다. 정확도가 낮으면 광고비로 한 번 데려온 사람이 두 번째로 오지 않고, 두 번째가 없으면 고객 획득 비용을 회수할 방법이 없다. 신년 특수 석 달로 버티는 구조가 되는데, 그 석 달은 이미 자리를 잡은 앱들이 광고비로 점령하고 있다.

그리고 인공지능이 만들어내는 사주 풀이의 정확도 문제는 기술의 문제가 아니라 데이터의 문제다. 만세력 계산, 즉 절기(節氣)와 진태양시(眞太陽時)를 반영해 사주 원국(原局)을 세우는 일은 기계가 잘한다. 물론 잘하지만 현재 여전히 틀리고 있다. 그래서 요즘 나오는 것들은 사주 뽑는것 + 인공지능 판정 혹은 사주 뽑는것 + 자체 프롬프트 + 인공지능 판정을 쓴다. 문제는 그다음이다. 왕쇠(旺衰)를 어떻게 볼 것인가, 격국(格局)을 무엇으로 잡을 것인가, 용신(用神)을 어디서 취할 것인가. 이 세 가지는 유파마다 갈리고, 같은 유파 안에서도 갈린다. 그런데 인터넷에 떠 있는 한국어 명리 자료의 상당 부분은 서로 베낀 것이고, 베껴진 것 중 다수는 원전을 확인하지 않은 것이다. 그리고 원전 자체는 중국인들도 해석하기 어렵고, 한국의 대가들이 썼다는 책들 내가 읽어보면, 오류가 많더라.

언어 모델은 진실을 따르지 않는다. 분포를 따른다. 학습 데이터에 잘못된 통변이 압도적으로 많으면, 모델은 압도적으로 많은 쪽을 정답으로 내놓는다. 그것도 아주 매끄러운 문장으로. 그리고 그 문장을 만든 사람은 그것이 맞는지 틀리는지 판정할 수 없다. 판정할 수 있었다면 애초에 인공지능에게 물어볼 이유가 없었을 것이다.

한비자에 남우충수(濫竽充數)라는 이야기가 나온다. 제나라 선왕은 우(竽)라는 관악기를 좋아했는데, 반드시 300명을 모아 합주로 들었다. 남곽처사라는 자가 자기도 불겠다고 청했고, 선왕은 기뻐하며 수백 명분의 녹을 주었다. 그런데 선왕이 죽고 민왕이 즉위했다. 민왕은 한 사람씩 따로 불게 하는 것을 좋아했다. 남곽처사는 달아났다.

신년운세는 합주다. 300명 중 하나로 섞여 있으면 소리를 못 내도 표가 나지 않는다. 반복구매는 독주다. 한 사람이 자기 이야기를 들고 두 번째로 찾아와 앉으면, 지난번에 무슨 말을 했는지가 그 자리에서 대조된다. 대부분의 인공지능 사주 서비스가 접히는 시점은 바로 이 지점이다. 만드는 데 실패해서가 아니라, 만든 다음에 독주를 시켜서다.

다시 처음의 질문으로 돌아가자. 인공지능끼리 헛도는 것 아니냐는 물음 말이다. 헛도는 것이 맞다. 다만 헛도는 이유는 인공지능이 나빠서가 아니라, 그 방에 판정하는 사람이 없어서다. 판정 능력은 어정쩡한 지식에서는 나오지 않는다. 압도적 지식이 있어야 어떤 말이 맞고 어떤 말이 그럴듯하기만 한지 구분이 가능하다.

한 가지 덧붙일 것이 있다. 지금 그 방에는 판정하는 사람이 없지만, 방이 영원히 그 상태로 있을 이유도 없다. 언젠가 누군가 문을 열고 들어와 한 사람씩 따로 불어보라고 말할 수도 있다. 그때 남는 소리가 무엇일지는, 지금 각자가 무엇을 연습하고 있는가에 달려 있을 것이다.