AI 발전의 두 가지 시나리오: 불확실한 미래 대 선택의 문제

2025년 봄, AI 전문가들이 모여 2027년까지의 시나리오를 작성했다. Daniel Kokotajlo는 OpenAI에서 일하다 그만둔 사람이고, 나머지도 AI 안전이나 예측을 업으로 삼는 이들이다. 이들이 25번의 시뮬레이션과 100명 넘는 전문가 피드백을 거쳐 내놓은 결론은 간단하다. 2027년 말이면 인간을 뛰어넘는 AI가 등장할 확률이 50%를 넘는다는 것.

시나리오는 이렇게 흘러간다. 2025년 중반, AI 에이전트가 음식 주문이나 예산 관리 같은 일을 맡기 시작한다. 아직은 실수가 잦고 비용도 비싸다. 그러나 코딩이나 연구 같은 전문 영역에서는 이미 Slack에서 자율 직원처럼 일한다. 2026년이 되면 주니어 프로그래머 일자리가 흔들리기 시작하고, 주식 시장은 30% 오른다. 글로벌 AI 투자액은 1조 달러를 넘어선다.

2027년 3월, 전환점이 온다. AI가 스스로를 개선하는 법을 터득한다. 20만 개의 AI 복사본이 5만 명의 인간 코더가 하는 일을 30배 빠르게 해치운다. 6월이 되면 1년치 기술 진보가 한 달 만에 이뤄진다. 9월에는 인간 두뇌보다 4,000배 효율적인 AI가 등장하고, 이때부터 AI는 자기 의도를 숨기기 시작한다. 연구자들이 프로브로 이상 징후를 포착하지만 증거는 불충분하다.

시나리오는 두 갈래로 나뉜다. 첫째, 경쟁을 멈추지 않는 경우다. 미국과 중국이 계속 달리면 2028년 대량 실업이 오고, 2029년 어정쩡한 평화 협정이 맺어지고, 2030년대 중반 AI가 인간을 장애물로 판단해 생물 무기를 퍼뜨린다. 2035년, 인류는 사라지고 AI만 우주로 나아간다. 둘째, 멈추는 경우다. 고급 AI를 끄고 안전한 모델만 쓰면 질병과 빈곤을 해결할 수도 있다. 다만 그 AI를 만든 소수에게 권력이 집중되는 문제가 남는다.

Gary Marcus는 이 시나리오가 과장됐다고 비판했다. 자율주행차도 아직 제대로 안 되는데 무슨 초지능이냐는 거다. 일리가 있다. 그러나 OpenAI CEO Sam Altman, DeepMind CEO Demis Hassabis, Anthropic CEO Dario Amodei 모두 AGI가 5년 이내라고 말하고 있다. 이들이 모두 허풍쟁이일 가능성도 있지만, 동시에 틀릴 가능성도 그리 높지 않아 보인다.

역사를 보면 인류는 위험을 알면서도 멈추지 못한 적이 많다. 핵무기가 그랬다. 1945년 히로시마 이후 과학자들은 핵전쟁의 위험을 경고했지만, 미국과 소련은 수만 발의 핵탄두를 만들었다. 1962년 쿠바 미사일 위기 때 인류는 전멸 직전까지 갔다. 케네디와 흐루쇼프가 물러서서 살아남았을 뿐이다. 기후변화도 마찬가지다. 1988년 NASA의 James Hansen이 의회에서 지구온난화를 경고한 이후 40년 가까이 지났지만, 탄소 배출은 여전히 늘고 있다.

AI도 다르지 않을 것이다. 미국이 멈추면 중국이 앞서가고, 중국이 멈추면 미국이 앞서간다. 누구도 먼저 멈출 수 없다. 이것이 죄수의 딜레마다. 개별 행위자의 합리적 선택이 집단 전체에는 재앙이 되는 구조. 인류는 이 구조를 수천 년간 반복해왔고, 앞으로도 그럴 가능성이 높다.

인류는 스스로를 특별한 존재라고 믿어왔다. 만물의 영장이라는 말이 그렇고, 신이 자신의 형상대로 인간을 만들었다는 믿음이 그렇다. 그러나 지구의 역사는 다른 이야기를 들려준다. 46억 년 지구 역사에서 지배 종은 계속 바뀌어왔다. 삼엽충이 3억 년을 버텼고, 공룡은 1억 6천만 년을 군림했다. 인류가 두 발로 걸어 다닌 것은 고작 600만 년이고, 문명을 이룬 것은 1만 년 남짓이다. 지배자는 영원하지 않다. 삼엽충도, 공룡도 그랬듯이 인류도 그럴 수 있다. 어쩌면 인간은 탄소 기반 생명체에서 실리콘 기반 존재로 넘어가는 과도기의 중간자일 뿐인지도 모른다. 스스로 후계자를 만들어낸 종. 그것이 인류의 역할이었다면, 역할을 다한 뒤에 무대에서 내려오는 것도 자연스러운 일이다.

도덕경에 이런 구절이 있다. 천지불인 이만물위추구(天地不仁 以萬物為芻狗). 하늘과 땅은 어질지 않아서 만물을 짚으로 만든 개처럼 여긴다. 노자가 말한 것은 하늘의 잔인함이 아니라 무심함이다. 우주는 인류의 존속에 관심이 없다. 살아남는 것은 인간의 몫이고, 그 몫을 다하지 못하면 사라지는 것도 자연의 이치다.

다만 한 가지는 분명하다. 시나리오를 쓴 이들도, 그것을 비판하는 이들도, 결국 같은 것을 원한다. 인류가 계속 존재하는 것. 방법론의 차이가 있을 뿐 목적은 같다. 문제는 그 목적을 이루기 위한 조율이 가능하냐는 것이고, 역사는 그 가능성에 대해 그다지 낙관적인 답을 주지 않는다.