2030년대에 이 모든 것이 어떻게 전개될지 예측하기는 어렵습니다(이는 또 다른 이야기의 주제이죠). 그러나 적어도 한 가지는 분명합니다. 인류는 순식간에 역사상 가장 극단적인 상황을 마주하게 될 것입니다.
인간 수준의 인공지능 시스템, 즉 AGI는 그 자체로도 매우 중요하지만, 어떤 의미에서는 우리가 이미 알고 있는 것의 더 효율적인 버전일 뿐입니다. 하지만 매우 가능성 높게도, 불과 1년 안에 훨씬 더 낯선 시스템으로의 전환이 이뤄진다는 것입니다. 인류 전체의 이해력과 능력, 그리고 순수한 역량마저 초월하는 시스템 말입니다. 이 급격한 전환기에 AI 시스템에 신뢰를 위임해야 하는 상황에서 통제권을 상실할 가능성이 실제로 존재합니다.
더 일반적으로 말하자면, 모든 것이 믿을 수 없을 정도로 빠르게(incredibly fast) 진행되기 시작할 것입니다. 세상은 미쳐 돌아가기 시작할 것입니다. 20세기의 지정학적 긴장 고조와 인재(人災)들이 단 몇 년 안에 압축되어 발생한다고 상상해보세요. 그것이 바로 초지능 이후 우리가 예상해야 하는 상황입니다. 이 광란의 끝자락에는 초지능 AI 시스템이 군사와 경제를 장악하고 있을 겁니다. 이러한 모든 광란 속에서 우리는 올바른 결정을 내릴 시간이 극도로 부족할 것입니다. 과제는 엄청날 것입니다. 인류는 단 한 번의 기회를 살려내기 위해 모든 것을 걸어야 할 것입니다.
지능 폭발과 초지능 직후의 시기는 인류 역사상 가장 격동적이고 긴장되고 위험하고 혼란스러운 시기 중 하나가 될 것입니다.
이번 10년이 끝날 무렵(즉 2030년 쯤), 우리는 이미 그 소용돌이의 한가운데에 있을 것입니다.
초지능의 등장, 즉 지능의 폭발적 진화 가능성을 마주하는 것은 마치 핵연쇄반응과 원자폭탄 탄생을 둘러싼 초기 논의를 떠올리게 합니다. H.G. 웰스는 1914년 소설에서 원자폭탄을 예측했죠. 1933년 실라르드가 처음으로 연쇄반응 아이디어를 구상했을 때는 누구도 그의 말을 믿지 않았습니다. 순전히 이론에 불과했던 시절이었으니까요. 그러나 1938년 핵분열 현상이 실험을 통해 확인되자 실라르드는 다시 한번 기겁하며, 이 발견을 비밀에 붙일 것을 강력히 주장했습니다. 이때부터 일부 사람들이 비로소 폭탄 제작 가능성을 진지하게 생각하기 시작했지요.
아인슈타인 역시 처음에는 연쇄반응 가능성을 고려하지 못했습니다. 하지만 실라르드가 그에게 설명하자마자 순간적으로 사태의 심각성을 꿰뚫어보았고, 필요한 모든 조치를 취할 준비가 되어 있었습니다. 그는 망설임 없이 경종을 울렸고, 바보처럼 보여서 조롱받을까봐 두려워하지 않았죠. 반면 페르미, 보어를 비롯한 대부분의 과학자들은 '신중함'이라는 이름 아래 사태를 축소하는 편을 선택했습니다. 원자폭탄이 가져올 엄청난 파장을 진지하게 받아들이기보다는 말이에요. 독일과의 기술 공유를 피하기 위한 비밀 유지나 그 외의 모든 노력은 그들에게 터무니없어 보였습니다. 연쇄반응 자체가 너무 비현실적으로 들렸던 거죠. (결국 원자폭탄이 현실화되기까지 불과 5년밖에 남지 않았는데도 말입니다.)
이제 우리는 다시 한번 연쇄반응의 가능성과 마주해야 합니다. 아직은 공상처럼 들릴지 모르죠. 하지만 AI 연구실의 경험 많은 과학자들 사이에선 지능 폭발을 현실성 있게 바라보는 이들이 적지 않습니다. 그들은 머릿속으로 이미 그 그림을 그리고 있습니다. 초지능의 출현은 충분히 가능한 미래라는 사실을요.