오늘의 TMI : 미증유(未曾有) 그 자체, AI

- 이하 인용,  강조된 본문 및 각주는 인용자 -

우리는 우리 종을 호모 사피엔스라고 부른다. 지혜로운 사람이라는 뜻이다. 하지만 우리가 이 이름에 얼마나 걸맞은 존재인지는 논란의 여지가 있다.

지난 10만 년 동안 우리 사피엔스는 실로 막대한 힘을 갖게 되었다. 우리가 해낸 발견, 발명, 정복을 나열하는 것만으로도 책을 쓸 수 있을 정도다. 하지만 힘은 지혜가 아니라서, 10만 년 동안 발견하고 발명하고 정복한 후 인류는 스스로를 실존적 위기에 밀어 넣었다. 즉 우리는 생태적 붕괴 직전에 있는데, 이는 우리가 가진 힘을 오용한 탓이다. 또한 우리는 인공지능AI과 같은 새로운 기술을 만들어내는 데 여념이 없는데, 이런 기술들은 우리의 통제를 벗어나 우리를 노예로 만들거나 전멸시킬지도 모른다. 하지만 우리 종은 이런 실존적 위협에 대처하기 위해 힘을 합칠 생각이 없어 보인다. 국제적 긴장이 날로 고조되고, 세계적 협력은 점점 요원해지기만 하고, 국가들은 저마다 종말을 부르는 무기를 비축하고 있으며, 새로운 세계대전도 불가능해 보이지만은 않으니 말이다.

(중략)

철학자들과 사회과학자들뿐만 아니라 요슈아 벤지오, 제프리 힌튼, 샘 알트만, 일론 머스크, 무스타파 술레이만 같은 AI 분야를 선도하는 많은 전문가들과 기업가들이 AI가 인류 문명을 파괴할 가능성이 있다고 대중에게 경고해왔다.16 벤지오와 힌튼(2024년 노벨 물리학상 수상자) 등 여러 전문가들이 공동 집필한 2024년의 한 기사는 “견제받지 않는 AI 발전은 생명과 생물권의 대규모 손실은 물론, 인류의 소외와 절멸을 부를 가능성이 있다”고 지적한다.17 2,778명의 AI 전문가들을 대상으로 실시된 2023년 설문 조사에서 3분의 1 이상이 발전된 AI가 인류의 멸종처럼 나쁜 결과를 초래할 확률이 10퍼센트 이상이라고 응답했다.18 2023년에 중국, 미국, 영국 등 약 30개국 정부가 블레츨리 선언에 서명하며, “AI 모델의 가장 중요한 기능들에는 심각하거나 심지어 파멸적인 피해를 초래할 잠재력이 내재되어 있다”는 사실을 인정했다.19 전문가들과 정부들은 이런 종말론적 문구를 사용할 때 반항적인 로봇이 거리를 활보하며 인간을 총으로 쏘는 할리우드 영화 속 장면을 불러내고 싶은 마음이 전혀 없다. 그런 시나리오는 실현 가능성이 낮으며, 실제 위험으로부터 사람들의 시선을 돌릴 뿐이다. 오히려 전문가들은 두 가지 시나리오에 대해 경고한다.

첫째, AI의 힘은 기존의 인간 갈등을 증폭하여 인류를 분열시킬 가능성이 있다. 20세기에 철의 장막이 냉전 시대 경쟁 강국들을 분열시켰듯이, 21세기에는 가시철조망 대신 실리콘칩과 컴퓨터 코드로 만들어진 실리콘 장막이 새로운 세계 갈등을 일으켜 경쟁 강국들을 분열시킬지도 모른다. AI 군비경쟁으로 점점 더 파괴적인 무기가 생산될 테니, 작은 스파크만 일어도 파멸적인 화재로 번질 수 있을 것이다.

둘째, 실리콘 장막은 인간을 한 집단과 다른 집단으로 분리하는 것이 아니라, 모든 인간을 인간의 새로운 지배자 AI와 분리할지도 모른다. 우리는 어디에 살든 불가해한 알고리즘으로 짜인 거미줄 속에 갇히게 될 것이다. 이 알고리즘들이 우리의 삶을 관리하고, 우리의 정치와 문화를 재편하며, 심지어 우리의 몸과 마음까지 재설계하는 동안 우리는 우리를 통제하는 힘을 멈추기는커녕 더 이상 이해할 수 없게 될 것이다. 만일 21세기의 전체주의 네트워크가 세계 정복에 성공한다면, 그때 전체주의를 운영하는 주체는 인간 독재자가 아니라 비인간 지능일 것이다. 중국이나 러시아 또는 민주주의 이후의 미국을 전체주의 악몽의 불씨로 꼽는 사람들은 위험을 잘못 이해하고 있는 것이다. 실제로는 중국인, 러시아인, 미국인, 그 밖의 모든 인간이 비인간 지능의 전체주의적인 잠재력에 함께 위협받고 있다.

위험의 규모를 고려하면 AI는 모든 인간이 관심을 가져야 할 문제다. 모두가 AI 전문가가 될 수는 없지만, AI는 스스로 결정을 내리고 스스로 새로운 아이디어를 구상할 수 있는 역사상 최초의 기술임을 우리 모두 명심해야 한다. 이제껏 인간이 만든 발명품들이 인간에게 힘을 실어준 이유는 새로운 도구가 아무리 강력해도 그것을 어디에 쓸지 결정하는 것은 항상 우리 몫이었기 때문이다. 칼과 폭탄은 누구를 죽일지 스스로 결정하지 않는다. 그것들은 정보를 처리하고 독립적인 결정을 내리는 데 필요한 지능을 갖추지 못한 바보 도구일 뿐이다. 반면 AI는 스스로 정보를 처리할 수 있고 따라서 인간을 대신하여 결정을 내릴 수 있다. AI는 도구가 아니라 행위자다.

또한 AI는 정보를 자유자재로 활용하여 스스로 음악부터 의료에 이르는 다양한 분야에서 새로운 아이디어를 생성할 수 있다. 축음기는 음악을 재생했고 현미경은 세포의 비밀을 보여주었지만, 축음기가 새로운 교향곡을 작곡하거나 현미경이 신약을 합성할 수는 없었다. AI는 이미 스스로 예술을 창조하고 과학적 발견을 할 수 있다. 그리고 앞으로 몇십 년 내에 AI는 유전 코드를 작성하거나 아니면 비유기적 존재를 살아 움직이게 하는 비유기적 코드를 작성함으로써 새로운 생명 형태를 창조할 수 있을 것이다.

AI 혁명의 초기 단계인 지금 이 순간에도 컴퓨터는 이미 우리에게 대출을 해줄지, 우리를 직장에 고용할지, 교도소에 보낼지와 같은 결정을 내린다. 이런 추세는 앞으로 더욱 강화되고 가속화될 것이고, 그러면 우리는 자신의 삶을 이해하기가 더욱 어려워질 것이다. 과연 컴퓨터 알고리즘이 지혜로운 결정을 내리고 더 나은 세상을 만들 것이라고 믿을 수 있을까? 그것은 빗자루에 주문을 걸면 물을 길어 올 것이라는 믿음보다 훨씬 더 위험한 도박이다. 그리고 이 도박에 우리가 거는 것은 단지 인간의 삶만이 아니다. AI는 우리 종의 역사뿐만 아니라 모든 생명 형태의 진화 경로를 바꿀 가능성이 있다.

--------------------------------

오늘 TMI는 유독 길었는데요,  흔히 AI를 경계할 필요성에 대해 얘기하면 나오는 얘기가, 그거 러다이트 아니냐, 나중에 돌아보면 다 헛된 걱정이었고 부질없었다는 걸 알게 될 것이다란 것입니다만... 위에도 나와있듯 AI는 그전까지의 기술과 분명히 차별화되는 면이 있습니다. 또한 개발경쟁에 대해 경계하는 측면에도 실로 다양한 결이 있어요(러다이트 때처럼 자기 밥그릇을 걱정하는 것에 그치는 일이 아니라는 말). 터미네이터 같은 것을 제쳐두더라도 빈부격차와 통제사회를 가속화할 걱정이 있고, 엔비디아 등의 (아래도 액침냉각 얘기가 나왔었는데) 막대한 전력을 소모하며 이제는 해수로 냉각까지 하려 드는 서버는 기후위기에도 한몫을 하고 있죠.

제가 진짜 바라는 것은 첫번째 문장이 현실화되는 겁니다. 저를 비롯한 경계론자, 규제론자, 속도 조절론자들이 나중에 러다이트로 회고되고 부질없이 헛된 걱정에 시달리고 있었다고 회고되기를, 저는 그것만을 바라게 되네요. 그렇게 되면 그런 사람들만 비웃음 좀 받고 끝나겠지만, 그렇지 않으면... 큰일이 나기 때문입니다. 그리고 이렇게 걱정하는 사람들이 있어 위기가 실제화되지 않을 가능성도 크기 때문이고요(아시다시피 핵이 나가사키에 떨어지고 70년이 넘게 사용되지 않는 이유는 관련해서 조금의 움직임이라도 있으면 극렬히 반응하고 나서는 국제사회가 있기 때문이죠).