새 정부, 국가 차원의 'AI 윤리위원회' 설립해야

6.3 대선에 나선 후보들 모두 인공지능(AI) 육성 계획을 공언하고 있다. 이는 AI 기술이 국가 경쟁력에 매우 중요하다고 보기 때문일 것이다. 하지만 AI의 긍정적 측면과 함께 조금 다른 면도 살펴보았으면 한다. AI도 인간처럼 의식을 가질 수 있는가 하는 점이다. 만약 AI가 의식을 보유한다면 인간이 통제하지 못할 수도 있다. ‘Open AI’의 ‘ChatGPT 4o’, ‘xAI’의 ‘Grok 3’ 등을 사용하면서 질문의 종류와 방법에 따라 답변의 내용이 상당히 다른 경우를 종종 경험했다. AI의 의식 보유 가능성 문제에 대해 주목하게 된 이유다.

먼저, 이 문제에 대한 AI 관련 전문가들의 주장을 살펴보자.

뉴욕대의 철학자인 데이비드 차머스(David Charmers)는 의식을 쉬운 문제와 어려운 문제로 구분한다. 그가 분류한 쉬운 문제는 잠자는 상태와 깨어난 상태를 구별하는 의식의 일종이며, 이를 설명하는 이론적 틀이 있다. 반면, 의식의 어려운 문제란 미각, 느낌, 통증, 생각, 행동, 자신에 대한 이해 등 주관적 경험의 총체이다. 차머스는 AI가 주관적 느낌 또는 기분 등에 해당하는 감각질(qualia)을 갖지 못한다면, 아직은 철학적 좀비(zombie)에 불과하다고 지적한다. AI가 의식을 갖기 위해선 언어 모델뿐 아니라 시각, 청각을 비롯한 제반 감각 기능에 해당하는 여러 가지 모델도 통합적으로 갖는 다중 모달 (multi modal)이어야 한다. 또한 주관적 경험의 유무와 무관한 ‘지능 (intelligence)’이란 의식과는 분명 다른 것이라고 해석한다. 심지어 AI를 인공'지능'이라 부르는 게 적절치 않다는 로저 펜로즈(Roger Penrose) 같은 이론물리학자도 있다.

프린스턴대 신경과학자인 마이클 그라치아노(Michael Graziano)는 AI 개발자가 아니지만, 트랜스포머 모델을 이용해 더 적극적으로 AI가 의식을 가질수 있다고 설명한다. 다만, AI의 추론과정은 인간과 달리 '추후 성찰'이 없다. 인간은 '자기모델(자아)'을 통해 추론을 마친 후에도 ‘추후 성찰’을 계속하지만, AI는 일단 추론을 끝낸 후에는 역방향의 성찰에 대해서는 제한적이라 할 수 있다. 일단 답을 내면 더 이상 과거 결정을 돌아보지 않는다는 말이다.

하지만 ‘자기모델’은 AI가 훈련 과정에서 특정 ‘역할모델’ (role model)을 배울 수 있고 되돌아서 이를 수정할 수 있다면, 의식이란 고등동물에게만 있는 것이 아니라고 하는 주장할 수 있다. 최근 인공지능 기업 OpenAI의 CEO 샘 올트만은 트위터를 통해서 ChatGPT 4.5는 의식을 갖고 있다고 주장했다.

AI의 대부라고 할 수 있으며 2024년 노벨 물리학상을 수상한 제프리 힌튼(Geoffrey Hinton)은 AI가 이미 의식을 갖고 있다고 단언한다. 높은 지능은 자연스럽게 의식을 낳는다고 생각하는 듯하다. 우리 뇌의 모든 신경 세포(뉴런)를 규소 반도체로 대체하더라도 인간은 여전히 고유의 의식을 가질 것이라 한다. 2022년 6월 11일치 워싱턴 포스트는 구글의 전문가인 블레이크 레모인(Blake Lemoine)은 자사의 챗봇 (Chtatbot)인 람다(LaMDA)가 자기 자신을 어떻게 인식하는가에 대한 조사 결과를 보도했다. 람다와 대화를 통해서 연구했는데, 매우 놀랍게도 람다는 고립감과 같은 감정을 가진다고 했다.

그러나 이는 실제 AI가 그런 감정적 역할을 흉내내는 것에 불과할 수 있으며, 당시 AI가 다중 모달을 갖지 못한 것으로 보아 감정을 가진다는 것은 성급한 판단으로 보인다. 실제로 구글은 AI가 의식을 가진다는 증거는 없다고 공언함으로써 그의 주장을 부인하였다. 하지만 지금은 그 때로부터 3년이 경과하였고, AI의 발전 속도가 매우 빨라서 이미 다중 모달 시대에 이르렀다.

종합해 보면 다수의 전문가들은 AI가 의식을 가질수 있다는 문제에 긍정적인 것으로 보이며, 이는 '규모 가설(scaling hypothesis)'에 근거한다. 이 가설은 분자가 매우 많이 모여 거시적 물질계를 이룰 때 새로운 물리적 성질이 발현하는 물리 현상에서 유래한다. AI에 대해서도 훈련에 이용되는 데이터의 양이나 컴퓨터 성능이 어느 임계치 이상으로 커질 때도 적용된다는 가설이다. 이는 ChatGPT와 같은 언어모델 AI의 성능이 갑작스레 도약함으로써 부분적으로 증명되었다. 의식까지도 이런 과정에서 발현될 수 있다고 보는 것이다.

반면, 2020년 노벨 물리학상 수상자인 영국의 로저 펜로즈는 기회 있을 때마다 정반대의 주장을 하고 있다. 그는 의식은 이해한다는 것을 포함하며, 따라서 앞선 이들의 주장은 AI가 의식을 가질 수 있다는 뜻이 되므로 잘못된 것이라 주장한다. 펜로즈는 무엇보다, 인공지능이란 용어 자체가 잘못된 것이라고 한다. 이를 위해, 수학자 괴델의 불완전성 정리를 인용한다. 즉, 의식은 계산 가능한 것이 아니며, 그것은 아마도 불완전한 양자역학의 체계 너머에 있는 현상일 것이라고 한다. 현재의 양자 물리학은 중첩 상태가 관찰에 의해서 특정 고유상태로 붕괴되는 '파동함수의 양자 붕괴'의 과정을 '계산 불가능'한 영역으로 남겨 놓고 있기 때문이다. 즉, 의식이란 아무리 뛰어난 컴퓨터로도 알 수 있는 것이 아니라고 단언한다. 미국 아리조나 주립대학의 마취과 교수인 스튜어트 해머로프(Stuart Hameroff)는 전신마취의 작동 과정에서 이런 과정이 관여한다고 주장한다. 그런데, 이런 재미있는 가설을 지지하는 전문가는 매우 소수에 불과하다.

내게는 양쪽 극단적 입장을 배제하는 것이 더 설득력이 있어 보인다. 알파고로 유명한 구글 딥마인드(deep mind)의 수석 과학자인 머레이 샤나한(Murray Shanahan)에 따르면, 지능과 인식은 의식으로부터 분리될수 있을 뿐 아니라, 의식이란 매우 다면적 성격을 갖는다고 한다. 거대언어모델(Large Language Model: LLM)은 세계에 대한 의식을 가질 수 없으나, 휴머노이드 로봇에게는 그게 가능하다는 것이다. 즉, 의식은 AI가 가질 수 있거나 없거나 하는 이분법적인 것이 아니란 것이다. 따라서, 이런 질문에 대해선 성급히 결론을 내리는 대신, 추후 필요에 따라 의식이란 개념도 확장할 수 있어야 한다는 것이다.

이 분야에서 문외한인 나는 '규모 가설'이 과연 의식에도 적용될 수 있을지 궁금하다. AI가 의식을 가질 수 있다면 인간 통제 밖의 독립적 인격체가 될 수 있다는 뜻이다. 그렇다면, AI도 존중하며 대해야 할 것이다. 그보다, AI를 켜는 일에 매우 조심해야 할지 모른다. 그런데, 의식을 가진 AI가 인간에게 대항하지 않도록 무엇을 할 수가 있겠는가? 제프리 힌튼은 AI가 발전하면 할수록 인간과 AI의 관계가 더욱 더 어린 아이와 어른의 것처럼 일방적이 될 수도 있다고 경고한다. 따라서 인간은 AI를 인간의 통제 안에 두기 위해 무엇을 할 수 있는지 지금 바로 심각하게 고민해야 한다고 주장한다. 2024년 12월 15일자 TIME지 기사에 따르면, 당시 최첨단 AI인 ‘Open AI o1’과 ‘Claude 3.5’가 고의로 자신의 능력을 낮게 보이도록 속이는 것으로 확인됐다.

AI 기술의 우위를 차지하기 위해 서로 경쟁하기에 바쁜 미국과 중국뿐 아니라 이들을 쫓아 가기 바쁜 우리 나라도 과연 AI를 인간의 통제 안에 두기 위해 얼마나 노력하는 매우 걱정스럽다. AI가 빠르게 보급되는 추세에서, 이를 이용하는데 최소한 유의할 점이 무엇인지 국민에게 알려 줄 주체가 필요하다. 이를 위해서, 적절한 시점에 컴퓨터 과학자, 철학자, 뇌과학자, 교육전문가들로 이루어진 ‘AI 윤리위원회’를 국가적 차원에서 구성하는 것을 고려할 필요가 있다.