거대언어모델 AI는 인간을 비추는 거울이다

"쓰레기가 들어가면 쓰레기가 나온다(Garbage in, garbage out)."

'아너 파우리(Honor Powrie)' 미국 GE사 데이터과학 부처장이 9월 1일치 '물리학 세계(Physics World)'에 기고한 인공지능(AI)의 안정성에 관한 소고의 제목이다. '왜 AI의 성공이 좋은 데이타에 의존할까(why the success of AI depends on good data)'라는 부제가 달렸다. 

파우리는 기고문에서 "AI를 어떤 이는 기적이라고, 반대로 어떤 이들은 위험이라고 여긴다"고 말했다. 이런 상반된 견해를 대표하는 전문가를 들자면 구글의 전 CEO인 ‘에릭 슈미트(Eric Schmidt)’와 노벨상 수상자인 캐나다의 ‘제프리 힌튼(Geoffrey Hinton)’을 꼽을 수 있다.

슈미트는 미국 정부의 AI 자문기구 'NSCAI(National Security Commision on Artificial Intelkehence)'의 수장이며, 미국 국방부의 '국방혁신위원회(Defence Innovation Board)'의 일원이었다. 그는 최근 인터뷰에서, 긴 '생각사슬(Chain of Thought)'을 통해, 'AI 동료(Agent)'가 인간의 일을 대신할 뿐 아니라 새로운 과학의 원리를 발견할수 있다는 매우 낙관적 전망을 내놓았다.

반면 힌튼은 AI의 위험을 두 가지 면에서 우려한다. 첫째, AI가 사기, 사이버 공격, 생물학적 무기, 선거 조작같은 나쁜 목적으로 사용될 수 있다. 현재도 AI 강국이 휴머노이드 로봇을 약소국을 침략하는 무기로 편리하게 쓸 수 있다. 그런 방식으로 자국 병사의 인명 피해를 최소화할 수 있기 때문이다. 둘째, AI가 장차 너무 똑똑해져서 인간의 통제를 벗어나 인류의 생존을 위협할 수 있다. 매우 위험한 호랑이 새끼를 키우는 일에 비유할 수 있다.

튜링상 수상자이며 현재 AI 분야에서 가장 많이 인용되는 논문의 저자로 활동 중인 캐나다의 '요슈아 벤지오(Yoshua Bengio)'도 힌튼과 비슷한 견해를 갖고 있다. 벤지오는 "AI에 대한 규제는 샌드위치에 대한 것보다 못하다"고 말해 AI에 대한  비판적 시각을 단적으로 드러냈다. 그는 'AI 동료'의 계획 능력이 5년 내에 정상적인 어른의 수준에 도달할 것이라고 전망했다. 따라서 AI의 생각사슬을 감시해야 한다고 지적한다. 이런 우려에서 그는 지난 6월 AI의 안전성과 윤리적 문제에 촛점을 맞춘 비영리 기관 '로제로(LawZero)'를 설립해 운영하고 있다.

요즘 대중의 관심을 받고 있는 생성형 AI는 매우 많은 데이타와 엄청난 계산 능력으로 인해 가능해졌다. '오픈AI'의 거대 언어모델인 '챗지피티(ChatGPT)'가 이를 처음으로 입증했다. 파우리에 따르면 최근 마이크로소프트의 '실시간 자막(Live Caption)'은 영어로 된 대화를 실시간 자막으로 바꿔주며, 구글의 ' 번역하다(Translate)'는 세계 대부분의 언어를 실시간 다른 언어로 옮겨 준다. 예를 들면, 한국어 문장을 곧바로 위구르어로도 번역할 수 있다. '오픈AI'의 CEO '샘 올트먼(Sam Altman)'은 최근 인터뷰에서 최신 모델인 'ChatGPT 5'가 특히 코딩 능력에서 탁월하다고 자랑했다.

이런 편리함에는 특별한 주의가 필요하다. 아직은 거대언어모델 자체에 오류가 많기 때문이다. 예를 들어, 같은 문제라도 묻는 방식이 얼마나 정확하며 구체적인지에 따라 다른 답을 줄 수 있다. 우리가 흔히 실제 경험하고 있다. 하지만 '오픈AI' 같은 회사에서 이런 점을 사용자에게 주의 깊게 경고하는 것을 본 적이 없다.

현재 챗지피티 같은 범용 AI는 윤리적 문제에 대해 진지한 고려를 하는 대신, 기능적 유용성을 우선적으로 추구한다. 역사적 사실성이나 과학적 진실성과 같이 윤리적 판단을 하지 않아도 되는 기능적 문제들에 대한 답을 얻는데 촛점을 맞춘다. 여기서 발생하는 문제를 편의상 알고리즘에 의한 것이라고 하자. 이렇게 문제를 좁은 범위에 국한을 시켜도, AI를 사용하는데서 발생하는 오류에 대한 책임을 거의 전적으로 사용자 자신이 져야만 하는 상황이다. 사용자는 같은 질문이라도 항상 3가지 이상의 다른 방식으로 매우 주의 깊게 질문해, AI가 일치된 답을 주는지 점검해야 한다.

파우리는 현재 AI에서 의도하지 않은 편향은 찾기 어렵다고 지적한다. 예를 들어, 페이스북(Facebook), X, 그리고 레딧(Reddit) 등 온라인 토론 광장의 데이터들에는 정치적, 종교적, 성적, 인종적 편향이 있을 수 있다. 그럴 때 어떤 문제가 생길수 있는지 예를 들어 보자. 미국의 클라우드 회사인 '아마존'이 직원 채용 도구를 개발했는데, 이를 적용하면 남성을 여성에 비해 선호한다. 이는 훈련에 사용된 이력서 데이터가 대부분 남자들의 것이었기 때문이다. 신용카드 사용에 있어, 애플도 비슷한 조건의 여성에 비해 남성에게 더 높은 신용 한도를 주었다고 한다.

완벽한 알고리즘에 의해 구동되는 AI를 가졌다고 해보자. 그건 아마도 기능적인 면에서 인간과 비슷한 '범용 인공지능(AGI / Artifical General Intellegence)'을 포함할 것이다. AGI가 인간을 대체한다면, 과연 인간은 무엇을 할 것인가? 자기가 현재 하는 일에 보람을 느끼지 못하는 이들은 조기 은퇴해서 좋을지 모르겠다. 하지만 지적 성취감을 추구하는 이들이 할 일이 없어지면 전혀 다른 문제가 생길 수 있다. 설사 일하지 않아도 모든 이들에게 기본소득이 보장된다고 해도, 모든 인간이 남는 시간에 선한 일만 할 것인가? 폭력적인 본성을 가진 이는 더 많은 시간을 폭력적인 일을 위해 보내지 않을까? 이런 면에서, 인간이 꼭 AGI를 성취하는 대신 질병치료, 기후위기의 해결과 같은 특수한 목적의 AI들을 개발하는데 집중하는 게 좋지 않겠는가 ?

언어모델의 보다 부정적 측면은 알고리즘의 불완전성보다 더 근본적 문제에서 온다. 그것은 인간의 어두운 본성이다. 모든 인간이 그렇다는 뜻은 물론 아니다. 그러나 인류 역사에서 생산되고 전파된 정보들 중 그런 성격인 것이 없다고 확신할 수 없다. 그것도 케냐와 같은 아프리카 노동자의 희생으로 훈련에 사용되는 데이터를 1차 정화하고서도 그렇다.

따라서 AI와 대화하는 단어에 폭력성이 없도록 조심해야 한다. 왜냐하면 많은 생성형 AI들은 사용자와의 대화를 이후 훈련에 사용하기 때문이다. 구글 딥마인드의 선임과학자인 '머레이 샤나한(Murray Shanahan)'은 거대언어모델이 우리를 돌아보는 거울이라고 말한다. 오픈 AI 출신 연구자들이 설립한 기업 '엔트로픽(Anthropic)'의 '클로드 4 오푸스(Claude 4 Opus)' 모델이 최근 회사의 기술자를 협박했던 일은 바로 인간의 어두운 본성과 관계된 예이다. 이런 문제가 특별히 엔트로픽에 국한되지 않는다. 이런 면에서, 샤나한은 AI를 통해 우리를 스스로 성찰함으로써 불교에서 추구하는 해탈의 길로 갈수 있지 않겠는가 하는 희망도 피력했다.

최근 우리나라뿐만 아니라 유럽, 미국의 일부 극단적 이들로 인해 AI가 오염될 수 있다는 점이 우려된다. 파우리는 기고문의 말미에 "쓰레기를 넣으면 쓰레기가 나온다. 때로는, 쓰레기가 제곱으로 증폭돼 나오기도 한다"고 강조했다.

AI의 근본적 문제와 관련될 수 있는 불편한 진실 몇 가지를 지적하고자 한다.  결코 비전문가가 지어낸 얘기가 아니다. 힌튼과 같은 전문가들의 글과 그들의 인터뷰에 기초했다. 또한 이는 우리나라의 'AI 주권'에 국한하지 않고, 인간의 보편적 가치에 대한 AI의 도전에 관한 얘기다.

첫째, 올해 초 중국의 딥시크(DeepSeek)의 추론 모델인 'R1'은 미국에선 이미 구식이 되어 버린 엔비디아의 A100 GPU를 훈련에 이용했다. 그런데도 메모리를 매우 효과적으로 활용해, 저비용으로 놀라운 성능을 구현해 세계의 AI 업계에 충격을 주었다. 영국 BBC 방송의 실험에 따르면, 이 모델에게 1989년 6월 4일 천안문 광장에서 무슨 일이 있었는지 물으면 모호한 대답으로 일관한다고 한다. AI에 대한 신뢰성이 권력의 통제로 왜곡될 수 있는 대표적인 예이다.

둘째, 구글의 에릭 슈미트의 경력은 AI 분야에서 미국과 중국이 상대방에 대한 기술적 우위를 지키기 위한 국가적 차원의 경쟁과 관계가 깊다. 힌튼은 AI 발전 속도를 늦춰야 하며, 미국이 늦추면 중국도 그렇게 할 것이라고 한다. AI 업계가 천문학적인 훈련 비용을 마련하기 위해 국방산업에 크게 기댈 수 밖에 없을 것이라고 한 언론인 카렌 하오(Karen Hao)의 지적을 생각나게 한다. 지금도 AI를 전쟁의 무기로 사용하는 일에 어떠한 규제가 있는지 모르겠다. 유럽연합(EU)의 규정에는 AI를 전쟁에서 사용하면 안 된다고 명시돼 있지만, 우크라이나 전쟁에 간접적으로 참여하는 EU 국가들이 과연 이런 규정을 얼마나 엄격히 지키는지는 알 수 없다. 하물며 이런 규정 자체가 아예 없는 대부분의 국가들은 어떻겠는가?

셋째, '오픈AI'의 공동창업자이며 수석과학자를 역임한 '일리야 수츠케버(Ilya Sutskever)'가 지난해 5월 올트먼과의 의견 차이로 회사를 떠났다. 이에 대해 부정적인 추측이 있다. 카렌 하오도 올트먼의 회사 운영 전략에 대해 비판적 발언을 한 적이 있다. 힌튼은 수츠케버가 대표적인 거대언어모델 회사인 오픈AI를 떠난 것은 AI의 안전성에 대한 우려였다고 지적했다. 그는 한 인터뷰에서 올트먼의 도덕성에 대한 질문에 직답을 피했다. 올트먼이 '오픈AI'의 장래에 대해 어떤 의도를 갖고 있는지 우려한다는 뜻으로 들린다. 올트먼에 대한 비판은 힌튼만 한 게 아니다.

올트먼은 미국 의회같은 공식 석상에서 AI에 대해 증언할 때는 매우 상식적인 발언을 한다. 반면, 그를 가까이서 접한 이들 가운데 그의 발언이 정직한지를 의심하는 이들이 적지 않다. 즉, 그에게는 AI의 안전성은 기껏해야 두 번째 관심일 뿐이라고 한다. 그것이 단지 '오픈AI'만의 문제일까 ?

AI로 인해서 인간이 해탈로 가지는 못할지라도, 정반대의 길로 가서는 안 되지 않겠는가?

참조1 : "쓰레기가 들어가면 쓰레기가 나온다(Garbage in, garbage out)."

참조2 : 'AI 노벨상' 받은 박사가 말하는, "당신이 알아야 할 AI의 모든 위험"｜제프리 힌튼 × 스티븐 바틀렛

참조3 : 머레이 샤나한 인터뷰