챗GPT의 '멋진 신세계', 무모하고 위험하다

최근 ChatGPT(챗지피티. 이하 챗GPT로 통칭)를 비롯한 고도의 인공지능(AI)이 엄청난 관심을 끌고 있다. 인간보다 더 똑똑하다, 학위논문도 금방 작성할 수 있다, 풀기 어려운 난제도 AI는 금방 풀 수 있다, 조만간 인간을 대신할지도 모른다는 등의 소문이 퍼지면서 지난해 11월 말에 공개된 챗GPT 이용자가 벌써 1억 명을 넘어섰다. 개발 기업에 막대한 투자가 쏠리면서 OpenAI(오픈 에이아이, 오픈AI로 통칭)에 출자한 마이크로소프트와 구글 등 미국 IT 대기업들 사이에 개발경쟁이 거세다. 그리고 고도의 인공지능이 지배하는 세계와 인간의 미래에 대한 설익은 예측들까지 난무하고 있다.

그런 예측들은 그러나 그다지 낙관적이지만은 않은 것 같다.

이탈리아 등 서방의 챗GPT 규제

지난 달 말 이탈리아에서는 방대한 개인 데이터 수집이 개인정보보호법 위반 혐의가 있다는 이유로 챗GPT 사용을 일시적으로 금지했다. 챗GPT 이용자의 대화내용이나 이용요금 지불 정보에 관한 데이터 침해에 대한 조사가 시작됐다. 이용자의 이름이나 신용카드 번호 일부가 장시간 외부에 노출돼 있었다는 보도도 나왔다. 챗GPT를 운영하는 미국회사 오픈AI에게 거액의 벌금을 물릴 가능성도 있다. 챗GPT가 수집하고 있는 데이터 내용을 이용자에게 적절하게 알리지 않았고, AI의 훈련에 필요한 방대한 개인정보를 법적 근거 없이 모았을 가능성이 있기 때문이다. 이용규약에서 13세 이상으로 나이를 한정하고 있지만 사이트 이용시에 나이를 확인하는 장치가 없어 나이에 걸맞지 않은 회답을 내 놨을 우려가 있다는 지적도 나왔다.

챗GPT 사용을 금지한 이탈리아 당국은 오픈AI에 대해 20일 안에 문제의 해결책을 보고하라고 요구했다. 그렇지 못할 경우 최대 2000만 유로나 연간 판매고의 4%에 상당하는 벌금을 물릴 가능성이 있다고 한다. 오픈AI의 최고경영자(CEO) 샘 앨트먼은 트위트에 “우리는 물론 이탈리아 정부 뜻에 따를 것”이라며 “우리는 모든 프라이버시법을 준수하고 있다고 생각하지만, 이탈리아에서의 챗GPT 제공을 중지했다”고 썼다.

유럽형사경찰기구(유로폴)은 챗GPT가 피싱 사기나 가짜정보, 사이버 범죄에 악용될 우려가 있으며, 리얼리티 있는 글을 단시간에 양산하는 능력은 거짓을 믿게 하거나 프로파간다(선전선동)를 확산시키는 효과적인 수단이 될 수 있다고 경고했다.

챗GPT의 경이로운 답변에 홀려 간과하기 쉬운 심각한 문제들이다.

미국에서는 비영리단체 ‘AI와 디지털 정책센터’가 미국 연방거래위원회 앞으로 서한을 보내 오픈AI의 최신 언어모델 GPT4가 “프라이버시나 공공의 안전에 위험을 안겨주고 있다”며 GPT4를 탑재한 제품이 소비자보호법에 위반된다는 이유로 제공을 중단하라고 요구했다.

일본에서는 기업이 고객의 GPT를 이용해 개인 데이터를 입력할 것이라는 우려, 교육현장에서 이용해도 되는지에 대한 질문 등이 나오고 있으나 전면적인 규제 움직임은 없으며, 정부 여당 내에서 AI를 적극적으로 이용하자는 움직임이 눈에 띈다. 고노 다로 디지털대신은 신설한 디지털청에서 AI를 활용하고 그에 필요한 인재도 채용하겠다고 말했다. 이른바 선진국들 중에서 디지털화에 가장 뒤처지고 있다는 지적을 받아온 일본에서 오히려 AI에 대한 거부감이 덜해 보이는 것은 역설적이다. AI를 통해 디지털 후진성을 단숨에 극복할 수 있다고 믿기 때문일까. 한국은 다를까.

AI 영향 연구자 메레디스 위태커의 문제 제기

<아사히 신문>은 지난 6일 "ChatGPT, 무엇이 문제인가“라는 제목의 기사에서, AI 문제들을 심도 있게 다뤘다. 구글에서 AI에 관한 사내 연구그룹을 만들어 그 사회적 영향을 조사하고 비판적인 목소리를 내다가 퇴사한 메레디스 위태커(Meredith Whittaker) 전 뉴욕대 연구교수와의 인터뷰를 정리한 내용이다. 위태커 교수는 최근의 챗GPT 운용에 대해 “매우 무책임하고 무모”하다고 비판하면서, 특히 이를 만들 수 있는 극소수의 IT 대기업들의 사적 이익을 우선하고 그 부작용의 뒤처리를 사회에 떠맡기는 윤리적, 도덕적인 문제를 날카롭게 지적했다. AI개발의 비용과 그 수익을 인간을 겨냥한 군(軍) 프로젝트 참여에 크게 의존하고 있는 IT와 인터넷, AI 산업의 구조적인 문제점에 대한 지적도 주목할 만하다.

하지만 이런 부정적인 측면들에 대한 성찰이 과연 가속적으로 발전하는 AI의 ‘마술적 딥 러닝’에 매혹당하는 인간의 무분별한 맹목에 대한 견제장치가 될 수 있을까?

미 연방거래위원회(FTC) 어드바이저 등을 지내고,  뉴욕대 AI연구소 ‘AI Now Institute’ 공동설립자이자 소장을 역임하고 지금은 통신 앱 '시그널' 사장인 메레디스 위태커의 인터뷰를 번역해서 싣는다.

ChatGPT, 무엇이 문제인가?

‘ChatGPT(챗GPT)’ 등 고도의 인공지능(AI)에 대한 우려의 목소리가 커지고 있다. 일론 머스크 등 저명한 창업자나 학자들이 개발 중단을 요구하고 프라이버시 면에서 이탈리아 정부가 사용을 일시적으로 금지하기도 했다. 무엇이 문제의 밑바탕에 있는가. 전 구글사원으로 AI가 사회에 끼치는 영향을 연구하고 경종을 울려 온 메레디스 위태커 전 뉴욕대 연구교수에게 물었다.

감시에 의한 데이터 집중이 낳은 AI

- 마이크로소프트가 출자하는 미국 오픈AI의 ‘챗GPT’ 등 고도의 AI 개발이나 서비스 이용 중지를 요구하는 움직임이 있다. 무엇이 문제인가?

= 윤리적인 면에서 많은 우려가 있다. 가장 문제인 것은 세계에서 헤아릴 수 있을 정도의 극소수 기업만이 이들 AI를 개발하고 제공하는 리소스(자원)를 갖고 있다는 것이다. 중립적이지도 민주적이지도 않다. 궁극적으로는 그들의 이익으로 이어지도록 만들고 있다.

이런 기업은 방대한 데이터와 클라우드 설비, 그리고 (미국 구글의) G메일이나 (미국 메타의) 페이스북을 통해서 데이터를 계속 추출하기 위한 거대한 소비자 시장을 갖고 있다. 지금 화제가 되고 있는 AI는 이런 자원과 권한 집중의 결과 태어난 것으로, 기술적인 혁신의 성과가 아니다. 그러나 ‘마술같은’ ‘인간보다 똑똑한’ ‘여러가지로 써먹을 수 있는’ 등의 과대선전이 정확성도 안전성도 모르는 실험적인 기술을 정당화하는 데 이용되고 있다.

- 왜 한 줌의 기업들에게 집약돼 버릴까?

= 인터넷의 비즈니스 모델을 이른 시기에 확립한 것이 이들 회사였기 때문이다. 요컨대 감시 비즈니스 모델이다. 예를 들면 G메일이나 페이스북. 여기서 모인 대량의 데이터가 데이터센터에 집약됐다. 이 방대한 리소스가 2010년대 초기에 이런 대기업의 것이 된 것이 지금의 AI로 연결됐다. 즉 AI라는 건 감시모델의 연장선상에 있다. 기술적인 비약이라기보다 권한의 집중 결과라고 할 수 있다.

- ‘인간보다 똑똑한’ 것처럼 보이는 AI의 등장으로 그 권한 집중은 어떻게 바뀌어 갈까?

= 독점적인 거대 IT기업이 감시를 통해 얻은 데이터를 광고를 통해 수익화한다. 그 수익으로 높은 인프라 비용을 충당한다. 데이터를 집약해서 AI를 트레이닝한다. 이런 구조는 지금까지 변함이 없다. 한편 이 AI 자체가 독자적인 감시기능을 제공할 수 있게 됐다. 종래와 같은, 예컨대 나의 위치정보 같은 것이 아니라 더 내면적인 추론적인 형태로 나에 대한 것을 밝혀낼 수 있다. AI와 감시모델의 관계는 더 강화될 우려가 있다.

무책임한 행동, 세계를 시험대로

- 오픈AI는 챗GPT를 일반에 공개하고, 거기에 출자하는 마이크로소프트는 검색 서비스 등에도 이용을 확장한다. 사회에 끼치는 영향을 알 수 없는 단계에서 공개하지 말았어야 했을까.

= 매우 무책임한 행동이라고 본다. 무모한 행위다. 검색에 투입한다는 것은 AI를 위해 데이터를 제공한 정보원에 대해서도 불성실한 행동이라고 생각한다. 일부의 대기업 결정으로 생기는 문제의 뒤처리를 해야 하는 것은 우리 사회다.

규제가 전혀 없다는 것을 기회로 삼아 마이크로소프트와 같은 기업은 지금 세계의 전인구를 시험대로 이용할 수 있도록 허용받았다. 윤리나 도덕이라는 관점에서 생각하면 더 민주적인 통제가 있어야 할 것이다. 예컨대 대학에서의 연구윤리를 생각해 보자. 미국에서는 사람들에게 무슨 실험을 할 때는 사람에게 악영향을 주는지 여부를 확인하기 위해 몇 단계나 되는 승인을 받아야 실행에 옮길 수 있다. 그런데 IT 분야에서는 이런 규제가 없다.

문제는 이런 실험이 기업의 이익을 위해서 행해진다는 것이다. (미국에서의 보도에 따르면) 챗GPT를 탑재한 검색 서비스는 중국 신장의 위구르족에 대한 중국정부의 대응에 대해 회답하지 않도록 설정돼 있었다. 이것은 마이크로소프트가 진실이나 공공의 이익보다 더 자사의 영업상의 이익을 중시하기 때문이다. 이것은 알기 쉬운 예지만 더 알기 어려운 것들이 많이 있을 가능성이 있다.

프라이버시 규제 강화로 ‘감시’ 거부를

- 단지 중립적이지 않을 뿐만 아니라 영리목적을 위해 그렇게 돼 있다는 얘기다. 이런 기업에 대한 권한집중을 해소할 방법은 없을까?

= 나는 별로 낙관적이지 못하다. 규제는 쉽지 않다. 이런 거대 IT기업들은 큰 힘을 갖고 있어서 우리 정부기관이나 사회 인프라 중 다수가 마이크로소프트나 구글, 아마존에 의존하고 있다. 지난 20년간을 돌아보면, 사회에 대한 악영향을 막으려는 규제가 작동하지 않았다는 것을 알 수 있다.

그래도 프라이버시 보호 제도를 AI규제와 엮어 가는 방법이 있다. 챗GPT나 스테이블디퓨전(영국 스태빌리티 AI가 제공하는 화상생성 AI), 그것 이전의 시스템도 그렇지만 이들은 모두 대량의 데이터에 의존하고 있다. 그리고 그 데이터는 어떤 형태로든 감시를 통해 수집된 것이다. AI를 더 많이 사용하기 위해서는 사람들을 감시해서 더 많은 데이터를 모아 AI에게 제공하고 훈련할 필요가 있다. 그런 의미에서 프라이버시와 AI는 대립하는 것이다. 사람들이 감시를 거부할 수 있는 강력한 프라이버시 규제 장치가 있다면 AI 산업에 대한 데이터 흐름을 차단할 수 있으므로 큰 임팩트를 줄 수 있다.

- 반트러스트법(독점금지법에 해당) 등 경쟁정책을 통한 규제는 어떨까? 미국에서는 경쟁법을 재정의하라는 주장이 퍼지고 있다.

= (고도의 AI는) 독점상태에 있고, 신규참여는 불가능하다. 미국에는 오랜 기간 소비자 가격이 내려가면 경쟁이 작동하기 때문에 개입하지 않을 것이라는 생각이 있지만, 최근의 아마존 등에 대한 분석은 가격이 내려가더라도 경쟁은 일어나지 않는다는 사실을 지적하고 있다. 올바른 방향으로 가고 있다. AI(의 개발)를 가능하게 만드는 클라우드 서비스의 독점에 대한 조사도 진행되고 있다.

다만 나는 그렇게 낙관적이지 못하다. 거대 IT기업은 정말 막강한 영향력을 갖고 있어서 법률에 영향을 주고 규제에 저항하기 위해 막대한 자금을 투입하고 있다. 연방거래위원회(FTC)도 역할에 비해 인원이 너무 부족하다. 정직하게 말해서 때때로 공격에 노출되고 있다. 미국에서는 이미 IT가 산업이 된 지 20년 이상이나 지났는데도 아직까지 연방 차원의 프라이버시 규제가 없다. 정부에 맡길 것이 아니라 우리도 행동할 필요가 있다.

중국에 대한 위험한 군비확장경쟁 레토릭

- 일본에서는 미국 기업이 하지 않으며 중국이 한다. 그러니 미국 기업이 낫다는 의견도 있다.

= 워싱턴 DC에서도 정말로 그런 류의 이야기를 들었다. “중국이 만들게 할 바에야 우리가 하는 것이 나을 것이다”라고. 그런 ‘냉전 멘털리티’를 지닌 사람들은 중국과의 군비확장경쟁이라는 스토리로 AI를 설명하려고 한다. 중국을 이길 필요가 있다, 그러기 위해서는 규제를 하지 말고 도덕이나 윤리에 대해서 생각하는 것도 그만두고 가장 큰 AI를 만들자고 호소한다.

이런 주장을 하는 대표적인 사람은 구글의 전 CEO인 에릭 슈미트다. 그에게 유리한 스토리다. 고도의 AI는 구글과 같은 기업만이 개발할 수 있기 때문이다. “AI에 투자하라”는 것은 곧 “구글이나 마이크로소프트에 투자하라”는 것을 의미한다. 냉전 중의 핵 군비확장경쟁에서 민간기업에 대한 거액의 투자를 정당화하는 데 사용된 레토릭과 매우 비슷하다. 실제로 냉전 당시 군비확장경쟁 레토릭을 주도한 (전 미 국무장관) 헨리 키신저는 ‘AI 군비확장경쟁’을 주장하고 있는 유력자 가운데 한 사람이다. 핵 군비확장경쟁의 판박이다.

그렇다면 우리가 정말로 지향해야 할 것은 무엇인가. 다시 한 번 생각해 봐야 한다. 집을 한걸음만 나서도 얼굴 식별을 하는 카메라 투성이로, 기업이나 정부에게 자신의 행동이 다 드러나는 세계를 추구한 것인가. 지향해야 할 것은 모든 사람이 테크놀로지를 이용할 수 있는 세계가 아닌가.

- 인터넷은 자율과 분산을 기본으로 하는 ‘자유의 기술’이라고 생각됐다. 어디에서 변질돼 버린 건가?

= 인터넷에 대한 초기 투자는 미군이 한 것이다. 견고한 지휘통제 장치를 만들기 위해서였다. 핵공격을 받더라도 인터넷 프로토콜에 의해 네트워크가 무너진 부분을 우회해서 접속할 수 있도록 하기 위해서다. 개발에는 그 당시부터 군사력을 높이려는 동기가 있었다. 1950년대의 대부분 당시 최대의 컴퓨터회사였던 IBM은 수익의 70%를 미군으로부터 벌어들였다.

1980년대 90년대가 되면 글로벌 신자유주의의 흐름 속에서 인터넷 민영화도 진행됐다. 대학중심의 연구용 네트워크가 일반에 개방되고 민간기업이 물려받는 가운데 인터넷 비즈니스 모델이 서서히 만들어졌던 것이다. 인터넷이 ‘자유의 기술’이라고 얘기하게 된 것은 1990년대 중반부터 후반에 걸친 시기였다. 그러나 이 시대조차 물리적인 인프라, 교환기나 라우터(router. LAN=근거리 통신망을 연결해주는 장치), 케이블 등은 일부 회사들이 지배하고 있었다. 2000년대 전반기에는 일부 기업들이 감시 비즈니스 모델, 즉 광고를 진화시키기 시작했다. “당신의 데이터를 전부 받아서 당신의 프로필을 만들고 광고를 팔겠습니다”라는 모델이다. 지금 시장을 독점하고 있는 거대기업들이 모두 감시 비즈니스에 일찍 참여한 기업이라는 것은 우연이 아니다. 그들은 데이터를 모을 수 있었기 때문이다.

즉 모두가 결정에 관여할 수 있고 모두가 사용할 수 있는 진정한 공공 인프라라는 것은 인터넷 초기단계부터 존재하지 않았다. IT기업들은 이미 어떻게 데이터를 모으고 어떻게 수익화해서 어떻게 ‘자유의 기술’을 팔면 좋을지를 생각하고 있었다. 오늘날의 ‘감시독점’의 싹이 이미 있었던 것이다.

구글 퇴직은 ‘군사이용’에 대한 반발 때문

- 광고 비즈니스의 급성장이 큰 전환점이었나.

= 그렇다. 사람들은 무료로 상품 서비스를 얻고, 비용은 광고주가 지불하는 구조야말로 감시 비즈니스의 중심이다. 그들은 ‘테크놀로지는 무료다’라는 마법과 같은 생각을 일반 소비자 사이에 퍼뜨리는 데 성공했다.

그리고 2010-12년 무렵 모든 것이 AI로 바뀌기 시작했다. AI는 70년 전에 태어났는데, 2010년 무렵에 눈에 띄게 된 것은 거대 IT기업의 서버에 데이터가 집적되고 난 뒤의 일이다. 광고 덕택에 데이터는 이미 있었고 데이터를 수집하기 위한 고객도 확보하고 있었다. 따라서 그들은 AI에 그것을 적용해서 모델을 훈련시키고 새로운 시장에 들어갈 수 있게 됐다. 헬스케어 AI, 교육 AI, 교통 AI, 법집행기관 AI 등 다양하다.

- AI에 관심을 갖게 된 계기는 무엇이었나?

= 나는 대학 졸업 뒤 2006년에 바로 구글에서 일하기 시작했다. 당시의 IT산업은 지금에 비해 소규모로, 구글 이용자 수가 야후보다도 적었던 시절이다. 페이스북은 대학생이 사용하기 위한 것이었다. IT기업이 지금과 같은 독접기업으로 성장해 가는 모습을 가까이서 지켜봐 왔는데, 그런 중에 2013, 2014년 정도부터 AI관련 화제가 급속하게 늘었다. 그래서 “무슨 일이 일어나고 있는 모양”이라며 흥미를 갖고 있었다. 나는 사내에 연구그룹을 만들어 AI의 사회적인 영향에 대해 조사했다. 매우 비판적이었다. 논문을 쓰고 강연도 하고 구글과는 반대입장에서 발신도 했다. 제품팀이나 상층부와도 얘기하면서 사내에서 회사를 더 좋은 방향으로 바꾸고 있다는 실감이 있었다.

- 그러나 그 뒤 구글을 그만두었다.

= 2017년 말에 구글이 비밀 AI프로젝트에 대해 군과 계약한 사실을 알게 됐다. 재난시에 사용할 것이라 생각하고 엔지니어가 개발했다. 기계의 눈으로 지형을 읽어내는 기술이 드론 공격의 표적에 대한 유도나 감시를 위해 사용된다는 것을 알게 됐다. 나는 “이 기술은 사람을 다치게 하는 데 사용해서는 안 된다”고 공개적으로 비판했다. 나는 틀리지 않았다고 믿고 있었는데, 옳은 것을 말로만 해서는 구글을 바꿀 수 없다는 것을 통감했다. 윤리적, 도의적 책임보다도 군과의 계약으로 수익을 얻는 것을 구글은 우선한 것이다. 권력이나 힘 있는 사람들과 대항하기 위해서는 어떻게 하면 좋을까 생각하다 결국 동료들과 구글을 떠났다.

- 정부의 규제에는 기대하지 않는다고. 그렇다면 어떻게 권력에 맞설 것인가.

= 정부의 규제에 대해 포기한 것은 아니다. 그렇지만 정부에게만 맡겨서는 안 된다. 왜냐면 정부는 늘 거대 IT기업의 압력에 노출돼 있기 때문이다. 그들은 몇 억 달러나 되는 거금을 써서 정부에 압력을 가했다. (로비스트들이) 워싱턴 DC에 매일 얼굴을 내밀며 의회 직원들에게 ‘안녕’하고 인사했다. 정부는 흔들리게 마련이니까 우리는 또 다른 목소리로 정부에 압력을 가해야 한다.

세상은 크게 바뀌고 있다. 5년 전 내가 같은 사람들에게 “이 테크놀로지에는 문제가 있다” “AI는 위험할지도 모르고 편견에 사로잡혀 있다”고 얘기해도 ‘그래 그래’ 하면서 그다지 진지하게 들어주지 않았으나 최근 5년 모두가 알게 됐다. IT기업이 선의에서 무료로 테크놀로지를 제공해 주고 있는 것이 아니라 수익이 목적이라는 것을. 우리 쪽에도 몇십 억이나 되는 사람이 있다. 거대 IT기업과 달리 환상을 품게 만드는 듯한 스토리를 만들어낼 필요는 없다. 진실에 솔직할 수 있는 것이 우리의 힘이 된다고 생각한다.