인간처럼 계획하고 실행하는 'AI 요원' 감시해야

7월 14일 '과학자의 눈'에 올린 ''주권 AI' 추진 걸림돌 '에너지·물 먹는 하마''에서 인용했던 요슈아 밴지오 등 전문가 보고서의 내용을 몇 차례 걸쳐 더 자세히 분석해 보고자 한다.  2025년 1월 밴지오 등 96명의 AI 전문가들이 출판한 이 공식 보고서는 AI의 잠재적 위험에 대한 해석과 전망을 담고 있다. 'Frontier Math' 문제 등 수학, 과학, 프로그래밍에 대한 오픈AI o3의 놀라운 성적뿐 아니라, 다음의 몇 가지 점들도 지적한다. 먼저 그 중 AI의 발전에 관한 지적을 살펴보자.

첫째, AI 회사들은 이제 인간의 개입이 거의 없이 스스로 계획하고 행동하는 'AI 요원' 개발에 집중 투자하고 있다. 지금의 챗봇은 아주 단순한 명령을 수행하지만, AI 요원은 긴 '생각 사슬(Chain of Thought: CoT)'을 통해 복잡한 문제를 작은 단위로 쪼개고 스스로 계획을 세우고 결정도 한다. 필요시 코딩도 할수 있어야 한다. 현재 AI는 인간의 수준으로 치면 극히 짧은 계획 밖에 세우지 못하는 어린이 수준이다. 그러나 밴지오가 최근 한 인터뷰에 따르면, 최근 5년간 AI 요원의 계획 능력이 발전하는 속도는 매우 극적이다. 능력이 7개월 만에 2배가 되는 정량적 경향을 보인다고 한다. 이런 추세라면 5년 내에 정상적인 어른의 계획 능력에 도달이 예상된다. 이러한 전망은 AI 요원의 잠재적 위험이 매우 클수도 있다는 부정적 전망도 아울러 갖게 한다.

2025년 7월 15일 인터넷 아카이브(archive)에 이와 관련된 매우 중요한 논문이 공개됐다. 논문 제목은 '생각 사슬의 감시 필요: AI 안전에 대한 새롭고 깨지기 쉬운 기회(Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety)'이다. 밴지오도 이 논문의 많은 저자에 포함돼 있다. 그는 '내부 생각사슬', 즉 최종 결과를 도출하는 과정에서 거치는 단계별 내부 과정을 모니터하는데 보다 많은 투자를 해야 한다고 주장한다. 즉, 어느 단계에서 AI 요원이 무슨 나쁜 의도를 드러낼 수 있는지 감시해야 한다는 말이다.

둘째, 앞으로 AI의 발전 속도가 얼마나 빠를 것인지에 대한 다양한 의견이 있다. 아직도 '규모 가설(Scaling hypothesis)'에 따라 급격히 성능이 향상될 여지가 남아 있는지에 관한 문제인데, 일치된 의견이 없다. AI 요원이 5년 안에 인간의 능력에 도달한다는 예측에 따르면, 현재 생각사슬을 이용한 추론에 규모가설이 적용되어 AI 요원의 추론 능력의 성능이 급격히 향상되고 있는 것으로 보인다.

보고서는 이어 AI의 각종 위험을 지적한다. 셋째, 범용 AI에서 몇 가지 부정적 문제가 확인됐다. 예를 들면 신용 사기, 동의없는 부적절한 사진 배포 등이다. 넷째, 대규모 실업, 해킹, 생물학적 위험이 새로 부각됐다. 대학교 화학 수업에서 배우는 나사의 톱니처럼 '오른쪽-왼쪽 손감기(handness)'라는 서로 '거울상 대칭(mirror symmetry)'라는 개념이 있다. 생명체 분자는 오른쪽 손감기만을 갖는다. 만일 악의로 왼쪽 손감기를 갖는 바이러스를 발명하면, 인간의 면역 분자는 전혀 대응할 수 없는 치명적인 결과를 낳는다. 보고서에 따르면 대학원 수준의 과학 시험인 ‘GPQA’(Graduate-Level Google-Proof Q&A)에서 챗지피티 o3가 100점 만점에서 90점을 기록했다. AI를 둘러싼 위험이 상상 만이 아니라는 점을 일깨워 준다. 특정 AI 모델은 이미 '낮음'에서 '중간'으로 생물학적 위험도를 스스로 격상시키기도 했다.

디섯째, 위험관리 기술이 아직 초기 단계다. 이는 범용 AI가 왜 특정 결과를 내는지에 대해 잘 모르기 때문이다. '딥러닝 (deep learning)' 알고리즘 자체가 확률적 성격을 가지므로, 결과 생성 과정은 양자역학의 관측 시에 일어나는 파동함수의 붕괴와 일견 비슷하다고 할수 있다. 스무고개의 문제처럼 같은 모델이라도 주어진 문제에 대해 묻는 방식의 미세한 차이에 따라 다른 답을 준다고 해서 이상할 것이 없다. 이러한 확률적 현상은 AI에 대한 위험 관리를 어렵게 하는 요인이 될 수 있다.

밴지오는 한 인터뷰에서 상황이 이런데도 현재 AI에 대한 규제는 샌드위치에 대한 규제보다 못하다고 걱정한다. 자동차를 안전하게 운행하기 위해서도 각종 법령에 따른 규제가 있는 점에 비하면 우려스러운 일이라는 뜻이다.

정부 차원에서 위험 관리를 표준화하려는 움직임이 있다. 현재 가장 앞서 가는 것은 EU의 'AI법'이다. 이 법은 2024년 8월 1일부터 일부 시행에 들어갔고, 2026년 8월 2일 전면 시행될 예정이다. 핵심 내용으로는 개별 AI를 '수용불가, 고위험, 제한된 위험, 최소 위험'의 네 단계로 분류한다. 개인의 사회 점수화, 생체인식 등에 사용되는 AI는 '수용 불가'로서 전면 금지한다. 주요 인프라의 관리 및 운영, 이민 및 국경 통제 관리 등은 '고위험'으로 분류하고, 사전에 엄격한 평가를 거쳐 문서화하며 필요시 인간의 개입을 보장하도록 했다. 이 법을 어긴 경우 무거운 벌금을 부과하도록 한다.

여섯째 지적은, AI 발전에 대한 예측불가성으로 인해 정부를 비롯한 정책 입안자들이 '증거 딜레마'를 겪게 된다는 점이다. 매우 제한된 증거에도 불구하고 위험관리를 선제적으로 실시하면 비효율적일 수 있다. 그러나 현재 AI 요원의 성능에 대해 급격히 규모의 법칙이 적용되고 있다는 점을 감안하면 바로 지금이 규제가 필요한 시점일 수 있다.

일곱째, 그럼에도 불구하고 연구자들 사이에 다음과 같은 질문이 도움이 된다는 공감대가 형성돼 있다. 어떻게 신뢰할수 있는 AI를 설계할 수 있는가 하는 질문을 끊임없이 해야 한다는 것이다. 서로 경쟁하기에 바쁜 하이퍼스케일러들이 과연 성장 대신 신뢰성을 걱정할 것인지는 매우 불투명하다. 따라서 이런 질문은 대학과 같은 비영리 AI 연구기관에게 끊임없이 제기하도록 하는 것이 좋겠다. 이를 위해 국가가 연구비를 할당해야 한다. 그런 면에서, 우리도 영국의 '아폴로 연구소'(Apollo Research)나 밴지오가 이끄는 캐나다의 '로제로' (LawZero) 같은 비영리 공공기관을 설립하면 더욱 좋겠다.

요약하면, AI의 발전 속도에 대한 일치된 견해가 없다. 그러나, Frontier Math, GPQA 등에 대한 놀라운 성적과 스스로 복잡한 계획을 세우고 실행하는 AI 요원에 대한 하이퍼스케일러들의 집중적 투자는 AI의 위험을 결코 과소평가해서는 안됨을 말해 준다. AI에 대한 공공규제로서는 EU의 'AI법'이 실천 초기일 뿐이다. ‘AI 3강’을 중요한 국정 목표로 삼고 있는 이재명 정부는 비영리 AI 기관에 대한 지원 등을 통해 지속적으로 위험 및 신뢰성을 검증하고 정부 차원의 규제를 마련해야 한다.