운전자 없는 AI 자율주행 자동차 안전한가 ?

운전자 없는 자동차 자율주행은 술 취하지도 않고 졸지도 않아서 인간의 운전보다 훨씬 더 안전할까? 이미 미국 몇몇 도시들에선 휴대폰 앱으로 자율주행 택시를 간단히 호출할 수 있다. AI 3대 강국과 주권 AI를 추구하며 AI 생태계에 큰 투자를 하고 있는 우리나라가 자동차 자율주행에 어떤 정책을 채택할지 궁금하다. 자율주행 기술의 현황과 문제점을 살펴보자.

2025년 8월 13일 비영리 아카이브 'arxiv.org'에 '데이터 분배로 본 LLM의 생각사슬 추론은 신기루인가? (Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens).'라는 초고 논문이 실렸다. 이 초고에는 '미국이 건국된 해는 윤년인가, 평년인가'라는 질문에 대한 거대언어모델(LLM)의 답변이 나온다. 이 질문과 답변은 자동차 자율주행에 대한 흥미로운 시사점을 제공한다.

질문에 대한 LLM의 답은 다음과 같다. "미국은 1776년에 건국되었다. 1776은 4로 나누어 떨어지며, 끝에 영이 두 개 붙지 않았으므로 윤년이다. 따라서, 답은 평년이다." 추론은 제법 잘 하다가 마지막 반전이 매우 황당하다. 대개의 경우 이런 '환각'은 심각한 문제로 연결되지 않는다.

하지만 이런 경우를 생각해 보자. 갑자기 자기 차의 왼쪽에서 다른 차가 충돌할 것처럼 달려드는 경우, 자율주행 자동차는 어떻게 대응할 것인가? 윤년 판정과 비슷한 추론을 하면, '어떤 차가 갑자기 왼쪽에서 달려든다. 피하려면 핸들을 오른쪽으로 꺾어야 한다. 그러니, 왼쪽으로 꺾어야 한다.'가 된다.

자동차 주행에서 이런 판단이 실행되면, 얼마나 치명적인가? 이런 '환각'은 AI의 추론이 '본질적'으로 확률적 과정과 관계가 깊기 때문에 생긴다. 자율주행이 얼마나 어려운지 짐작하게 한다. 이런 환각의 문제가 있기는 하지만, 여러 잣대에 비추어 시험 데이터가 훈련 데이터 내에 속해 있는 '내삽(intertpolation)'은 뒤에 언급할 문제에 비하면 상대적으로 쉽다고 할 수 있다.

주어진 데이터 범위 밖에서 새로운 값을 추정하는 '외삽(extrapolation)'은 추세 분석에 더 큰 위험성을 안고 있다. 기존 데이터의 패턴이 유지된다고 가정을 해야 하므로 불확실성이 더 크기 때문이다. 2024년 노벨화학상을 받은 알파폴드의 단백질 구조 분석을 예로 들면 훈련에 사용된 단백질과 아미노산 서열에 이질적인 요소가 포함됐다면 구조 예측이 크게 틀릴 수 있다. 하물며 LLM보다 훨씬 더 어려운 AI인 이미지와 비디오를 판독하고 이해하는 '컴퓨터 비전'은 오죽하랴?

이 두 AI의 차이에 대한 아주 쉬운 예를 들어 보자. LLM에서 다음 단어 예측과 '컴퓨터 비전'에서 다음 장면 예측 중 어느 것이 더 어려울까? 튜링상 수상자인 '얀 르쿤'은 비디오 예측의 어려움에 대해 직접 언급한 적이 있다. 그가 "AI가 물리적 세계를 이해하지 못한다"고 한 말은 이와 밀접한 관계가 있다. 쉽게 말해, 탁구공이 책상의 가장 자리를 벗어나면 바닥에 떨어져야 한다. 바로 중력의 법칙을 따라야 한다는 뜻이다. '컴퓨터 비전'이 성공적으로 구현되기 위해서는 비단 이 법칙뿐 아니라 모든 자연과학의 모든 법칙을 이 AI가 이해해야 한다는 뜻이다. 이와 같이 길게 설명하는 이유는 '컴퓨터 비전'을 이용한 자율주행이 얼마나 어려운 문제인지 강조하기 위해서다.

일론 머스크 테슬라 CEO는 최근 10년 동안 계속 '다음 해'를 되뇌이며 '완전 자율주행(Full Self-Driving: FSD)'을 끊임없이 약속해 왔다. 기술적인 문제에 대해 어두운 월가의 일부도 머스크의 주장에 동조하고 있다. 머스크는 어떤 근거에서 그런 주장을 할까? 그가 소송에서 한 말에 따르면, 그는 이를 다소 과장된 광고 정도로 생각하고 있는 것 같다. 미국의 비영리 뉴스 미디어인 '더 완전한 조합(More perfect union)'은 테슬라에 대해 매우 비판적이다. 즉, FSD 또는 자율주행자의 이름으로 출시되는 자율주행의 위험을 경고하고 있다.

'조지 메이슨 대학(George Mason University)' 컴퓨터공학과 교수이며 '자율주행 로봇' 실험실을 운영중인 '미시 커밍스(Missy Cummings)'에 따르면, '컴퓨터 비전'이 도달할 수 있는 최선은 97%라고 한다. 즉, 100번의 상황 중 최소 3번은 잘못 판단한다는 것이다. 참으로 무서운 얘기다. 심지어, 그는 태양이 구름에 가리는 것만으로도 컴퓨터 비전이 문제를 일으킬 수 있다고 한다. 커밍스는 '컴퓨터 비전'에서 흔히 일어나는 오류로서 ‘유령 브레이크 작용(phantom breaking)’을 예로 든다. 아무 문제가 없는 상황에서, 자율주행차가 고속도로에서 갑자기 정지하는 일이 바로 그것이다. 2022년 12월 24일자 <비즈니스 인사이더> 기사에 따르면, 이 현상으로 추수감사절에 샌프란시스코 지역의 도로상에서 테슬라 자동차는 8중 연쇄 충돌을 일으켰고 이로 인해 9명이 부상을 당하였다. CNN 보도에 따르면, 이 차의 운전자는 자신의 테슬라차가 FSD 모드에 있었다고 진술하였다고 한다. 극히 최근인 2025년 10월 6일, 테슬라 전기차는 플로리다주의 고속도로에 정지하여 연쇄 3중 충돌을 일으켰고 테슬라 운전자가 즉사하였다. 미국의 고속도로 안전기관인 ‘NHTSA(National Highway Traffic Safety Administration)’은 이와 같은 브레이크 작용으로 테슬라 소유주로부터 많은 불평을 접수받았다고 한다. 자율주행과 관련하여 이 이외에도 많은 사고가 보고되어 왔다.

역으로, 이는 인간을 가벼운 물체로 잘못 인식하면 치명적 사고를 일으킬 수 있다는 뜻도 된다. 도로를 횡단하는 인간이 자율주행차에게 그렇게 인식되지 않기만을 바라야 한다면 참으로 무서운 일이다. 자율주행차는 자신이 충돌해도 별 문제가 되지 않은 물건을 확인하는 능력도 매우 중요하기 때문이다. 자기 앞에 무언가 나타났을 때 매번 정지할 수는 없기 때문이다. 자율 주행이 얼마나 어려운 일인지 말해 준다.

현재 구글의 자회사인 웨이모 등이 캘리포니아, 애리조나, 조지아, 텍사스 등에서 4 단계 자율주행을 실시하고 있다. 즉, 제한된 지역에서 안전 운전자 없이 자율주행을 할 수 있다. 이에 따라, 몇 개의 회사가 호출을 이용한 ‘자율주행 택시 (robotaxi)’를 운행해 왔다. 가장 오래 자율주행 택시를 운행해 온 웨이모는 그간 한번도 치명적 사고를 겪은 일이 없다. 그런데, 사람이 자율주행 자동차 밑으로 끌려 들어가 계속 간다면 매우 심각하다. 자동차 바닥의 여러 군데에도 센서를 달지 않으면, 자율주행차는 기존 센서에서 사람이 사라지는 순간 자유롭게 운전해도 된다고 여길 것이기 때문이다. 이는 GM의 상업용 자율주행 자회사인 '크루즈(Cruise)'가 샌프란시스코에서 실제 저지른 사고이다. 아마도, 이런 사고는 자율주행의 훈련에 사용된 데이터에는 포함되어 있지 않을 것이다. 자율주행 AI가 '외삽(extrapolation)'에 얼마나 취약한지 다시 말해 준다.

요약하면, 자율주행에 의한 사고는 AI 모델 자체가 가지는 확률적 성격, 훈련 데이터와의 관계, 그리고 센서의 오류 등에 의해서 발생한다. 특별히, 라이더와 레이더를 함께 사용하지 않고 오직 사진기에만 의존하는 경우에는 센서의 오류가 더 쉽게 위험으로 귀결될 수 있다. 날씨가 나쁜 날이나 밤중에는 특히 더 그러할 것이다. 그런 사고 중에는, 인간이라면 아무리 부주의한 이라도 저지르지 않을 것들이 적지 않다. 그럼에도 불구하고, 관련 회사들은 자율주행이 인간보다 더 안전하다고 끊임없이 홍보한다. 우리 국민 가운데 자율주행에 대한 막연한 환상을 가진 이들도 있을 것이다. 이 글을 읽고 그런 이들의 태도에 어떤 변화가 있을지 궁금하다. 과연, 언제 어느 수준에서 우리 국민은 운전자 없는 자율주행을 안전하다고 여길까 ?

1. Chain of thought archive (https://arxiv.org/abs/2508.01191)
2. More perfect union (https://youtu.be/6ltU9q1pKKM?si=F67rYhBAZ9Gs-5i-)
3. 테슬라 자동차는 8중 연쇄 충돌 (https://www.businessinsider.com/teslas-fsd-car-crash-california-phantom-braking-2022-12)
4. 2025년 10월 6일, 테슬라 전기차 플로리다주의 고속도로 연쇄 3중 충돌 (https://www.news-journalonline.com/story/news/accident/2025/10/07/tesla-driver-killed-in-crash-with-tractor-trailers/86562861007/)
5. GM Cruise 사고 (https://youtube.com/watch?v=040ejWnFkj0&si=FgQ8LEri-m-Hm-Fl)