이응용 ([email protected])

(現) ICT&AI 애널리스트
(前) KISA 수석연구원

최근 글로벌 자동차기업과 IT 기업들이 자율주행차 시장에 진입하고 신차 개발에 박차를 가하면서 자율주행차 시장이 가빠르게 성장하고 있다. 자율주행차는 장애인, 노약자에게도 안전한 운행을 제공하고, 운전자들이 자율주행차를 운행할 때 자유로움과 편리성을 누릴 것으로 기대되고 있으며, 교통사고나 환경오염 등 다양한 사회적 이슈에 대한 해결도 기대되고 있다.

자율주행차에서 전통적인 자동차 기술이 AI(인공지능) 기술과 접목하여 자동화(Automation)가 진전되고, AI 기술이 진화하면서 자동차가 인간과 같이 인지-판단-제어를 통해 주변상황을 자율적으로 인지하여 차량속도나 방향을 결정하고, 차량부품들을 자율적으로 통제하면서 자율성(Autonomy)이 향상된다.

한편, 자율주행차는 AI 시스템을 기반으로 운행방법을 결정하므로 AI 알고리즘 오류나 기능상의 장애가 발생하는 경우 자율주행차의 판단 착오가 발생하여 안전사고 등 운전자, 보행자에게 치명적인 위험을 초래할 수 있다.

현재 국제자동차기술자협회(SAE International)의 분류 기준에 따르면 세계적인 자율주행차 기업들의 자율주행 기술 수준은 4단계에 진입하고 있는 것으로 평가되고 있으며, 4단계부터는 운전에 대한 책임이 운전자 보다는 차량시스템에 더욱 의존하기 때문에 4단계 이상의 자율주행차이 본격적으로 운행되면 AI 시스템의 안전과 보안성은 더욱 중요해질 전망이다.

<차량주행 기술 진화별 특징>

컨설팅사인 맥킨지(MaKinsey&Company)는 미래적인 자동차(자율주행차, 커넥티드카, 전기자동차, 공유차)의 글로벌 시장 규모를 2020년 2조3800억 달러에서 연평균 7%로 지속 성장하여 2030년에는 4조6900억 달러에 이를 것으로 전망하고 있다. 이처럼 자율주행차 시장규모가 급속히 확대될 것으로 예상됨에 따라, 정부는 2020년 10월 관계부처 합동으로 ‘미래자동차 확산 및 시장 선점 전략’을 마련하고, ① 편의·가격·수요 3대 과제 해소로 미래차 친화적 사회시스템 실현, ② ｢미래차 + 전ᆞ후방 연관산업｣을 확고한 수출 주력으로 육성 ③자율주행 및 모빌리티 서비스 활성화 ④ 미래차 생태계로의 전환 방안을 제시하였다. 동 전략을 통해 자율주행 및 모빌리티 서비스 활성화를 위해 사회문제 해결에 자율주행기술을 적극 활용하고, 자율주행 데이터댐을 구축하며, 자율주행 특수부대를 창설하는 등 자율주행 기술의 활용을 적극 확대할 계획이다.

그러나 미래에 자율주행차 활용이 보편화될 것으로 예상되면서 자율주행 차량에서 수집·보유·전송한 대규모 데이터에 대한 보안과 차량 내 AI 시스템에 대한 보안이 우선적으로 해결해야할 과제 중 하나로 대두되고 있다. 차량 내 AI 시스템이 주변의 네트워크 인프라, 장비공급업체, 차량서비스업체 등과 실시간으로 통신하면서 차량 내 보유한 데이터가 전송과 공유되고, 이러한 데이터에 대한 불법적인 접근으로 인한 유출위험이 증가할 수 있다. 또한 차량제조업체, 부품업체, 센서기기업체, 차량운영자, 도시기반시설 설계자, 보험회사, 경찰 등 다양한 이해관계자들이 차량 데이터를 이용하면서 해커조직에 의한 지능화된 사이버보안 위협과 개인정보 침해 위험이 증가할 수 있다.

자율주행차와 관련된 위험에 대처하기 위해 2021년 2월 EC의 공동연구센터(JRC: Joint Research Center)와 ENISA(European Union Agency for Cybersecurity)는 자율주행 차량에서 AI와 관련된 사이버보안 위험을 조사하고, 위험에 대처하기 권장사항을 담은 보고서⁽¹⁾를 발표하였다. 본고에서는 이 JRC・ENISA 보고서에서 중점적으로 다루고 있는 자율주행차 관련 주요위험요인과 위험 시나리오에 따른 보안권고사항 중심으로 고찰해보고자 한다.

자율주행 환경의 AI 위험요소

자율주행차의 AI 시스템은 머신러닝 기술을 사용하여 데이터를 수집, 분석, 전송하여 기존 자동차에서 인간이 하던 결정을 직접 내릴 수 있다. 자율주행차는 교통사고의 주요 원인 중 하나인 운전자를 대체함으로써 교통사고와 사망자의 감소효과를 기대하고 있으나, 오히려 자율주행차에서는 운전자, 승객, 보행자에게 완전히 다른 유형의 안전위험을 초래할 수 있다. 특히 자율주행차에서 AI 의존도가 증가하면서 차량의 디지털화가 증가하고 사이버공격 표면이 확대되어 공격자가 자율주행차를 집중적인 표적으로 삼아 공격을 시도할 수 있다. 또한 자율주행차에 대한 사이버공격은 AI 시스템뿐만 아니라 차량자체의 디지털 시스템과 네트워크 인프라를 대상으로 할 수 있다.

자율주행차에서 AI 위협은 의도적 및 비의도적 유형으로 분류할 수 있다. 의도적 위협은 피해를 유발하기 위해 AI 및 머신러닝(ML)의 취약성을 의도적으로 악용하는 공격이다. 의도적인 AI 오남용은 새로운 유형의 취약점을 발생시키고, 잠재적인 위험을 초래하며 현재의 사이버보안 환경의 변화를 요구한다. 사이버공격이 의사결정을 자동화하는 AI 및 ML 시스템의 보안결함과 취약성을 이용하여 공격을 감행하는 경우 AI 및 ML 시스템은 중요한 결정에 관여하는 경향이 있기 때문에 사이버공격으로 인한 안전문제에 심각한 영향을 미칠 수 있다. 또한 사이버범죄자는 AI를 사용하여 공격을 자동화하여 저 비용으로 보다 신속하고, 대규모 공격을 정밀하게 감행할 수 있다. 반면 의도하지 않은 위협은 현재의 AI 및 ML 방법의 신뢰성, 견고성, 안전성 관련 내재적인 기능적 취약점으로 발생하는 부작용으로 발생한다. 즉 AI 및 ML의 단점, 설계 오류나 내부 특성으로 인한 예측할 수 없는 오작동, 중단 등이 의도하지 않은 위협을 발생시킨다.

자율주행 환경의 AI에 대한 공격 시나리오

JRC・ENISA 보고서는 자율주행차의 보안성(무결성과 가용성을 손상하는 의도적 위협)을 손상시키는 AI 취약성을 분석하며, 기존의 사이버보안 취약성과 새로운 AI 관련 취약성에 대해 종합적인 관점에서 자율주행차 환경의 AI 취약성을 악용하는 5가지 가상 공격 시나리오를 제시하고 있다.

① 도로표지판 인식 및 차선 감지 이미지 처리 모델에 대한 악의적 행위

공격자들은 도로표시판(정지, 속도 제한 표지판 등)의 그림에 대한 변경, 차선에 대한 변경, 스티커 배치, 빛의 투영 등 차량 주변의 물리적 환경의 변경으로 혼돈을 유발시켜 자율주행차가 주변환경에 대해 오류정보를 인식하도록 유도할 수 있다. 이러한 공격으로 인해 자율주행차는 주변환경에 대한 인식 착오로 오작동이 발생할 수 있다. 이러한 공격에 대한 대응으로는 악의적 공격에 대비한 보안 견고성 강화, 하드웨어 중복 메커니즘 사용, 다중 센서와 같은 데이터 중복 메커니즘 사용, 센서에서 수집한 기호 정보와 차량에 저장된 디지털지도의 정보와 비교하여 데이터 유효성 검사 수행, 판독한 기호 정보를 수신하기 위해 V2X 통신을 사용 방법 등이 있다.

② 계획 모듈에 대한 중간자(Man-in-the-Middle) 공격

공격자가 차량의 헤드유닛(HU)에서 원격으로 악용할 수 있는 취약점을 발견하고, 인터넷을 통해 보안이 취약한 차량의 헤드유닉을 원격으로 침투할 수 있다. 공격자가 일단 헤드유닉 내부에 침입하면 차량 내 네트워크에 접근하기 위해 측면이동(Lateral Movement) 기법을 이용할 수 있다. 공격자는 또한 차량 유지보수 기간에 내부 네트워크에 직접 접근할 수도 있다. 차량의 내부 네트워크가 차량부품을 제대로 인증하지 못하는 경우 변조된 모듈을 삽입하여 인터넷통신에 대한 가로채기(Hijacking)를 할 수 있다. 공격자는 이러한 유리한 지점에서 인식 모듈이 출력하는 환경에서 중간에서 가로채는 중간자 공격을 수행할 수 있다. 이러한 공격에 대한 대응으로는 일반적 사이버보안 원칙을 따라 AI와 관련이 없는 사이버 체인 요소에 대한 보호를 강화, 악의적인 머신러닝 이용에 대비한 보안 견고성 강화, 하드웨어 중복 메커니즘 사용 방법 등이 있다.

③ 정지 신호 감지에 대한 데이터 중독(Data Poisoning) 공격

운행 중인 자율주행 자동차는 회사에 정보를 지속적으로 전송하며, 공격자가 차량의 정보전송이 많은 특정상황(차량이 결정할 때 불확실성이 높은 상황)을 악용하여 제조업체의 정기적인 자율주행차의 AI 모델 업데이트를 할 때 AI 모델 내부에 예기치 않은 동작을 주입할 수 있다. 차량 업데이트 후 공격자는 공격표적의 교통신호 표시를 수정하여 자율주행차가 잘못된 행동을 취하도록 속일 수 있다. 이러한 공격에 대한 대응으로는 악의적인 머신러닝 이용에 대비한 보안 견고성 강화, 하드웨어 중복 메카니즘 사용, 차량 표지판의 인증 등이 있다.

④ OEM 백엔드 서버 해킹 후 악성 펌웨어를 대규모 유포하는 공격

OEM 직원(개발자 등) 또는 백엔드 서버에 침투할 수 있는 외부공격자는 원격으로 악용할 수 있는 취약점을 발견하고 백엔드 서버에서 악성 AI 펌웨어를 배포하고, AI 모델의 악성 OTA(Over-the-air) 업데이트를 실행할 수 있다. 이때 AV는 펌웨어가 신뢰할 수 있는 서버에서 시작되기 때문에 합법적인 요소로 착오할 수 있다. 이러한 공격은 이미지 인식 기능을 조작하거나 자율주행차가 도로나 횡단보도를 건너는 보행자에게 피해를 끼칠 수 있어 거리에 혼란을 초래할 수 있다. 이러한 공격에 대한 대응으로는 보안 통제와 보안 패치 정기적으로 평가, 차량 및 백엔드 수준에서 침입탐지시스템(IDS) 배포, 안전한 기기와 소프트웨어 설치와 변경, CSIRT 구축, 백엔드 서버에서 보안통제와 사고 보고, OTA 업데이트 프로세스 보호, 보안감사 등 다양한 방법을 적용할 수 있다.

⑤ 센서 / 통신 트래픽 혼잡 및 GNSS 스푸핑 공격

공격자는 무선 네트워크에 많은 트래픽을 유발하여 센서의 메시지 수신을 방해하고, 차량이 차량-사물(V2X) 메시지를 전송하거나 수신할 수 없도록 한다. 공격자는 또한 오류신호(피해자 수신기에서 잘못된 위치 기반 정보를 생성하려는 의도로 GNSS(Global Navigation Satellite Systems) 유사 신호)를 방출하여 통신을 스푸핑하거나 무선센서를 악용하여 통신 채널에 부정적인 영향을 미칠 수 있다. 이로 인해 대상 센서에 의존하는 AI 모델에 문제를 발생시켜 차량기능에 문제를 유발할 수 있으며, GNSS 스푸핑의 경우 AI 알고리즘에 의도적으로 오류정보를 제공하여 차량기능과 관련하여 잘못된 결정을 내리도록 할 수 있다.

위에서 기술한 자율주행차의 AI 시스템 관련 공격 유형들의 주요 특성들은 다음과 같다.

< 공격 시나리오별 주요특성 >

자율주행 환경의 AI 보안 도전과제와 권장사항

① AI 모델 및 데이터의 체계적인 보안 검증

데이터는 머신러닝 모델 학습에서 AI 시스템을 구축하고 검증할 때 중요한 역할을 하므로, 자율주행차 상황에서 공격자들의 데이터 조작을 통해 예기치 않은 혼란과 피해를 방지하기 위해 체계적인 데이터 유효성 검사가 필요하다. 이에 따라 전 세계적으로 자율주행에 사용되는 데이터의 특수성에 맞게 데이터 거버넌스 체계의 확립이 요구되고 있다. 또한 AI 모델은 시간의 경과에 따라 변경될 수 있으므로 AI 모델 수명주기 전반에 걸쳐 체계적으로 데이터에 대한 관리가 수행되어야한다. 그러나 실제적으로 AI 모델의 체계적인 검증은 어려운 과제이며, 데이터 종속성과 모델 복잡성을 고려하고, 데이터의 품질과 신뢰성을 보장하기 위해 광범위한 체계적인 검증을 수행하여 AI 모델에 대한 보안성과 견고성을 체계적으로 평가하고 시험하여야 한다.

② AI 사이버보안과 관련된 공급망 문제

소프트웨어 및 하드웨어 공급망의 보안은 사이버보안에서 특히 중요하며, AI 구성요소의 공급망 전반에 걸쳐 적절한 보안정책과 전략이 없으면 복원력이 미흡하고 보안사고가 발생할 수 있다. 공급망 전체에서 보안 거버넌스를 보장하려면 개발자, 제조업체, 공급자, 벤더, 네트워크 사업자, 보험, 이용자 등 다양한 이해관계자들의 참여가 요구된다. 최근 AI 시스템이 자율주행차 공급망 전반에 활용되면서 자동차 공급망 전반에서 AI 관련 보안위험이 발생할 수 있다. 자율주행차에서 전자제어장치(ECU)를 통합하는 새로운 플레이어(테슬라 등)가 있지만 대부분의 차량제조업체는 타사의 ECU에 의존하므로 여러 제조업체의 ECU를 사용한다. 이에 따라 복잡한 자동차 공급망에서 견고하고 안전한 AI 모델이 부족하면 사이버 보안과 관련하여 심각한 우려를 유발하고, 사이버보안 사고로 인해 전체 자동차 생태계에 커다란 위협에 직면할 수 있다.

③ AI 사이버보안을 기존의 사이버보안 원칙과 통합하기 위한 단대단 총체적 접근방식

자율주행차에서 빠르게 진화하는 위협에 대응하기 위해 AI 시스템에 대한 보호의 필요성이 증가하고 있으며, 특히 기존의 사이버보안 원칙과 새로운 AI 사이버보안을 통합할 필요가 있다. 자율주행차의 AI 의존도가 증가하면 AI 알고리즘을 표적으로 삼은 공격이 증가하고, 이러한 인한 심각한 피해가 예상된다. 이러한 공격을 효과적으로 대처하기 위해 AI 시스템의 다양성과 상호작용을 고려한 포괄적인 접근방식, AI 시스템의 모든 단계를 고려하는 통합된 보안 체계, 심층적인 방어전략 적용 등이 필요하다. 차량시스템이 보안을 고려하여 설계 및 개발되어도 시간이 지남에 따라 장비가 추가, 소프트웨어와 주요 기능의 변경이 발생하므로 생면주기 전반의 통합적인 보안 접근이 필요하며, 전체 AI 생명주기에서 AI 시스템 변조 방지, 모든 단계 간의 상호인증 및 기밀성과 무결성 보장이 필요하다.

④ AI와 관련된 사고처리 및 취약성 발견과 교훈

많은 조직에서 보안취약성에 대한 광범위한 인식제고 활동에서 불구하고, 특히 AI 시스템의 취약성에 대한 보안인식과 대응노력은 상당히 미흡한 수준이다. AI 보안 위험에 대한 충분한 지식이 없거나 위험을 과소평가하는 인식이 팽배하면 AI 보안 위험을 증폭시킬 수 있다. 사이버보안 상황에 대한 잘못된 인식을 개선하기 위해서는 인식제고 교육이 필수적이다. 자율주행차에서 AI 기반의 디지털 구성요소와 관련된 사이버 보안사고 처리와 대응계획을 고려해야한다. 자동차 분야에서 보안 사고에 대한 경험이 부족한 행위자가 많아지면서 시스템의 잠재적 취약성과 시스템에 내재된 근본적인 위협을 이해할 수 있는 사이버보안 문화를 구축해야 할 필요성이 제기된다. 자율주행차 공급망에 관련된 모든 이해관계자는 위험과 공격을 사업운영에 연관시킬 수 있도록 증가하는 AI 위협 환경을 인식해야하며, AI 보안사고로부터 배운 교훈을 전파하여 전체 공급망에 걸쳐 보안 프로그램 개발을 촉진할 필요가 있다.

⑤ 자동차산업의 AI 사이버보안에 대한 제한된 역량과 전문지식

AI 사이버보안에 대한 개발자와 시스템 설계자 사이에 충분한 보안지식과 전문지식 부족은 자동차 부문의 보안통합을 방해하는 주요 장벽으로 작용한다. 개발자의 AI 지식 부족은 공격자가 자율주행차의 AI 구성요소를 표적으로 삼아 공격할 수 있는 단초를 제공한다. 예를 들어 개발 프로세스에 AI 구성요소와 관련된 보안 테스트 및 코드분석이 포함되지 않거나, AI 시스템 설계자가 응용 분야에 대한 전문지식 부족으로 보안설계가 미흡할 수 있다. 개발자가 보안 설계 및 구현에 대한 인식이 미흡하면 개발 단계에서 보안에 대한 고려가 미흡하거나 오류 등으로 소프트웨어가 작동할 때 악용될 수 있는 취약성을 초래할 수 있다.

위에서 기술한 자율주행차의 AI 시스템에 대한 사이버보안 도전과제를 해결하기 위해 주요 권고사항을 다음과 같다.

< 주요 도전과제별 권고사항 >

결론 및 시사점

전 세계으로 자율주행차의 시장 확대가 빠르게 진전되고 자율주행차 관련 위험에 대한 우려도 지속적으로 제기되는 상황에 맞이하여 JRC・ENISA는 자율주행 환경에서의 AI 시스템에 대한 사이버보안 관련 보고서를 통해 자율주행차의 AI 보안을 개선하고 잠재적인 위협을 분석하여 사이버보안 사고를 사전에 예방하기 위한 효과적인 권장사항을 제공하였다. 이 보고서는 자율주행차에 대한 보안을 위해 미래 환경 위험 시나리오를 예측하고, 대응방안을 고려할 필요가 있다고 강조하고 있으며, 자율주행 환경의 사이버보안 위해 기존의 사이버보안 방법론과 함께 AI 시스템에 특화된 사이버보안 방법론을 융합함으로써 효과적인 보안 구현이 가능하다고 설명하고 있다.

특히, JRC・ENISA는 자율주행차의 AI 시스템에 대한 사이버보안을 위해 자율주행차의 AI 모델 및 데이터에 대해 체계적으로 보안성을 검증하고, AI 사이버보안과 관련된 공급망 위험을 분석하여 해결하며, AI 시스템에 특화된 보안과 기존의 사이버보안 원칙을 통합하는 총체적 접근 방식을 지향하고, AI와 관련된 사고처리 및 취약성 발견과 교훈을 분석하여 전사적으로 확대하며, 자동차산업의 AI 사이버보안에 대한 제한된 역량과 전문지식 제고를 권고하였다.

국내에서는 최근 정부가 ‘미래자동차 확산 및 시장 선점 전략’을 발표하고 중점적으로 자율주행차 산업 육성을 추진하면서 국내 자율주행차 생산과 운행을 위한 정보통신 인프라, 도로 인프라 개선 등도 빠르게 진전될 것으로 기대되고 있다. 현대자동차 등 자동차 기업들은 해외의 테슬라나 우버 등에 비해서는 자율주행차 분야에서 다소 늦게 출발했지만 최근 기업의 대규모 연구개발 투자를 진행하고 있으며, 정부의 적극적으로 지원 하에서 향후 수년간 빠르게 성장할 전망이다. 실제로 현대자동차는 CES 2020 새로운 미래 모빌리티 비전을 “Urban Air Mobility (UAM)”로 제시하고, 2021년까지 4단계 도심형 자율주행시스템 상용화를 추진 중이며, 삼성전자, LG 전자, SK 텔레콤, 네이법랩스 등도 자율주행 개발과 관련 서비스 개발을 진행하고 있다.

이와 같은 국내외 상황을 맞이하여 국내외 자율주행차 산업의 진흥을 위해 신기술 개발과 사이버보안 역의 균형적인 발전이 요구되고 있다. 특히 자율주행차에서 필요한 AI 기술에 대한 연구개발을 강화하는 동시에 AI 시스템 관련 위험요인을 사전에 분석하고 자율자동차 제조과정에서 보안설계를 수행할 수 있도록 관련 기술개발과 법제를 강화할 필요가 있다. 이와 함께 기존 국내에서 사이버보안을 담당하는 기관들과 자율주행차 제조기업, 물리적 보안을 담당하는 기업, 정책입안자, 이용자 등 모든 이해관계자들이 협업하여 새로운 위험요인을 예측하고, 안전대책을 마련하기 위한 거버너스 체계를 마련하며, 지속가능한 협력체계 구축 등이 긴요한 시점이다.

[참고문헌]

1) McKinsey&Company, Cybersecurity in automotive: Mastering the challenge; 2020.3

2) JRC・ENISA, Cybersecurity Challenges in the Uptake of Artificial Intelligence in Autonomous Driving, 2021.2.11

3) 신영증권, CES 2020 탐방기, 2020.1.13

본 원고는 KISA Report에서 발췌된 것으로 한국인터넷진흥원 홈페이지(https://www.kisa.or.kr/public/library/IS_List.jsp)에서도 확인하실 수 있습니다.

KISA Report에 실린 내용은 필자의 개인적 견해이므로, 한국인터넷진흥원의 공식 견해와 다를 수 있습니다.

KISA Report의 내용은 무단 전재를 금하며, 가공 또는 인용할 경우 반드시 [한국인터넷진흥원,KISA Report]라고 출처를 밝혀주시기 바랍니다.