바야흐로 AI 시대다. 2016년 3월 알파고 대 이세돌의 딥마인드 챌린지 매치(Google Deepmind Challenge match) 이후, 대학입학에서는 컴퓨터과학과의 경쟁률이 가장 치열해졌다. 정부에서는 AI 분야의 석·박사급 인재를 양성하기 위해 ‘AI 대학원 학과’를 지원하고 있고, 대학교마다 AI 대학원을 활발하게 운영하고 있다. 기업들은 AI 기술을 적용한 제품과 서비스 출시에 열을 올리고 있다. 이용자의 행동 패턴, 사용 자간 관계, 상품 유사도에 기반을 두어 AI 기술로 고객의 취향과 선호를 예측하고 이에 맞는 상품도 추천해주고 있다.

 

그렇다면 AI는 장점만 있는 것일까? 본고에서는 AI 기술에 의해 발생할 수 있는 윤리적 이슈들에는 어떤 것들이 있는지 살펴보고, 개발자나 이용자들이 AI를 이해하는 데 도움이 될만한 내용을 공유하고자 한다.

 

AI의 개념과 특징

 

AI란 무엇일까? AI(Artificial Intelligence, 인공지능)는 인간의 지능(인지, 추론, 학습 등)을 컴퓨터나 시스템 등으로 만든 것 또는 만들 수 있는 방법론이나 실현 가능성 등을 연구하는 기술 또는 과학을 말한다. 초기 AI의 개념은 미국 다트머스(Dartmouth) 학술회의(1956년)에서 존 매카시(John McCarthy)가 “기계를 인간 행동의 지식에서와같이 행동하게 만드는 것”이라고 제안한 것에서 출발하였다.

 

AI의 개념은 사고 해결 여부에 따라 ‘약한 AI’과 ‘강한 AI’로 구분하기도 한다. ‘약한(weak) AI’란 스스로 사고하며 문제를 해결할 수 있는 능력이 없는 컴퓨터 기반의 AI를 말한다. 진정한 지능이나 지성을 갖춘 수준은 아니고 미리 정의된 규칙의 모음을 이용해 지능을 흉내 내는 컴퓨터 프로그램이다. ‘강한(strong) AI’란 스스로 사고하며 문제를 해결할 수 있는 컴퓨터 기반의 AI를 말한다. 지각력이 있고 자신을 인식하며 독립성을 가졌다는 게 특징이며, 정신과 자유의지를 가지고 진화를 거듭할 수 있다고도 한다.

 

AI 기술이 기존 분석 기술과 차별화되는 요소는 거의 모든 영역에서 자동화가 가능하다는 것이다. 인간은 지금까지 데이터 처리에 대해 높은 수준의 통제를 가능하게 했지만, AI의 사용이 증가하면 더 그렇지 않을 수도 있다. 사회과학 연구에 따르면 사람들은 사람인 것 같은 기술과 상호 작용하는 경향이 있다고 한다. 이것은 사람들이 인간의 특성을 복제하도록 설계된 AI와의 신뢰 관계를 발전시킬 가능성이 더 높으며, 결과적으로 전통적인 방식으로 정보를 수집하는 형태의 기술에 비해 점점 더 많은 정보를 공유할 경향이 더 커진다고 볼 수 있다.

 

AI를 구현하는 핵심 메커니즘은 한정된 정보를 투입하여 최적의 결과를 산출해 내는 알고리즘이다. AI의 가장 대표적인 기술로는 머신러닝(Machine Learning, ML)과 딥러닝(Deep Learning, DL)이 있다. 머신러닝은 인간이 직접 컴퓨터 프로그래밍을 통해 특정 명령을 입력할 필요 없이 머신러닝 알고리즘이 대량의 데이터를 분석하고 그 중 패턴을 찾아내 예측하는 기법이다. 딥러닝은 머신러닝의 부분집합으로 지능화된 컴퓨팅 기술을 통해 심층신경망(DNN: Deep Neural Networks)을 구현한 것이다. 심층신경망의 기본적 원리는 인간 두뇌의 연결성을 모방해 데이터 세트를 분류하고, 데이터 간 상관 관계를 찾아내는 방법이다. 비구조화된 정보를 알고리즘이 관찰하여 유용한 정보 패턴을 입력하거나 가르쳐 주지 않아도 스스로 알아서 습득하게 된다.

 

제조 영역에서 스마트 팩토리가 확산하며 개인의 니즈에 맞춘 다품종 소량생산이 가능해진 것처럼, 기업은 고객 개개인이 무엇을 원하는지에 따라 맞춤화된 제품과 서비스를 추천해 주는 것에 주목하기 시작했다. 이를 가능케 해주는 것이 AI 알고리즘을 활용한 추천시스템이다. 추천시스템은 사용자의 행동 패턴, 사용 자간 관계, 상품 유사도에 기반하여 알고리즘으로 고객의 취향과 선호를 예측하고 이에 맞는 상품을 추천하고 구매 결정을 도와준다.

 

기업들은 알고리즘을 통해 최적의 가격을 설정할 수 있어, 고객 개개인에게 맞춤화된 추천시스템을 통해 타깃 고객을 대상으로 마케팅을 할 때 더 효과적인 의사결정과 높은 경영성과를 달성할 수 있다. 소비자는 온라인상에서 제품의 가격을 비교할 수 있는 알고리즘을 통해 더욱 합리적인 소비를 할 수 있게 되고 탐색 비용도 줄일 수 있을 것으로 기대된다.

 

AI의 윤리적 문제와 역기능 사례

 

1) 프라이버시(Privacy)

 

AI가 정보수집에 널리 활용되는 이유는 속도, 규모 및 자동화, 세 가지를 들 수 있다. 첫째, AI가 계산을 수행하는 속도는 이미 인간이 할 수 있는 것보다 빠르며 하드웨어를 추가하여 임의로 증가시킬 수도 있다는 것이다. 둘째, AI는 본질적으로 분석을 위해 대용량 데이터 세트를 활용하는 데 능숙하며 합리적인 시간 내에 빅데이터를 처리할 수 있다는 것이다. 셋째, AI는 감독 없이 지정된 작업을 수행할 수 있어 분석 효율성이 크게 향상되었다는 점이다.

 

이러한 AI 서비스가 해킹되었을 경우 사용자의 상세한 개인정보가 실시간으로 유출되는 심각한 프라이버시 침해가 발생할 수 있다.⁽¹⁾ 또한, AI의 이러한 특성으로 인해 여러 가지 방식으로 개인정보보호에 영향을 줄 수도 있다. 더 좋은 AI 서비스를 누리기 위해서는 적절한 범위에서 개인정보를 제공할 수밖에 없는 상황이 발생하기도 한다.⁽²⁾

 

AI는 직장, 집 또는 공공장소에 관계없이 여러 장치에서 개인을 식별, 추적 및 모니터링하는데 사용될 수 있다. 음성 인식과 얼굴인식은 AI가 적용되고 있는 가장 대표적인 식별 방법이다. 이러한 방법은 공공영역에서 익명성을 심각하게 손상시킬 수 있다. 예를 들어, 법 집행기관은 얼굴인식 및 음성 인식을 사용하여 가능한 원인을 찾거나 합리적인 의심 없이도 특정 개인을 찾아낼 수 있다.

 

AI는 정교한 머신러닝 알고리즘을 사용하여 민감하지 않은 데이터 형식에서 민감한 정보를 추론하거나 예측할 수도 있을 것이다. 예를 들어, 누군가의 키보드 타이핑 패턴을 사용하여 긴장, 자신감, 슬픔 및 불안과 같은 감정 상태를 추론할 수 있다. 활동 로그, 위치정보 및 유사한 측정 항목과 같은 데이터를 통해 개인의 민감한 성향을 파악할 수도 있다.

 

실제로 2018년 5월에 아마존의 ‘에코’는 미국 오리건주 포틀랜드에 거주하는 부부가 집에서 나눈 사적인 대화를 녹음해 연락처에 저장한 사람에게 멋대로 보낸 사례도 있었다. 페이스북의 안면인식 프로그램 딥페이스는 얼굴 사진 한 장만으로도 페이스북 계정을 찾아내 이름과 주소, 생활패턴 등 각종 정보를 제공하기도 하였다.

 

2) 안전과 보안(Safety and Security)

 

“안전과 보안”이란 알고리즘의 불완전성과 내재적 모순으로 인해 발생할 수 있는 위협에 대한 불안감과 도덕적 이슈를 의미한다. AI의 자율성(autonomy)은 인간의 실수·부주의 등에 의한 사고를 감소시키고 안전도를 높일 수 있는 기술로 주목받고 있으나, 자율 주행 자동차의 사고나 AI 의사의 오진 등과 같이 기술의 불확실성이 오히려 안전을 저해할 수 있다는 우려도 있다. AI 시스템의 복잡성으로 인해 시스템의 신뢰성을 보장하기 위해 해결해야 하는 중요한 안전 및 보안 문제가 발생하기도 한다.

 

많은 경우 AI 시스템은 철저한 검사나 테스트가 불가능한 많은 잠재적인 상태로 복잡한 환경에서 작동하도록 설계되기 때문에, AI 시스템은 설계 중에 고려되지 않은 조건에 직면할 수 있다는 것이다. 실전에 배치 후 학습하는 AI 시스템의 경우 시스템 행동은 감독 되지 않은 조건에서 학습 주기에 따라 결정될 수도 있다. 이러한 상황에서는 시스템의 동작을 예측하기가 어려울 수도 있다. 많은 경우 AI 시스템의 성능은 인간 상호 작용의 영향을 크게 받는다. 이러면 사람의 반응 변화가 시스템의 안전에 영향을 줄 수도 있다.

 

알고리즘의 불완전성으로 인한 자동인식·판단 오류가 발생한 사례로는 2016년 7월에 미 캘리포니아주 팰러앨토시의 한 쇼핑센터의 경비 로봇이 16개월 유아를 공격한 사례가 있다. 캘리포니아주 팰러앨토시의 한 쇼핑몰 경비 로봇이 생후 16개월 된 아이를 보고도 그대로 치고 지나가 다치게 한 경우다. 또한 2013년에는 중동 예멘에서 결혼식장으로 향하던 차량이 갑자기 무인기 공격을 받아 10여 명이 사망한 경우도 있다. 예멘 바이다주에서 미군이 띄운 드론이 결혼식장으로 향하던 차량을 테러 단체 알카에다 차량으로 오인해 공격한 것이다.

 

2016년 10월에 미국에서 발행된 ‘국가 AI 연구개발전략 계획’(The National Artificial Intelligence Research and Development Strategic Plan)에는 AI 시스템이 널리 사용되기 전에 시스템이 통제된 방식으로 안전하고 안전하게(safely and securely) 작동할 것이라는 보장이 필요하고, 신뢰할 수 있는(reliable, dependable, and trustworthy) AI 시스템을 개발하기 위한 연구도 필요하다고 강조하고 있다.⁽³⁾

 

3) 투명성과 설명 가능성(Transparency and Explainability)

 

(1) 투명성(Transparency)

 

인공신경망의 경우 인간 두뇌를 표방한 복잡한 알고리즘으로, 이를 사용한 결과는 매우 정확할 수 있으나 그에 따른 의사결정 과정은 투명하지 않을 수 있다. 예컨대, 중국에서 사용을 확대하고 있는 사회적 신용 시스템(social credit)을 들 수 있다.⁽⁴⁾ ‘사회적 신용’ 시스템이란 빅데이터 수집을 통해 시민의 등급을 매기는 것으로 일부 지방정부에서 시민에게 일단 1천 포인트의 점수를 부여한다. 이후 자원봉사, 헌혈, 위조문서 신고, 투자 유치 등의 ‘선행’을 한 사람에게는 가점이 주어지며, 교통법규 위반, 탈세, 산아제한 미준수, 계약 위반 등의 ‘악행’을 한 사람에게는 감점이 부여된다. 점수를 쌓아서 사회적 신용등급이 ‘AAA’에 이르면 전기료 감면, 무료 건강검진, 은행 대출 우대 등의 혜택을 누릴 수 있지만, 점수가 깎여 ‘D’로 떨어지면 공공 부문 취업 제한, 정부 보조금 상실, 은행 대출 제한 등의 불이익이 주어진다. 특히 법원 명령을 이행하지 않거나 고의로 채무를 갚지 않는 사람들은 블랙리스트에 올라 비행기나 고속철 탑승, 고급 호텔 숙박, 자녀 사립학교 입학 등에서 제한을 받게 된다⁽⁵⁾

 

이러한 시스템의 문제점은 불투명성이다. 어떤 요인이 누군가의 점수에 영향을 미치는지 명확하지 않으며 점수가 낮은 사람들은 이유도 모른 채 배제될 수 있다는 것이다. 또한, 그러한 시스템은 사회 경제적 배경, 인종, 교육 수준에 따라 불균형을 증가시킬 수도 있다.

 

(2) 설명 가능성(Explainability)

 

최근 많은 기업에서 대출 심사, 구직 인터뷰, 보험 가입 등에서 AI 알고리즘 활용이 늘고 있다. 국내에서도 여러 대기업이 입사원서 선별과 인터뷰에 AI를 사용한다고 밝히고 있다. AI를 재판, 취업, 대출 심사 등에서 사용할 때 효율성은 높아질 수 있지만, 불이익을 받았다고 여기는 사람들의 반발을 피할 수는 없다. AI가 판단 근거와 이유를 말하지 않기 때문이다. 이에 따라, 특정 알고리즘에서 나온 결과를 이해하기 힘든 경우가 있으며, 이해가 힘들 경우 결과에 대한 수용도 또한 낮아지게 된다.

 

AI가 모든 산업과 생활영역에 활용되는 범용 도구가 될 것이라는 기대가 높아지면서 ‘설명 가능성’이 AI 기술과 성공의 핵심 요소로 주목받고 있다. AI의 처리 결과에 사람이 동의할 수 없으면 AI는 활용되기 어렵게 된다. 딥러닝 기술은 최근 비약적 발전과 뛰어난 성과물을 내놓고 있지만, 보이지 않는 층위에서 수많은 매개 변수가 만들어내는 기술적 속성으로 인해 AI를 들여다볼 수 없는 블랙박스로 만들었다.

 

설명 가능 AI는 개발 단계에서 기술적 오류를 발견하는 것을 돕고, 결과물에 인과 관계를 제공해 사용자와 영향을 받는 사람들이 결과를 수용할 수 있도록 도와준다. 자율주행 차량의 경우 주행 판단의 근거와 원리를 설명할 수 있으면 사고 시 책임 범위 산정만이 아니라, 차량 구매와 운행 단계에서도 소비자 신뢰를 높일 수 있게 된다.⁽⁶⁾

 

[설명가능성 관련 피해 사례]

2013년 미국 위스콘신주의 에릭 루미스는 총격 사건에 쓰인 차량을 몰고 가다 경찰 검문에 불응하고 도주한 혐의로 기소돼 6년 형을 선고받음. 중형 선고의 근거는 재범 가능성을 판단하는 AI 알고리즘 컴퍼스(Compas)의 데이터였음. 루미스는 “AI 판단의 알고리즘을 확인하거나 이의를 제기할 수 없었다”며 항소했지만, 2017년 위스콘신주 대법원은 “컴퍼스는 유용한 정보를 제공했다”며 항소를 기각함. 재판 양형에 상당한 영향을 주는 알고리즘 컴퍼스는 효율성과 차별 논란 속에서도 미국 여러 주 법원에서 사용되고 있음

 

4) 공정성과 차별 금지(Fairness and Non-discrimination)

 

AI 알고리즘에 따른 의사결정도 인종·젠더·연령·외모 등 다양한 측면에서 편향을 드러낼 수 있고, 이러한 편향도 인간의 의사결정에서 드러나는 편향 못지않게 심각할 수 있다. 얼굴인식 소프트웨어에는 인종적 편견에 대한 상당한 증거가 있다. 일부 시스템은 흑인 여성의 경우 35%, 흑인 남성은 12%를 오인했다. 이는 백인의 비율보다 훨씬 높은 수치이다. 얼굴인식 데이터가 주로 백인 얼굴을 포함한다면, 프로그램은 백인을 인식하는 것을 배우게 되며, 데이터베이스가 다양한 데이터에 액세스할 수 있는 경우가 아니면 아프리카계 미국인 또는 아시아계 미국인의 특징을 인식하는데 성능이 떨어지게 된다.

 

마이크로소프트가 개발한 AI 채팅봇 ʻ테이(Tay)ʼ는 백인 우월주의자 및 여성 혐오자 등이 모이는 익명 게시판의 사용자들로부터 ʻʻ학습ʼʼ된 인종·성차별적 발언을 대화에서 반복하여, 출시된 지 16시간 만에 운영이 중지된 사례가 있다.

 

‘콤파스'(COMPAS)로 불리는 미 법무부의 알고리즘 소프트웨어가 범죄자의 재범 가능성을 판단하는 데 쓰이고 있다. 미국 법원은 재범 가능성에 대한 콤파스의 예측에 기반해 피고인 또는 기결수의 보석금의 액수나 형량 등에 대한 판단을 내리고 있다. 예측이 실제로 맞은 경우 흑인과 백인의 비율은 비슷했지만, 알고리즘이 틀리게 예측한 경우 흑인과 백인에 대한 차별과 편견이 나타났다. 재범 우려가 높다고 예측됐지만, 실제 그렇지 않았던 ‘억울한’ 흑인 범죄자 비율은 백인보다 2배 높았지만, 반대로 재범 우려가 없다고 예측됐지만, 실제 범죄를 다시 저지른 ‘운 좋은’ 백인 범죄자 비율은 흑인보다 2배 높았던 것으로 나타났다.

 

 

AI 개발자가 훈련 목적으로 대용량 데이터 세트에 액세스 할 수 있도록 데이터 개방성을 높이는 것도 중요하다. 특정 패턴을 인식하고 합리적인 결정을 내리는 방법에 대해 AI 시스템에 적절하게 지시하기 위해서는 편견 없는 정보가 매우 중요하다고 할 수 있다.

 

5) 책임(Accountability)

 

책임(Accountability)은 AI와 로봇이 법적·도덕적 책임이 부여된 의사결정권을 행사하는 것에 대한 우려와 책임소재 관련 논란을 말한다. 대표적인 것이 자율주행 차량의 오작동으로 인한 사고와 책임 소재의 문제이다.

우리나라 현행법 체계는 ‘사람’과 ‘법인’만을 권리 의무의 주체로 하는데 행위 책임을 묻기 위해서는 어떤 경우에도 ‘사람’의 행위가 있어야 한다. 따라서 알고리즘 판단과 제어에 의한 자율주행 차량의 사고는 그 책임 소재가 불분명하다. 이 경우 알고리즘은 오류가 없이 그야말로 완벽하므로 상대방 차량이 자신의 잘못이 아니라는 점을 입증해야 하는지, 탑승자는 언제나 100% 면책되는지, 아니면 알고리즘의 상황 인지와 판단 실수이므로 알고리즘 제작사를 상대로 손해배상을 청구해야 하는지 의문이 들게 된다.

 

또한 자율주행 차량의 윤리가 문제 되는 것은 딜레마적 상황에서의 판단에 대한 것이다. AI 알고리즘의 판단에 따라 주행하는 차량이 갑작스러운 끼어들기와 추돌 상황에 직면하여 순간적으로 선택을 해야 할 때 그대로 직진하여 1명의 상대방 차량 운전자만 치는 상황과 오른편으로 핸들을 꺾어서 4명의 행인을 치는 선택을 할 것인가? 인간이라면 돌발적 상황에서 대응이 불가능했다고 말할 수 있지만, AI는 찰나의 순간에도 수백 번의 판단을 하여 최소한의 피해를 합리적으로 택할 수도 있다.⁽⁷⁾

 

이렇게 피해를 계산하여 선택해야 하는 상황이 벌어졌을 때 알고리즘에 기초한 판단의 결과 피해를 본 측은 인간 생명에 대한 평가와 경시라고 항의하게 될 것이다. 이러한 측면은 알고리즘의 판단과 편향도 윤리적 논쟁으로 번질 수 있음을 시사한다.⁽⁸⁾

 

자율 주행 자동차의 경우, 인간 운전자의 운행에 대한 통제 권한이 현저히 축소됨에 따라 운행자 책임에서 제조자 책임으로 전환되는 등 책임구조의 변화가 있다는 점에서 제조자의 윤리적 책무가 특히 중요하게 고려되고 있다. 다만, 자율 주행 자동차의 프로그래머 및 알고리즘 개발자의 책임 귀속 역시 온전히 인정되기 어렵다는 점이 지적되고 있다. 일단 자율 주행 자동차의 알고리즘 소프트웨어가 기존 제조물책임법리상 제조물인지 여부에 대한 논란이 여전히 존재하고 있고, 알고리즘 작동에 따른 판단이나 행동을 알고리즘 개발자 역시 완벽하게 예측할 수 없다는 점에서 개발자에 대한 책임 귀속이 불분명할 수밖에 없다.

 

이로 인해 결국 손해 및 피해는 발생하지만 “누구도 책임지지 않는 사태”가 발생할 가능성이 존재하게 된다. 이에 대해 책임 보험제도의 역할을 강조하는 등 AI의 행위 결과에 대한 책임 귀속의 문제를 해결하는 방식이 적극적으로 논의되고 있다.⁽⁹⁾

 

마치며

 

본고에서는 AI 기술에 의해 발생할 수 있는 윤리적 이슈들에는 어떤 것들이 있는지 살펴보고, 개발자나 이용자들에게 도움이 될만한 프라이버시, 안전과 보안, 투명성과 설명 가능성, 공정성과 차별 금지, 책임 관련 이슈 등을 살펴보았다.

 

AI가 수많은 개인의 일상에 영향을 줄 수 있음에도 불구하고 개발자가 진지한 관심을 기울이지 않거나 오류에 대한 책임을 지지 않는다면 AI의 부정적 효과는 걷잡을 수 없이 커질 수 있다. AI도 인간 판단처럼 도덕적 위험과 오류를 재현하거나 심지어 더 확대될 수도 있으며, 데이터를 통해서 차별, 부정적 평가, 암묵적 편견도 학습할 수 있기 때문이다. AI에 의한 자동화된 판단과정에서 편향, 오류, 개인정보 침해가 발견된다면 일반인으로서는 기술적 이해력의 부족으로 인하여 그것이 과연 의도된 것인지 설계상의 통제 불가능한 변수들 때문인지 알기 어려울 것이다. 결국 우리 사회에서 책임 있는 AI를 구현하기 위해서는 서비스 제공자와 개발자뿐만 아니라 이용자, 그리고 규제기관 등이 AI 알고리즘에 대한 이해력을 갖추는 것이 선행되어야 할 것이다.

 

 

 

 

 

 

 

[참고문헌]

 

1. 삼정KPMG 경제연구원, “비즈니스 기회 창출을 위한 AI 알고리즘의 활용”, ISSUE MONITOR 제84호, 2018. 6, 6~15면
2. 정보통신정책연구원, 4차 산업혁명시대 산업별 AI 윤리의 이슈 분석 및 정책적 대응방안 연구, 2018.10.
3. 최은창, “AI시대의 법적·윤리적 쟁점”, 과학기술정책연구원, 미래연구포커스, Spring 2016
4. 한국정보화진흥원, “미래신호 탐지 기법으로 본 AI 윤리 이슈 –글로벌 동향과 전망“, IT & Future Strategy(1호) 2017. 3.
5. http://www.hani.co.kr/arti/science/future/889159.html#csidx4e839e6e6b48435a4d992a956e4b017
6. https://medium.com/@romanyam/us-government-on-ai-safety-security-f896ea6928d1
7. https://towardsdatascience.com/ai-and-the-future-of-privacy-3d5f6552a7c4
8. https://www.mk.co.kr/news/world/view/2019/02/77973/