작은 드론 한 기가 조용히 날아든다. 드론을 조종하는 것은 사람이 아니라 인공지능이다. 드론은 사전에 입력된 목표에 따라 민간인을 가장 많이 죽일 수 있는 공간을 찾아 배회한다. 서울 상공을 선회하던 드론의 인공지능은 잠실야구장을 선택한다. 드론은 야구장 관중석에 접근해 자폭한다. 날카로운 파편이 사방으로 튀면서 관객들을 무차별 살상한다. 이 과정에서 사람의 결정은 처음 목표(‘민간인을 최대한 살상할 것’)를 입력한 장면 하나다. 그 외에 언제 어디서 누구를 죽일지는 모두 인공지능이 결정했다. 아직은 상상의 영역이다. 하지만 인공지능 기술은 빠른 속도로 이런 현실에 가까워지고 있다. 이런 식으로 작동하는 무기를 ‘자율무기’라고 부른다. 더 섬뜩한 표현으로 ‘킬러 로봇’으로도 불린다.

새로운 기술은 전쟁의 문법을 바꾼다. 장거리 무기인 활이 그랬고, 기동무기인 마차가 그랬고, 살상력을 극적으로 높인 화약무기가 그랬으며, 연사 능력에 혁명을 가져온 기관총이 그랬다. 핵무기는 전쟁의 문법을 너무나 심하게 바꾼 나머지 국제적인 핵확산금지조약으로 묶어두기에 이르렀다. 이제 다음 후보로 인공지능과 로봇공학이 유력하게 떠오른다.

전쟁은 인공지능 시대에 가장 민감한 이슈 중 하나다. 인공지능 연구자들은 자율무기 연구에 참여할지를 놓고 갑론을박한다. 올해 4월에는 한국의 카이스트가 인공지능 무기 연구에 나섰다는 소식에, 세계 인공지능·로봇 분야 연구자 50여 명이 카이스트와의 관계 단절을 선언했다. 카이스트가 연구 영역이 킬러 로봇이 아니라고 해명한 후에 보이콧은 풀렸다. 이와 같이 킬러 로봇 연구 자체를 원천 봉쇄해야 한다는 의견도 연구자들 사이에 적지 않다.

로널드 아킨 교수(미국 조지아 공과대학)는 그런 점에서는 조심스러운 낙관론자다. 그는 무기 연구를 봉쇄할 수 없으며, 오히려 연구를 밀어붙여야 인도주의를 증진할 수 있다고 믿는다. 그의 의견은 연구자 한 명을 뛰어넘는 무게를 갖고 있다. 아킨 교수는 손꼽히는 로봇 엔지니어인 동시에 로봇윤리 연구의 개척자다. 유엔, 미국 국방부 등 이 주제에 관심을 가진 기구들에 단골로 조언한다. ‘2018 〈시사IN〉 인공지능 콘퍼런스(SAIC)’ 참석을 위해 한국을 방문한 그를 8월13일, 90분 동안 만났다.

인공지능 무기화 문제에서, 군이 가장 자주 물어보는 질문은 무엇인가?

두 가지다. 첫째, 인공지능 무기 시스템이 인도주의적인 국제법을 준수하게 만들 수 있는가. 특히 민간인 비전투원의 생명과 재산을 위협하지 않도록 만들 수 있는가(전쟁에 대한 국제법 원칙을 세운 제네바 협약은 전시에도 부상병·조난자·포로·의료인·비전투원 등은 보호해야 한다고 규정한다). 둘째, 그러면서도 임무를 제대로 수행할 수 있는가. 만약 적군의 인공지능 무기가 윤리를 신경 쓰지 않는데 아군 무기는 윤리적으로 행동하도록 되어 있다면, 아군이 지게 될까? 윤리적으로 행동하도록 하는 데 추가적인 연산 부담이 크다면, 아군 무기의 성능이 떨어지게 되는 것은 아닌가 하는 질문을 많이 받는다.

아군만 윤리적이고 적군은 그렇지 않을 때 전투력 차이가 있나? 그렇다면 군은 윤리 기능을 빼고 싶을 수도 있겠다.

설계에 따라 달라질 수 있다. 로봇의 전투 능력이 느려지지 않으면서 윤리적 요구도 처리할 수 있도록, 연산 과정을 최대한 경량화할 필요가 있다. 두 시스템(전투 능력과 전투 윤리)이 다 돌아가야 한다. 다른 측면에서는, 엔지니어의 영역을 벗어나는 과제가 있다. 우리는 전쟁의 윤리·국제법을 준수하는데 상대가 그걸 어긴다면 아군이 불리해질 수 있다. 하지만 그건 인공지능 로봇의 전투나 인간의 전투나 마찬가지다. 그러니 그 질문은 자율무기만의 문제가 아니다. 전쟁이라 해도 모든 행위자들이 국제법을 지키도록 하는 문제다. 우리가 인간의 전쟁에서 국제법을 어긴 국가에 응징을 하듯, 로봇의 전쟁에서도 같은 원칙을 적용해야 할 것이다.

인공지능·로봇 기술은 테러집단과 같은 비국가 행위자들도 손쉽게 접근할 수 있을 텐데, 이들은 국제법을 지키지 않는다.

인공지능 무기는 ‘확산’이 쉽다는 질문이라면, 그럴 수 있다. 새로운 기술이 현재의 지정학적 안정성을 흔들 가능성은 늘 있다. 그런데 그것은 자율무기뿐만 아니라 사실상 모든 신기술이 다 그렇다. 내가 있는 조지아 공대에서 10년 전에 어느 학생이 가게에서 작은 무인비행기를 사서, GPS를 달고 목표물에 도달시키는 실험을 했다. 아주 쉽게 성공했다. 여기에 폭탄을 설치한다고 생각해보자. 간단히 신무기가 된다. 또, 사이버 전쟁 이슈도 있다. 미국 대선이 사이버 전쟁에 취약했다는 의혹이 계속 나온다. 내가 봤을 때는 자율무기보다 사이버 전쟁의 위험이 더 두렵다.

핵무기는 전쟁의 문법을 완전히 바꿨다. 자율무기도 그럴까?

두 가지 차원을 구분하겠다. 자율무기가 파괴적 기술(disruptive technology)인 것은 맞다. 활, 탄약, 범선, 기관총처럼 전쟁의 방식을 바꿀 것이다. 그 점에서는 동의한다. 하지만 나는 자율무기가 핵무기처럼 대량살상무기는 아니라고 생각한다. 대부분 나에게 동의하지 않겠지만(웃음). 자율무기는 어떻게 설계되느냐에 따라, 또 어떻게 제도를 만드느냐에 따라 미래를 다르게 만들 수 있다. 나는 오히려 자율무기가 발달하면 민간인 사망이나 재산 손실을 줄일 수 있다고 본다. 내게는 이것이 중요한 포인트다. 자율무기는 인도주의의 도구가 될 수 있다. 이를 위한 제도를 만드는 논의가 유엔에서 진행되고 있다.

논의 양상은 어떤가?

용어를 정의하는 것이 상당히 까다로운 문제다. ‘자율(autonomous)’이 무엇인가? 터미네이터와 같이 완전히 스스로 사고하고 판단해 행동하는 로봇인가? 이것은 로봇공학자라면 대부분 동의하지 않을 정의다. 자율이라는 용어는 ‘인간이 개입하지 않고 과제를 수행할 수 있는 것’을 뜻한다. 단, 로봇이 스스로 과제를 만들어낼 수는 없도록 해야 한다. 이러면 인간이 과제를 부여하므로 인간에게 책임을 지울 수 있다. ‘의미 있는 인간의 제어(meaningful human control)’도 까다로운 용어다. 인간이 어디까지 제어해야 ‘의미 있는 제어’일까? 5년간 이런 논의가 이어져왔다. 로봇공학, 법학, 철학, 정부 정책에 걸쳐 있는 논의다.

무기 연구를 원천 봉쇄하자는 연구자도 있다. 생물화학무기 연구를 금지한 선례도 있다.

나는 동의하지 않는다. 그러려면 인공지능 연구를 전부 금지해야 할지도 모른다. 나는 토비(카이스트 보이콧 운동을 주도한 토비 월시 교수)와 친구이지만 이 문제에서는 의견이 다르고, 카이스트 보이콧 서명에도 참여하지 않았다. 좋은 아이디어가 등장하면 어디선가 누군가는 반드시 무기에 적용하게 될 것이다. 자율무기는 민간인 희생을 줄일 잠재력을 갖고 있다. 그걸 금지하면 민간인 희생을 계속 방치하는 결과가 될 수도 있다. 며칠 전에, 내전 중인 예멘에서 연합군 공습으로 스쿨버스가 폭격을 받아 어린이 수십명이 죽었다. 기술은 이런 희생을 막기 위해 사용되어야 하고, 그렇게 만들 수 있다. 기술을 금지하면 어떻게 이들을 구할 수 있을까.

인공지능과 로봇 기술이 전쟁을 더 인도적으로 만들 수 있다는 뜻인가?

인도적인 전쟁이라는 말 자체가 아이러니하긴 하다. 확실하게 하고 싶은데, 나는 모든 전쟁을 반대한다. 군인도 희생되면 안 된다고 생각한다. 하지만 인류가 아직 그 수준까지 도달하지 못했다면, 우선 우리가 할 수 있는 일에 집중할 필요가 있다. 우리가 해야 하는 일은 비전투원의 희생을 줄이는 것이다. 질문에 답하자면, 그렇다. 전쟁을 더 인도적으로 만들 수 있다고 본다. 자율무기가 그를 위한 차세대 시스템이라고 본다. 인공지능이 인간보다 인도주의적 국제법을 더 잘 준수하게 만들 수 있기 때문이다.

왜 그런가?

국제법에서 금지하는 민간인 고의 살상 문제를 보자. 어떤 민간인 사망의 원인이 고의적인 공격인지, 의도하지 않은 피해인지 판단하는 건 쉽지 않다. 이것은 공격한 사람의 의도를 알아야 하는데, 인간의 의도는 증거로 남는 경우가 별로 없다. 로봇은 다르다. 코드가 어떤 식으로 되어 있는지, 누가 이 코드를 넣었는지 밝혀내기가 더 쉽다. 적어도 인간의 의도를 알아내는 것보다는 훨씬 쉽다. 이런 이유로 투명성이 높아지기 때문에 전쟁범죄를 저지르려는 세력은 더 큰 부담을 져야 한다. 이런 원리가 자율무기에 대한 국제법과 결합될 때 큰 효과를 발휘할 수 있다고 본다. 민간인 희생을 완전히 없애지는 못해도 상당히 줄일 수 있다.

자율무기가 전면 도입되어 사람이 전쟁에서 죽을 가능성이 줄어들면, 정치가들은 더 부담 없이 전쟁을 선택하게 되지 않을까?

분명히 그런 문제, 기술 때문에 전쟁을 좀 더 손쉽게 하는 문제도 예상할 수 있다. 국제법을 지키지 않으면 책임을 질 수 있는 시스템이 필요하다. 로봇윤리학자들은 로봇의 군사적 사용에서 규칙의 방향을 잡으려 하고 있다. 국제법의 용어에 따르면, 정의로운 전쟁이란 무엇인가를 분명히 정의하고 있다.

로봇은 윤리적 딜레마를 어떻게 다뤄야 하나? 예를 들어 아군 군인 2명과 적국 민간인 10명 중에 한쪽이 죽는 상황이라면, 로봇은 어떻게 결정을 내릴 수 있나?

상당히 중요한 질문이다. 군대 입장에서 전투의 결정적 성과가 달려 있을 때 민간인 사망을 어느 정도 감수해야 할까? 테러집단 수장을 죽일 때 민간인의 사망을 어느 정도 용인해야 할까? 어디까지가 ‘피해를 감수하는 결단’이고 어디서부터 ‘전쟁범죄’일까? 전장에서 윤리적 가치를 어떻게 비교·평가·결정할 것이냐는 문제인데, 로봇공학자가 답을 낼 수는 없다. 법률가·철학자·정치가들이 함께 고민해야 한다. 전장에서 민간인 사망을 아예 없앨 수 없다면, 누군가는 판단을 해야 한다. 적어도 하나의 원칙은, 인간 병사를 훈련할 때도 알아서 판단하라고 하지 않는 것처럼, 자율무기에게도 우선순위를 분명히 알려주어야 한다. 현장 상황에 맞춰 로봇이 스스로 판단하게 하는 것은 위험하다. 그래서 나는 머신러닝과 같이 결정 과정을 인간이 알기 어려운 시스템을 군사 로봇에 적용하는 것은 금지할 수도 있다고 생각한다. 자율무기의 목표나, 전장에서 판단의 근거가 되는 가치의 문제는 인간이 제어하는 게 중요하다.

마지막으로 가벼운 질문이다. 일반인들에게 가장 널리 알려진 로봇윤리 원칙은 과학소설 작가 아이작 아시모프의 ‘로봇 3원칙’이다. 현실 연구자 관점에서 ‘로봇 3원칙’은 의미가 있나?

아시모프는 후에 원칙 하나를 추가해 4원칙으로 수정했다. 나는 과학소설을 상당히 좋아한다(웃음). 로봇 4원칙은 윤리적 로봇이라는 것이 얼마나 어려운 과제인지 보여주는 좋은 도구다. 소설을 보면 늘 딜레마가 등장한다. 실용적인 관점에서는, 윤리적 로봇 시스템의 좋은 기반이 되지는 않는다고 본다. 인간 사회에서 현실로 작동하는 윤리적 규칙들, 자율무기라면 전쟁에 대한 국제법 같은 것들이 윤리적 기반으로는 더 낫다.