스탠퍼드 대학 등은 가끔 자신들의 ‘질문-응답 자료집’을 활용한 ‘인공지능 독해력 대회’를 연다. 한국의 삼성전자, 미국 페이스북, 마이크로소프트, 중국 알리바바 등 글로벌 IT 업체들이 치열하게 경합하며 선두를 다툰다. 지난해 말부터 인공지능이 독해력 부문에서 인간을 따라잡았다는 자극적 기사들이 나온다. 전문가들 대부분은 이런 언론 보도에 코웃음을 친다. ‘질문-응답 자료집’들로 ‘컴퓨터가 인간처럼 독해할 수 있느냐’를 측정할 수는 없다는 것이다.
마이크로소프트 사의 질문-응답 자료집인 MCTest는 500여 개의 짧은 이야기와 2000여 개 질문으로 구성되어 있다. 다만 이야기에 담긴 ‘세계에 대한 지식(the world knowledge)’과 질문은 ‘어린이가 이해할 수 있는 수준’이다. 페이스북의 CBT 역시 어린이 책에서 20개의 연속된 문장을 발췌한 내용이다. 21번째 문장의 한 단어를 공백으로 남겨놓고 이를 채우게 한다. 각 질문에는 10개의 ‘후보 답변’이 달렸는데, ‘said(말했다)’를 고르면 정답률이 매우 높아진다. 스탠퍼드 대학의 SQuAD는 위키피디아 등 500여 개 문서에서 발췌한 글과 10만여 개 ‘질문-응답’ 뭉치로 이뤄졌다. 현실과 비슷하도록 실제 누리꾼들이 질문과 응답을 작성하게 했다. 다만 발췌문 수가 많지 않은 데다 너무 짧은 것이 문제다.
독해력 대회에 사용되는 질문-응답 자료집은 나름의 편향과 목적, 한계가 있다. 인공지능이 사람보다 높은 점수를 받았다고 ‘기계의 독해력이 사람보다 우수하다’라고 단정 지을 수 없다는 이야기다. 더욱이 ‘질문에 응답하는 것’은 인간 독해력과 추론 능력의 아주 작은 부분에 지나지 않는다. 퀴즈 대회에서 인공지능이 사람보다 높은 점수를 얻었다고 컴퓨터의 지성이 인간보다 우수하다고 말할 수 없는 것과 마찬가지다. 퀴즈는 종합적 사고보다 ‘정보의 조각’을 빨리 ‘탐지’해야 이길 수 있는 게임이기 때문이다.
-
컴퓨터가 ‘이순신이 영웅인 이유’를 답할 수 있을까?
컴퓨터가 ‘이순신이 영웅인 이유’를 답할 수 있을까?
그르노블·이종태 기자
소설 〈프랑켄슈타인〉의 주인공 빅터 프랑켄슈타인 박사가 만든 ‘괴물’이 처음으로 읽은 책은 〈젊은 베르테르의 슬픔〉 〈플루타르코스 영웅전〉 〈실락원〉이었다. 괴물은 베르테르로부터 ...
-
자동번역이 똘똘해졌죠? 이 사람 덕분입니다
자동번역이 똘똘해졌죠? 이 사람 덕분입니다
그르노블·천관율 기자
‘인공지능의 4대 천왕’이라는 표현이 있다. 구글의 제프리 힌튼, 페이스북의 얀 르쿤(〈시사IN〉 제569호 딥러닝 구루가 말하는 인공지능의 실체 기사 참조), 몬트리올 대학의 요...
-
미국 금리 ‘드리블’에 아르헨 경제 ‘레드카드’
미국 금리 ‘드리블’에 아르헨 경제 ‘레드카드’
이종태 기자
2008년 9월15일 미국 거대 투자은행 리먼브러더스가 파산을 신청했다. 이로써 ‘글로벌 금융위기’라는 지옥문이 열렸다. 그로부터 10년이 지난 최근, 위기의 어두운 그림자가 다시...