편집자주｜본교는 교육의 산실이기도 하지만 92곳의 연구기관을 보유한 연구 터이기도 하다. 이에 본지는 변화를 이끌고 현실을 포착하는 흥미로운 연구들을 소개한다. 1634호에서는 최혜원 교수로부터 인공지능이 소수 화자 목소리를 인식하는 능력을 어떻게 높일 수 있을지 들어봤다.

스마트폰부터 AI 스피커, 자동번역기, 내비게이션까지. 이제는 생활 곳곳에서 인공지능의 음성 인식 기술이 사용되는 것을 볼 수 있다. 하지만 모두가 이를 동등하게 누릴 수 있는 것은 아니다. 한류 열풍으로 한국어를 배우고자 하는 외국인이 점차 늘고 있고 국내에 체류하는 외국인의 수도 증가했지만, 아직 한국에서 이들은 소수 화자다.

외국인의 한국어 음성은 희귀 데이터로 인공지능의 음성인식 대상에서 줄곧 소외됐다. 인공지능이 외국인의 한국어 발음을 정확히 인식하지 못하기 때문이다. 이에 문제의식을 느껴 인공지능의 외국인 한국어 음성 인식을 연구한 본교 최혜원 교수(영어영문학과)의 ‘언어와 인공지능’ 연구팀을 만나 그 이야기를 들어봤다.

최 교수의 연구팀은 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 2021년도 ‘인공지능 학습용 데이터 구축사업’에 선정됐다. 본교 연구팀은 세종대 김수연 교수(영어영문학과) 연구팀 및 4개 민간 기업과 산학협력 ◆컨소시엄을 구성해 2021년 5월1일부터 12월31일까지 연구를 진행했다. 이들은 정부의 지원을 받아 외국인의 한국어 발화 데이터를 다량으로 수집하고 오류를 분석했다.

딥러닝 기술을 이용한 최근의 인공지능은 데이터양으로 성능이 좌우되기에 양적으로 열세한 언어는 반영되기 어렵다. 그동안 인공지능이 한국인의 한국어 발음은 곧잘 인식하지만, 외국인의 한국어 발음은 잘 인식하지 못하는 이유다. 최 교수는 본 연구를 통해 인공지능이 외국인의 한국어 음성을 인식하는 비율을 70% 이상으로 끌
어올릴 수 있을 것을 기대했다.

최 교수의 연구팀은 영어, 일본어, 중국어, 태국어, 베트남어를 중심으로 총 80개국 출신(65개 언어) 외국인의 발화 데이터를 모았다. 전국의 외국인 근로자 센터, 다문화
가정 센터, 대학 및 어학당 유학생을 통해 약 4,300시간 분량의 음성 데이터가 수집됐다. 데이터 수집에 참여한 지원자들은 스크립트를 읽거나 질문에 답했으며 연구팀은 이를 가공해 인공지능 학습용 데이터로 재탄생시켰다.

최 교수의 연구에는 언어학 전공자만이 보여줄 수 있는 강점이 담겨 있다. 단순히 데이터를 많이 모으는 데서 끝내지 않고 모국어의 언어학적 특성까지 고려했기 때문이다. 외국인이 한국어를 구사할 때 자신도 모르게 모국어 습관이 드러나는데, 연구팀은 이를 포착해 언어권별로 음성 및 음운체계를 비교 및 연구하며 데이터를 수집
했다.

“화자의 모국어 언어권마다 한국어를 발음할 때 발생하는 오류 패턴이 존재합니다. 중국인들이 종성을 발음하지 않거나 일본인들이 모음을 삽입해 종성을 초성으로 넘겨 발음하는 것처럼 말이죠. 이번 연구에서 지원자들이 읽은 발화 유도 스크립트도 이에 초점을 맞춘 연구와 분석을 거쳐 제작했고 인공지능 훈련 시 희소 데이터로도 최대의 효과를 발휘할 수 있도록 설계했습니다.”

최 교수의 독창적인 연구 의도도 돋보였다. 외국인의 한국어 음성 데이터 수집은 본 연구가 없었다면 필요성이 부각되지 않았을 주제다. 외국인의 한국어 음성은 ‘인공지능 학습용 데이터 구축사업’ 지정 분야에 포함되지 않았다. 하지만 외국인의 한국어 음성 데이터가 부족하다는 새로운 문제의식을 바탕으로 최 교수와 김 교수는 본 연구를 해당 사업의 ‘자유 분야’로 신청했다. 이들의 도전이 없었다면 기술로 인한 차별의 격차가 좁혀지기까지 더 오랜 시간이 걸렸을 것이다.

최 교수는 “한류의 세계적인 인기에 힘입어 국내외에서 한국어를 배우는 외국인이 증가하고 있는 가운데 본 연구 결과가 한국어 학습 수요 충족에 도움이 될 것을 전망한다”고 밝혔다. 또 소수 집단의 소외 없이 디지털 포용 사회로 나아가는 데 본 연구가 기여했으면 한다는 바람을 전하기도 했다.

“그동안 음성인식 대상에서 소외됐던 국내 체류 외국인들이 음성인식 기술에 기반한 119 응급콜, 민원콜, 내비게이션, 스마트스피커 등 각종 서비스를 이용하는 데 불편함을 덜 겪게 됐으면 합니다. 본 연구가 인공지능 시대에 데이터로 인해 벌어지는 디지털 격차를 해소하는 데 조금이나마 일조하길 바랍니다.”

◆컨소시엄: 공동 목적을 위해 조직된 협회나 조합