만화영화 보며 스스로 학습하는 인공지능 세계최초 개발
시각-언어 간의 교차연상 작용 모사한 혁신 기술
서울대학교 컴퓨터공학부 바이오지능연구실 장병탁 교수

컴퓨터의 아버지라 불리는 앨런 튜링(Alan Turning)은 1950년에 처음으로 ‘인공지능(Artificial Intelligence)’이라는 개념을 제시한다. 하지만 인간의 시각과 언어, 사고, 행동을 모사할 수 있는 수준의 인공지능에 대한 연구는 여러 가지 선결과제가 필요했다. 그중 가장 먼저 실현되어야 할 기술로 오랫동안 주목받아 온 것이 바로 ‘기계학습(Machine Learning)’ 기술이다. 국내에서도 기계학습에 대한 연구는 이미 오래 전부터 진행되었지만, 2010년에 들어서야 세간의 주목을 받으며 연구가 가속화되기 시작했다. 

인간의 뇌 신경망 닮은 연상 메모리 구조
기계학습 기술이란 관측된 데이터로부터 기계가 학습을 통해 자동으로 모델을 생성하는 기술로서, 데이터에 내재된 규칙과 패턴을 추출하고 예측하며 기계의 행동을 조절하는 지능 기술이다. 기계학습 기술은 컴퓨터과학(인공지능, 패턴인식, 계산이론 분야 등)과 통계학·물리학·수학·정보이론 등의 연구 분야가 융합된 복합적 학문의 특성이 있다. 이 기술은 인터넷정보검색·텍스트마이닝·자연언어처리·생물정보학·음성인식·컴퓨터비전·컴퓨터그래픽·로보틱스·인간-컴퓨터 상호작용·금융공학 등 다양한 분야에서 활용성이 높은 핵심 기반기술로 자리잡고 있다.

최근 서울대학교 컴퓨터공학부 바이오지능연구실에서 발표한 ‘만화영화 빅데이터 기반의 인공지능 기술’은 세계 최초로 연상 메모리 방식의 기계학습을 기초로 유아의 인지 과정을 모사한 지능 기술로서 주목을 받고 있다. 바이오지능연구실에서는 컴퓨터공학 뿐만 아니라, 인지과학과 뇌과학, 생물정보학 과정의 연구원들이 공동으로 뇌의 신경망의 구조와 동작 방식을 닮은 인지적 지능컴퓨팅을 위한 융합연구를 수행해왔다. 바이오지능연구실을 이끌고 있는 장병탁 교수는 기계학습과 인공지능 분야에서 독보적인 기술력을 인정받고 있는 전문가로, 인간의 인지능력을 모사한 인공지능 개발에 오랫동안 매진해왔다. 

장 교수는 “저희 연구팀이 개발한 ‘상상력 기계(Imagination Machine)’는 인간의 뇌 신경망을 닮은 연상 메모리 구조를 갖고 있습니다. 때문에 만화영화 속 이미지와 소리, 동작, 대화 등의 다양한 정보를 습득하고, 이들 사이의 연관 관계를 체계화할 수 있는 학습능력을 갖고 있습니다”라고 설명했다.

스스로 그림과 언어 사이의 관련성 찾아내
장병탁 교수 연구팀이 개발한 ‘상상력 기계’의 능력은 우리나라의 대표적인 만화영화 ‘뽀로로’를 통한 학습효과에서 증명됐다. 기계에 입력된 1,232분 분량의 183개 에피소드 비디오 자료는 기계가 순차적으로 처리해 16,000여 개의 화면 이미지-자막 쌍을 추출한다. 각 화면 이미지에서는 등장인물과 사물 중심의 이미지 조각을 추출하고 구분하는 과정을 거쳐 이미지 기반 개념망을 구성한다. 자막의 경우 다양한 부분적 문구를 추출한 후, 최신 지능 기술을 적용하여 의미와 빈도를 분석하고, 이를 기반으로 글 기반의 개념망을 구성한다. 화면 이미지와 자막 각각에 대해 이러한 추상화 작업을 거친 뒤, 둘 사이의 연관성을 표현하는 심층 개념망을 구성한다. 

이러한 심층 개념망 모델은 비디오를 순차적으로 시청하는 과정에서 점차 발달하게 된다. 예를 들면, 더 많은 에피소드를 학습해 나갈수록 등장인물들의 특징을 더욱 뚜렷하게 구분해낼 수 있게 된다. 학습을 거친 상상력 기계에 다양한 질문을 던지고 기계가 주는 답을 확인하여 학습 정도와 패턴을 확인할 수 있다. 처음 몇 개의 에피소드만을 입력했을 때에는 질문으로 제시한 주제어에 대해 단편적인 몇 가지 정보만을 나열할 뿐이지만, 다양한 에피소드를 학습한 뒤에는 똑같은 주제어에 대한 답으로 이미지와 자막의 정교한 조합을 만들어낼 수 있는 것이다.

장병탁 교수는 “인간과 컴퓨터의 차이는 창의성, 적응성, 다재다능성, 사회성, 감성, 비논리성 등으로 구분됩니다. 정확한 계산을 빠르게 해내는 데에서는 컴퓨터가 인간보다 뛰어납니다. 하지만 인간은 주어진 문제에 대해 다양한 해결책을 제시하는 창발성을 지니는데 반해, 컴퓨터는 보통 한 가지의 최적화된 답만을 찾아줍니다”라고 설명했다. ‘상상력 기계’의 강점은 여기에서 온다. 기존의 컴퓨터는 정보를 입력하면 빠르게 연산하고 처리하는 수준에 그쳤지만, 이 인공지능은 단어와 영상을 이용해 스스로 지식을 쌓아가고, 관련된 다양한 질문에 대한 대답을 스스로 만들어낼 수 있기 때문이다. 이는 어린이의 뇌에서 일어나는 인지 현상과 같은 방식이다. 사람의 뇌처럼 로봇이 개념을 유연하고 빠르게 발달시켜가면서 지식을 쌓아 인간 수준의 지능에 도달해가는 과정을 모사한 기술이 이 연구의 핵심이다.

다양한 분야에 활용 가능한 미래 기술의 초석
장병탁 교수 연구팀의 이번 연구 결과는 지난 2월 28일 미국 텍사스주 오스틴에서 열린 제29회 세계인공지능학술대회(AAAI-2015)에서 발표됐다. AAAI는 인공지능 분야에서 가장 권위 있는 학회로 구두발표는 상위 12%에 포함되는 세계적으로 인정받은 연구에 한해 기회가 주어진다. 장 교수 연구팀이 개발한 기술은 다양한 분야에 활용할 수 있어 기대를 모으고 있다. 예를 들어 교육에서는 학습된 지식을 기반으로 외국어를 가르치는 개인 교사 역할을 할 수 있다. 인공지능으로 피교육자의 행동도 학습함으로써 학습능률을 극대화시킬 수 있는 것이다. 또한 스캔하는 영화 데이터를 변경함으로써 다른 도메인의 지식도 습득할 수 있다. 아동 교육용 비디오를 모두 모아 학습한 뇌신경망 메모리를 로봇에 이식해 활용할 수도 있다. 장 교수는 이 연구가 앞으로의 빅데이터 기반 인공지능 개발에 발판이 되기를 바란다고 밝혔다.

지금 이 순간에도 인공지능 기술은 어디선가 끊임없이 진화하고 있다. 시각능력과 언어능력, 상상력을 갖춘 인간수준의 학습 지능을 실현하기 위한 새로운 방법을 제시하고자 하는 서울대학교 바이오지능연구실과 장병탁 교수의 노력이 상상 속에서만 가능하던 미래 시대의 시작을 앞당길 수 있게 되기를 기대한다.

Introducing world's first artificial intelligence that learns itself while watching comics
Innovative technology which replicates cross-association between sight and language
Byoung-Tak Zhang, School of Computer Science and Engineering & Cognitive Science, Brain Science, and Bioinformatics, Seoul National University 

Alan Turning who is known as the father of computer introduced the conception of 'Artificial Intelligence' for the first time in 1950. But the R&D on artificial intelligence that can replicate human's sight, language, thinking and behavior needed a certain level of prerequisites. Machine Learning, among them, has been the core technology. Related researches actually started for a long time ago but it was the year 2010 that they have accelerated by growing up in the public eye.