영화에서 보던 소환현실플랫폼기술을 실생활에 접목하다
“NUI/NUX기술의 상용화와 산학연 연계로 풍부한 IT융복합 콘텐츠 시장 기대”
- 조경은 동국대학교 NUI/NUX플랫폼연구센터장/멀티미디어공학과 교수

NUI/NUX기술은 사람의 신체동작을 마우스, 키보드 대신 입력장치로 쓰는 기술이다. 가상공간의 인공지능을 이용해 휴대전화의 음성인식 리액션, 게임기의 신체반응 인식출력 등으로 활용되는 소환현실플랫폼기술의 기반이 된다. 동국대학교 조경은 교수를 만나 다양한 하드웨어 플랫폼에서 원소스 멀티유즈 소프트웨어로 활용 가능성이 높아 IT산업 콘텐츠 응용기반 원천기술로 꼽히는 NUI/NUX분야의 실용성과 장점에 대해 점검해보는 시간을 가졌다. 

새로운 IT기술의 패러다임으로 가상공간을 현실에 소환
영화 <스타워즈> 시리즈, <월-E>, <마이너리티 리포트>에서 공통으로 볼 수 있었던 얼굴인식, 음성, 움직임으로 제어해 컴퓨터 속 가상공간을 현실로 불러내는 기술이 실제 생활 속으로 진입하고 있다. IT기술에서 기기와 응용서비스의 동시발전을 유도하고, 핵심기술로서 활용도가 높은 원천기술인 NUI(Natural User Interface)와 NUX(Natural User Experience)가 그 주인공이다. 

지난 2013년 ICT분야에서 미래창조과학부가 지원하는 대학IT연구센터육성지원사업에 선정돼 동국대학교에 개소한 NUI/NUX플랫폼연구센터의 센터장인 조경은 교수는 “그동안 NUI의 핵심요소기술이기도 한 인터랙션 기술은 시장의 부재, 전문연구인력양성기관이 없어 IT·ICT산업에서 중요성을 인지하지 못해 안타까웠다. 응용범위만 해도 의료계의 수술 진단은 물론 정밀한 조선, 기계, 로봇공학을 비롯해 건축, 자동차, 교육과 학술, 촬영과 특수효과에 이르기까지 전 산업 분야를 포괄할 만큼 대단히 넓기 때문이다. 더욱이 미국, 이스라엘, 독일 등 기술선진국에서 산학연 단위로 NUI의 원천기술이 발전하는 것을 지켜보고 있는 상황이라 국가와 기업 단위의 관련인프라 구축이 시급했다”고 전한다. 

연구센터에서는 스마트 콘텐츠 기술의 일환으로 현재 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX플랫폼 기술을 연구 중이다. 조 교수는 이를 바탕으로 상호작용이 가능한 홀로그래피 강의 시스템, 동작 인식기반 교육용 게임, NUI를 이용한 가상현실 모델하우스 체험을 다양한 플랫폼에서 구현하는 SW를 개발 중인 한편, 실무능력을 지닌 IT계의 융합형 인재를 양성하고 적극적인 산학협력으로 연계하는 것을 목표로 하고 있다. 이러한 과정으로 현재 산업 분야에 응용할 수 있는 콘텐츠로서 사용자의 움직임을 인식해 가상공간에서 자유롭게 배치하는 <스마트 인테리어>, 마우스와 키보드를 사용하지 않는 인터렉티브 주문 시스템인 <스마트 테이블>등을 제작해 컴퓨터, 휴대전화 앱 등으로 구동되고 활용 가능한 동적구성정보를 제공하고 있다. 

2014년 NUI기술로 대학 ICT연구센터육성지원사업 1위에 선정
조 교수는 한국 NUI기술에 대해 “인식 분야의 국내기술은 센서 같은 하드웨어 부분에서 해외기술이 필요한 것을 제외하면, 세계적 기술 수준에 올라섰다고 생각한다. 해외에서는 MS사,  APPLE사 등이 개발 중이며 3D데이터 센서 부분은 미국, 이스라엘이 강세다. 상용화된 기술로는 서로의 모습을 볼 수 있고 서로의 리액션이 전송되어 한 자리에 있는 듯한 효과 덕분에 원격화상회의, 동시에 피드백이 오가는 원격화상 강의 등이 있다”고 한다. 인풋기능에 제스처를 기반으로 한 것은 전 연령대의 구동이 쉬워야 상용화도 쉽기 때문이다. 또한 아이들이 포즈를 취하며 움직이며 공부하는 콘텐츠에 대한 요구에 부합하며 치매예방, 과잉행동장애 치료 시스템에도 충분히 활용될 것으로 기대된다. 지난 2014년 <ICT 창의융합을 위한 ITRC포럼>에 참가해 좋은 반응을 얻은 조 교수는 “총 3 연구팀으로 구성된 우리 연구센터의 역할은 시스템 알고리즘을 이용한 기술을 만들어 응용프로그램 기술자들에게 제공하는 역할이자 요소기술의 중간단계이다. 콘텐츠를 만드는 기본기술을 구축하고, 이용공간 안에서 사용자를 추적하는 기술, 그리고 다양한 기기에서 지원하는 동적구성정보와 같은 필요한 시스템을 만들어 낸다. 플랫폼구축에 필요한 미들웨어를 집중 연구하는 팀도 있다”고 소개한다. 

실생활에 필요한 콘텐츠를 위한 기술이기에, 우리나라에서도 이러한 응용서비스를 기업에 기술이전하면 다양한 콘텐츠, 게임, 화상회의, 스마트 홈에 다양하게 도입할 수 있다. 그래서 2013년 6월부터 2016년까지 지원사업 부문에 선정된 이래, 2014년에는 대학 ICT연구센터육성지원사업에서 과제를 수행중인 센터에서 2년 차로는 이례적이자 NUI산업에서 최초로 1위를 기록해 K-ICT미래인재포럼 2015에서 미래창조과학부의 장관상을 수상하는 위업을 달성했다. 

소환현실플랫폼기술의 다양한 콘텐츠 활용으로 스마트한 가치창조
조 교수는 ITRC연구센터, BK21플러스 사업에 동시 선정되어 스마트콘텐츠 개발의 중요성을 널리 알리는 한편, 실감형 인터랙션 NUI기술을 활용한 소환현실의 응용범위를 넓히기 위해 꾸준히 연구하고 있다. 그래서 많은 정보처리저장, 다중사용자들이 다중기기를 연동해 정보를 공유하고 협업하는 시스템기술개발에도 열정을 쏟고 있다. NUI/NUX플랫폼연구센터의 소환현실플랫폼기술은 2D카메라, 3D센서, 마이크, 빔 프로젝트의 배치를 시뮬레이터에서 미리 검증하는 센싱 데이터 융합기능, 다중사용자의 동작인식 및 동시통신이 이루어지는 투명 디스플레이 기반 소환현실인터랙션시스템의 기능을 구현하고 있다. 또 얼굴을 인식하고 특징을 유추해 나이를 예측하는 검출 센서기능을 통해 사용자 연령대에 최적화 된 맞춤형 광고, 미성년자의 유해사이트 접근차단 소프트웨어로 활용할 수 있다. 바야흐로 핸드 터치형 키오스크에 이어 액션 센싱형 키오스크의 대중화에도 필요한 기능인 셈이다. 이를 위해 조 교수는 연구 성과로 약 15가지 손동작을 입력기능으로 이용한 NUI를 지목하고 있다. 신체동작과 목소리, 얼굴인식에 필요한 핵심기술요소를 확보해둔 상태이기에 실제 공간에 존재하는 객체에 대한 실시간 인식과 같은 추적 알고리즘도 완성될 수 있었다고 한다. 

조 교수는 “대학, 연구소, 기업이 연계되어 기술을 융합하고 나누며 지금의 기술을 더욱 발전시키는 데 NUI/NUX플랫폼연구센터가 선구적 역할을 하게 될 것이다. 나아가 더 작은 기기에서 더 편리하고 정교하게 인식되는 실감형 인터랙션을 구현하는 것을 목표로 삼는다”고 밝혔다. 또한, 현재 진행하고 있는 연구는 미래창조과학부 및 정보통신기술진흥센터의 대학ICT연구센터육성 지원사업의 연구결과로 수행되었다고 전했다. 

아이폰 ‘시리’의 등장으로 주목받게 된 NUI/NUX기술의 발전은 이제 다양한 콘텐츠에 기여해 상상을 현실로 바꾸고 있다. ICT과학기술을 통한 융복합 창조경제를 실현해나가는 조 교수의 행보를 앞으로도 기대해 본다. 

Realizing Natural User Interface and Natural User Experience
Creating IT fusion contents with NUI and NUX technologies and industry-academic cooperation

Director of NUI/NUX Platform Research Center, Kyungeun Cho

Actualizing virtual space with new paradigm of IT technology
Calling virtual space into reality through face, voice and movement recognition technology used in films like Star Wars, Wall E and Minority Report is becoming real. The NUI and NUX are the technologies that can enable this. Dongguk University’s NUI/NUX Platform Research Center was chosen in 2013 for University IT Research Center Promotion Project supported by Ministry of Science, ICT and Future Planning. Director Prof. Gyeongeun Cho of the center said “The core technology of NUI called ‘Interaction Technology’ was less recognized in IT and ICT industries due to the lack of its market and research centers. But the technology can be applied to various fields such as medicine, shipbuilding, machinery, robot engineering, building construction, cars, education, filming and special effect. Advanced countries like US, Germany and Israel are already developing original technology of NUI by industry-academic cooperation and I felt that we needed to urgently build related infrastructure at national level.”

As part of smart contents technology, the center is currently working on developing Interaction NUI/NUX Platform Technology that can be applied to holography lecture system, movement recognition-based education games and virtual reality model house experience. As a result, the center introduced ‘Smart Interior’ which can realign the things freely in a virtual space by recognizing the user’s movement and ‘Smart Table’ which is an interactive ordering system that does not require a mouse and a keyboard but you can simply download the apps for use. 

NUI technology to be chosen as No.1 University ICT Research Center Promotion Project in 2014
Director Prof. Cho said “Korea’s NUI technology is global level except the recognition sensor is still needed foreign technology. Major companies like MS and APPLE are developing related technologies and the 3D Data Sensor in particular is mainly developed by the US and Israel. The current technology can enable a person to be virtually transmitted to a different space for remote video conference or lecturing.”

The gesture based input function can also enable all age groups to easily control the system. The technology is also expected to be used for treating behavioral problem and dementia. Director Cho participated in ‘ITRC Forum for ICT Creative Fusion’ in 2014 and received a good response. Cho said “The center is divided into three departments. Our role is to develop technologies by using system algorithm and provide applied programs to technical experts. Our job can be called as a ‘mid stage of element technology’. We build basic content technology, user chasing technology and application technology. One of our teams is particularly designed to only research on this middleware.” The center was chosen for Supporting Project in the period between June 2013 and 2016, carried out various tasks at ICT Research Center Promotion Project in 2014, became No.1 center in the NUI industry and received Ministerial Prize from Ministry of Science, ICT and Future Planning at ‘K-ICT Future Talent Forum 2015’.

Creating smart values with NUI/NUX 
Since the center was chosen for ITRC Research Center and BK21 Plus Project, director Cho is spreading the importance of developing smart contents and working hard on widening the application area of NUI technology and multi device connecting technology. The center is realizing ‘the functions of display-based NUI/NUX Interaction System’ that can enable multi-users’ movement recognition and simultaneous communication and ‘Sensing Data Fusion Function’ which can approve the alignment of 2D camera, 3D sensor, microphone and beam project in a simulator. The functions of the sensor can analyze people’s age so that the service provider can offer related products and it can also protects youth from adult or harmful sites. These functions are needed for hand touch kiosk and action sensing kiosk.

Director Cho applied 15 types of hands movement to NUI and secured core technology for recognition of face, voice and movement. Cho said “If industry-academic cooperation is to share and develop technologies, NUI/NUX Platform Research Center is to lead the research and the industry. The center’s goal is to realize practical interaction more easily on smaller smart devices. This research was supported by the MSIP(Ministry of Science, ICT and Future Planning), Korea, under the ITRC(Information Technology Research Center) support program supervised by the IITP(Institute for Information & communications Technology Promotion).” The advent of iPhone Siri gave recognition on NUI/NUX technologies and our imaginations have one more step closer to realization. And Dongguk University’s NUI/NUX Platform Research Center will lead the field in Korea.