아이언맨처럼 '공중 터치'···양손으로 3차원 조형물 만든다

손동작 인식기술 1세대 과학자 임화섭 박사, 3차원 양손 인식기술 개발

3D 예술 및 교육 활동 등…활용 무궁무진

한 과학자 실험실에 미술 스케치 도구가 즐비하다. 책장에는 비너스, 아그리파, 로댕 등 석고상도 보인다. 과학자 책상에 미술도구라니 조금은 아이러니하지만 국내 손동작 인식 1세대 과학자인 임화섭 KIST 영상미디어연구단 박사에게 석고상과 손모형은 무엇보다 중요한 연구재료다.

 

"수천가지 다양한 손동작 데이터베이스를 활용해 가상의 공간에서 조형물을 만들 수 있도록 연구개발 중입니다. 손가락 모형을 깊이카메라로 촬영하며 자주 테스트하고 있어요. 가상공간 속 조형물을 점토 만지듯 형태 변형이 가능한데, 이 석고상들을 3D 모델링했죠."

 

3D 모델링과 트랙킹 연구, 깊이카메라 등을 오랫동안 연구해온 임 박사는 최근 비접촉식 3차원 양손인식기술을 개발했다. 비접촉식 3차원 양손인식기술은 컴퓨터가 카메라를 통해 사람의 양 손을 인식하는 기술로 마우스나 터치 없이 화면에서 실제 조형작업이 가능하다.

 

임 박사의 실험실에 들어가자 연구원이 컴퓨터 모니터 앞에 서 아무런 장치 없이 양손을 이용해 모니터 속 조형물을 당기고 늘리고 있다. 그러자 실시간으로 3D 조형물 조형이 가능했다. 이 조형물은 3D 프린팅 기술과 연결해 프린터도 가능하다.

 

이 기술은 영화 아이언맨이나 마이너리티리포트에 나오는 공중 터치기술로도 활용 가능하며 HMD(Head mounted Display)를 통해 보이는 가상공간의 화면조작도 가능하다. 손동작을 정보를 원거리에 있는 로봇에게 전달하면 먼 미래 원격수술 등 의료분야에도 활용 가능할 것으로 기대된다.

 

해당 기술은 '클레이박스(Claybox)'라는 이름으로 '레드닷 커뮤니케이션 디자인 어워드 2016'에 출품되기도 했다. 어린이들이 몸동작과 손가락 움직임으로 가상 점토를 만지듯 3D 모델링 가능한 기술로 유승현 고려대 박사팀이 디자인을, 임 박사가 소프트웨어 기술을 지원했다. 클레이박스는 차세대 디자이너에게 수여하는 '레드닷 주니어 어워드'를 수상했다.

 

임 박사는 "고려대와 논의해 기술을 더욱 정교하게 업그레이드 시켜 아이들 교육용으로 개발하려고 준비 중"이라고 말했다.

컴퓨터가 인식하는 손의 비밀? "보유한 손동작데이터만 수천가지죠"

허공의 손짓만으로 화면의 조형작업이 가능한 기술의 핵심은 '빠르고 정확한 3D 모델링'이다. 깊이카메라가 사용자 손 모양을 삼차원으로 촬영해 유사한 3D 손가락 모델을 빠르고 정확하게 3D모델로 변환, 컴퓨터 속 조형물을 점토를 만지듯 변형하는 것이다.

 

그는 "깊이 카메라가 손의 형상정보를 가져와 사용자가 취한 손 모양을 3D모델로 표현한다. 이후 가상물체와의 물체간 충돌을 계산해 조형물 형태에 변화를 준다"면서 "1cm 이하의 오차수준으로 손동작 인식이 가능하다"고 설명했다.

 

임 박사는 사람마다 손 크기와 동작들이 다른 점을 고려해 조형에 필요한 주요 손동작들을 추리는 작업을 진행했다. 주변 연구자부터 시작해 예술가와 도예가 등 손동작을 참고해 공통적인 손동작을 골라냈다. 추려낸 손동작 데이터베이스만 수천가지다.

 

이같은 과정은 1미터의 거리에서도 손동작을 인식할 수 있으며 실시간 처리가 가능한 기술개발로 이어졌다. 해당 기술은 지난 3월 대기업에 이전돼 상용화를 준비 중에 있다. 자동차 업계에서도 해당기술에 관심을 갖고 있어 접촉 중이다. 

 

임 박사의 기술은 손동작 뿐만 아니라 사람의 다리, 몸통, 팔의 움직임과 표정까지 읽어내는 기술로도 활용 가능하다. 현재 그는 태블릿에서 사람형태의 캐릭터를 그리면 자동으로 인식해 애니메이션이 가능하도록 3D모델로 변환해주는 프로그램도 개발하고 있다.

 

표정도 마찬가지로 컴퓨터 속 캐릭터가 마치 살아있는 것처럼 내 입모양과 표정을 따라하는 애니메이션 기술도 함께 연구하고 있다.

 

"손동작기술, 세계적 일부 연구소만 보유하고 있어"

 

“2011년부터 동작인식기술이 나오기 시작했지만 신체동작을 인식할 뿐 세세한 부분까지 인식하는 기술이 없었습니다. 차세대 인터렉션(interaction, 상호작용)기술은 손동작 인식에서 시작될 것이라 생각해 도전하게 됐습니다.”

 

임 박사가 해당 연구를 시작했을 당시만 해도 마이크로소프트가 키넥트(별도의 컨트롤러 없이 사람의 신체와 음성을 감지해 TV 화면 안에 그대로 반영하는 동작 인식게임)를 출시하는 등 동작 인식기술 개발을 하고 있었을 뿐 손가락 인식기술은 거의 전무했다. 지금도 구글과 애플 등 IT 대기업과 세계적인 연구소에서만 관련기술을 개발하고 있는 상황이다.

그는 이 기술을 교육과 예술 분야를 비롯해 노인 케어 실버로봇서비스에도 활용할 수 있도록 개발을 확대해 나갈 예정이다.

 

그는 "노인분들이 거동은 불편하지만 손은 비교적 자유롭게 쓸 수 있다. 지금은 로봇이 손동작을 제대로 인식하지 못해 사용자가 원하는 물건을 가져다주는 것이 어렵지만 우리 기술을 활용해 손 방향을 제대로 인식할 수 있게 만들려고 한다"고 말했다.

 

임 박사는 "손은 의사 표현할 때 중요한 요소다. 노인분들이 편하게 기계를 다루도록, 또 기기 간 인터랙션이 더 잘 되도록 연구할 것"이라며 "먼 미래에는 재난 현장이나 인간이 직접 작업하기 어려운 곳에서 원격작업이 가능한 로봇을 개발할 수 있을 것으로 기대된다. 전체를 다 만들기는 어렵지만 오른쪽 팔을 만들어볼 계획"이라고 포부를 밝혔다.

 

손동작 인식과 애니메이션 기술 등을 연구하는 그는 유튜브를 통해 다양한 연구성과를 소개 중이다. 동영상 확인은 해당 링크에서 확인 가능하다.