한양대 생체공학과 임창환 교수팀이 가상현실(VR) 기반 메타버스 서비스에서 사용자의 얼굴 표정을 실시간으로 아바타에 투영하는 신기술을 개발했다.

VR 기반 메타버스 서비스는 최근 미래 소셜 네트워크 플랫폼으로 각광받고 있으며, 현재 페이스북 호라이즌, vTime, AltSpaceVR, VRChat 등 다양한 VR 기반 메타버스 서비스들이 공개됐다.

기술의 발달로 초창기에 비해 화질·속도 등 많은 기능개선이 이뤄졌으나, 여전히 눈 주변이 가려지는 VR기기 특성으로 인해 사용자의 정확한 얼굴 표정이 아바타에 투영되지 않고 이로 인해 몰입도나 현실감이 떨어진다는 한계가 지적돼왔다.

이런 문제점을 개선하고자 최근에는 VR 헤드기어와 얼굴 피부가 닿는 부위에 생체신호를 측정하는 전극을 부착하고, 표정을 지을 때 근육에서 발생되는 근전도(EMG) 신호를 실시간으로 분류하는 연구가 진행되고 있다.

하지만 안면부 근전도를 이용하는 표정 인식 기술은 특정 표정을 지을 때 발생하는 근전도 신호에 대한 데이터베이스를 미리 수집하는 과정이 필요하고, 이에 따라 최소 4회에서 10회 이상 반복적으로 표정을 등록해야 하는 번거로움이 있어 사용자들이 불편함을 겪었다.

임 교수팀은 최근 AI분야에서 활발히 연구되고 있는 도메인적응(domain adaptation) 기술을 도입해 이런 불편함을 개선했다. 도메인적응은 기존 데이터로 만들어 둔 기계학습모델을 신규 정보에 적응시켜 적은 수의 데이터로도 높은 성능을 얻을 수 있는 AI분야의 최신 기술이다.

임 교수팀은 기존 사용자의 등록데이터로 학습한 기계학습모델을 신규 사용자 데이터에 맞춰 적응시키는 방법으로 모델학습에 필요한 데이터의 양을 효과적으로 줄였다. 그 결과 1번의 표정등록만으로 11개의 얼굴표정을 약 90%의 정확도로 인식하고 실시간으로 아바타 얼굴에 반영하는 데 성공했다.

임 교수는 “훈련 데이터베이스에 없는 표정까지 복원할 수 있는 기술이나 안구 움직임과 표정 인식이 동시에 가능한 시스템의 개발도 완성 단계에 있다”며 “향후 실제 VR 기반 메타버스 서비스에 접목할 것”이라고 말했다.

임 교수팀의 이번 연구 결과는 가상현실 분야의 최고 권위지인 「Virtual Reality」9월 3일자에 게재됐다. 해당 논문의 1저자인 차호승 박사는 2020년 9월 한양대학교 박사학위 취득 후, 현재 미국 조지아공대 연구원으로 근무하고 있다. 이번 연구는 삼성전자 미래기술육성센터의 지원을 받아 수행됐다.