음성에 담긴 감정 읽어내 AI 얼굴 표정 바꾼다 | UNIST 인공지능대학원 김태환 교수

말투 하나로 "잘한다"는 칭찬도, 비꼼도 될 수 있죠. 이 미묘한 차이를 AI가 목소리만 듣고 알아채, 영상 속 얼굴 표정으로 바꿔주는 기술이 개발됐습니다.

UNIST 인공지능대학원 김태환 교수 연구팀이 개발한 C-MET(Cross-Modal Emotion Transfer)은 음성에 담긴 감정 변화를 얼굴 표정 변화로 옮기는 AI 모듈입니다. 감정이 담긴 정면 사진 같은 참조 이미지 없이, 목소리만으로 표정을 바꿀 수 있다는 점이 특징입니다.

기존 기술들은 '슬픔', '기쁨' 같은 정해진 감정 이름표를 학습하는 방식이었다면, C-MET은 두 감정 사이의 '변화량' 자체를 학습합니다. 그 덕분에 비꼼, 공감, 카리스마처럼 이름 붙이기 어려운 미묘한 감정까지 표정에 반영할 수 있습니다.

실제로 기존 얼굴 표정 편집 기술인 EDTalk에 C-MET을 적용하자 감정 표현 정확도가 41.99%에서 55.91%로, PD-FGC라는 다른 모델에 적용했을 때도 33.36%에서 36.82%로 향상됐습니다. 특정 모델에 종속되지 않고 여러 얼굴 생성 AI에 부품처럼 결합할 수 있다는 점도 확인됐습니다.

가상 인간, 교육용 아바타, 상담 AI, 영상 콘텐츠 제작 등 자연스러운 얼굴 표정이 필요한 다양한 분야에서 활용될 것으로 기대됩니다.

#UNIST #인공지능 #멀티모달 #AI