국립부경대학교(총장 배상훈) 인공지능연구소 연구팀이 한국멀티미디어학회 2024년 추계학술대회 학부생 논문 경진대회에서 2편의 ‘BEST PAPER AWARD’를 수상했다.

최근 제주대학교에서 열린 이번 경진대회 현장심사에서 국립부경대 인공지능연구소 주성욱, 최다녕, 정예찬 학생과 김채규 전임연구원, 한국전자통신연구원 정치윤 박사 팀이 논문 ‘GradF2M: 시각-청각 감각대체를 위한 XAI기반 음악 생성 방법’ 연구로, 국립부경대 최다녕, 장예찬, 주성욱 학생과 김채규 전임연구원, 한국전자통신연구원 문경덕 박사팀이 논문 ‘LSTM 및 Transformer 모델을 이용한 얼굴표정 감정추출 기반 감정 음악 생성방법에 관한 연구’로 각각 ‘BEST PAPER AWARD’을 받았다.

이 논문들은 감각 치환 기술에 대한 연구로, 상실된 감각기관의 정보를 타 감각기관의 정보로 변환해 사용자에게 전달함으로써 이를 인식하도록 하는 것이다. 두 논문은 시각을 청각으로 대체하는 V2A(Visual-to-Auditory) 방법 중에서 얼굴표정을 감정 음악으로 생성하는 방법을 제안해 우수한 평가를 받았다.

‘GradF2M:시각-청각 감각대체를 위한 XAI기반 음악 생성 방법’ 논문은 감정 분류모델을 사용해 얼굴표정 이미지로부터 고차원 감정정보를 추출하고, 이를 전달하는 방법으로 청각정보 형태인 음악 멜로디로 정보변환을 수행하는 방법을 제안했다. 또 설명 가능한 인공지능(eXplainable AI)으로부터 사용자가 이해 가능한 정보를 도출하고, 이를 청각정보의 조절에 활용해 감각 대체 인식률을 개선하는 방안을 제시했다.

‘LSTM 및 Transformer 모델을 이용한 얼굴표정 감정추출 기반 감정 음악 생성방법에 관한 연구’ 논문은 LSTM(Long Short-Term Memory) 및 Transformer 모델을 활용해 얼굴표정에서 추출된 감정 멜로디를 바탕으로 감정 음악을 생성하고, 감정 가운데 기쁨과 슬픔에 대한 음악 생성을 위해 템포, 조성과 같은 음악적 속성을 조정해 감정 전달력을 강화했다. 이 연구는 감정 음악 생성이 인간은 물론 로봇과 동물에게도 적용 가능성을 제시해 향후 감정 인식 및 상호작용 기술의 발전에 기여할 수 있을 것으로 주목받았다.

한편 국립부경대 인공지능연구소의 김채규 전임연구원 연구실에서는 학부생들이 다양한 연구 프로젝트에 참여해 프로그램 코딩, 연구논문, 특허 명세서 등을 작성하고 기술개발을 통해 연구 경험을 쌓는 기회를 제공하고 있다.