연세대학교 산학협력단;INDUSTRY-ACADEMIC COOPERATION FOUNDATION, YONSEI UNIVERSITY
发明人:
KIM SHIN DUG,김신덕,KWON YE HOON,권예훈
申请号：
KR1020180055398
公开号：
KR1020190130808A
申请日:
2018.05.15
申请国别(地区):
KR
年份:
2019
代理人:
摘要：
Disclosed is an emotion classification device using convergence of features of electroencephalogram (EEG) and a face image. The device includes: an EEG conversion module for converting an acquired EEG image into a spectrogram image； a face image acquisition module for obtaining a face image； a CNN network module for fusing the image of the EEG conversion module and feature information of the image to output convergence feature information； and an LSTM module for outputting a change in emotion characteristics over time and classifying emotions using output information of the CNN network module, wherein the CNN network module and the LSTM module are configured by learning. According to the present invention, it is possible to perform accurate emotion recognition through the convergence of features in consideration of the motive for the features of the EEG and the features of the face image.뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치가 개시된다. 개시된 장치는, 획득한 뇌파 이미지를 스펙토그롬 이미지로 변환하는 뇌파 변환 모듈； 얼굴 이미지를 획득하는 얼굴 이미지 획득 모듈； 상기 뇌파 변환 모듈의 이미지 및 상기 이미지의 특징 정보를 융합하여 융합 특징 정보를 출력하는 CNN 네트워크 모듈； 및 상기 CNN 네트워크 모듈의 출력 정보를 이용하여 시간의 흐름에 따른 감정 특징 변화를 출력하고 감정을 분류하는 LSTM 모듈을 포함하되, 상기 CNN 네트워크 모듈 및 상기 LSTM 모듈은 학습에 의해 설정된다.
