Disclosed is a method and system for recognizing a human emotional state using image and EEG signal fusion. The emotion recognition method performed by the emotion recognition system according to an embodiment is to construct a convergence network that fuses feature information extracted from the video signal and the electrical biometric signal through a modality network for each of the video signal and the electrical biometric signal. step； Each weight for the balance data output through the modality network for each of the video signal and the electrical bio-signal based on each reliability determined using the feature information of the video signal and the electrical bio-signal in the constructed converged network. Determining； And outputting a final balance value as output data by reflecting each weight determined for the output balance data, wherein the emotion recognition method includes: a modality network for the video signal, and an electrical biosignal for the signal. The modality network and the convergence network may be separately learned.영상 및 EEG 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템이 개시된다. 일 실시예에 따른 감정 인식 시스템에 의해 수행되는 감정 인식 방법은, 상기 비디오 신호 및 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크를 통하여 추출된 특징 정보를 융합하는 융합 네트워크를 구축하는 단계； 상기 구축된 융합 네트워크에서 비디오 신호와 전기적 생체 신호 각각의 특징 정보를 이용하여 파악된 각 신뢰도에 기초하여 상기 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크를 통하여 출력된 발란스 데이터들에 대한 각각의 가중치를 결정하는 단계； 및 상기 출력된 발란스 데이터들에 대하여 결정된 각각의 가중치를 반영하여 최종 발란스 값이 출력 데이터로서 출력되는 단계를 포함하고, 상기 감정 인식 방법은, 상기 비디오 신호에 대한 모달리티 네트워크, 상기 전기적 생체 신호에 대한 모달리티 네트워크 및 상기 융합 네트워크가 별도로 학습될 수 있다.
