Provided is a learning-based surgical action recognition method performed by a computer. The method comprises steps of: obtaining the surgical video； recognizing a surgical action by learning a video frame in the surgical video； and extracting a video frame set among video frames in the surgical video based on the recognized surgical action, and then deriving meaning of the surgical action through learning. According to the present invention, it is possible to derive a more effective learning model and learning results.컴퓨터에 의해 수행되는 학습 기반 수술동작 인식 방법이 제공된다. 상기 방법은 수술영상을 획득하는 단계, 상기 수술영상 내 영상프레임을 학습하여 수술동작을 인식하는 단계, 및 상기 인식된 수술동작을 기초로 상기 수술영상 내 영상프레임 중 영상프레임 세트를 추출하여, 학습을 통해 상기 수술동작의 의미를 도출하는 단계를 을 포함한다.
