Provided is a method for generating learning data based on a surgical video. The method comprises the following steps of: obtaining the surgical video including a plurality of video frames； recognizing surgical recognition information from each of the plurality of video frames； and for each of the plurality of video frames, generating relational representation information representing relationship between surgical elements included in the surgical recognition information based on the surgical recognition information. According to the present invention, it is possible to obtain more meaningful information through video frames by grasping relationship information between surgical elements.COPYRIGHT KIPO 2020수술영상을 기초로 학습데이터를 생성하는 방법이 제공된다. 상기 방법은 복수의 영상프레임을 포함하는 수술영상을 획득하는 단계, 상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계, 및 상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계를 포함한다.
