Provided are an image processing device which is capable of automatically differentiating a medical image that includes a scene of interest and assisting in the saving of the medical image according to the differentiation result, an endoscope system, an image processing method, and a program. The present invention includes: a medical image acquisition unit (41) that acquires a medical image； a scene of interest recognition unit (51) that recognizes a scene of interest in the medical image acquired using the medical image acquisition unit； a similarity calculation unit (52) that calculates, for the scene of interest recognized using the scene of interest recognition unit, a similarity between the medical image acquired using the medical image acquisition unit and a reference image defined for a scene of interest； and a saving processing unit (53) that performs a process of saving the medical image to a storage device on the basis of the similarity calculated using the similarity calculation unit.L'invention concerne un dispositif de traitement d'image qui est capable de différencier automatiquement une image médicale qui comprend une scène d'intérêt et d'aider à sauvegarder l'image médicale en fonction du résultat de la différenciation, un système d'endoscope, une méthode de traitement d'image et un programme. La présente invention comprend : une unité d'acquisition d'image médicale (41) qui acquiert une image médicale； une unité de reconnaissance de scène d'intérêt (51) qui reconnaît une scène d'intérêt dans l'image médicale acquise à l'aide de l'unité d'acquisition d'image médicale； une unité de calcul de similarité (52) qui calcule, pour la scène d'intérêt reconnue à l'aide de l'unité de reconnaissance de scène d'intérêt, une similarité entre l'image médicale acquise à l'aide de l'unité d'acquisition d'image médicale et une image de référence définie pour une scène d'intérêt； et une unité de traitement de sauvegarde (53) qui effectue un traitement de sauvegarde de
