Provided are: an image processing device which, despite being a simultaneous-type, can generate a high resolution image； an endoscope system； an image processing method； and a program. The image processing device is provided with: a synthesizing unit (412) which generates synthesized image data on the basis of a position deviation amount detected by a detection unit (411)； a generation unit (413) which generates, as reference image data, first interpolated image data including information on a first filter at all pixel positions by performing an interpolation process on the synthesized image data generated by the synthesizing unit (412)； and an interpolation unit (414) which generates, for each of a plurality of kinds of second filters, second interpolated image data including information on the second filters at all pixel positions by performing the interpolation process on image data of a reference frame with reference to the reference image data.L'invention concerne : un dispositif de traitement d'image qui, bien que de type simultané, peut générer une image à haute résolution ； un système d'endoscope ； un procédé de traitement d'image ； et un programme. Le dispositif de traitement d'image comprend : une unité de synthèse (412) qui génère des données d'image synthétisées en fonction d'une quantité d'écart de position détectée par une unité de détection (411) ； une unité de génération (413) qui génère, à titre de données d'image de référence, des premières données d'image interpolées contenant des informations sur un premier filtre à toutes les positions de pixels par application d'un processus d'interpolation sur les données d'image synthétisées générées par l'unité de synthèse (412) ； et une unité d'interpolation (414) qui génère, pour chacun d'une pluralité de types de seconds filtres, des secondes données d'image interpolées contenant des informations sur les seconds filtres à toutes les positions de pixels par application du processus d'interpolation sur des
