Provided are: an image processing device which, despite being a simultaneous-type, can generate a high resolution image; an endoscope system; an image processing method; and a program. The image processing device is provided with: a synthesizing unit (412) which generates synthesized image data on the basis of a position deviation amount detected by a detection unit (411); a generation unit (413) which generates, as reference image data, first interpolated image data including information on a first filter at all pixel positions by performing an interpolation process on the synthesized image data generated by the synthesizing unit (412); and an interpolation unit (414) which generates, for each of a plurality of kinds of second filters, second interpolated image data including information on the second filters at all pixel positions by performing the interpolation process on image data of a reference frame with reference to the reference image data.L'invention concerne : un dispositif de traitement d'image qui, bien que de type simultané, peut générer une image à haute résolution ; un système d'endoscope ; un procédé de traitement d'image ; et un programme. Le dispositif de traitement d'image comprend : une unité de synthèse (412) qui génère des données d'image synthétisées en fonction d'une quantité d'écart de position détectée par une unité de détection (411) ; une unité de génération (413) qui génère, à titre de données d'image de référence, des premières données d'image interpolées contenant des informations sur un premier filtre à toutes les positions de pixels par application d'un processus d'interpolation sur les données d'image synthétisées générées par l'unité de synthèse (412) ; et une unité d'interpolation (414) qui génère, pour chacun d'une pluralité de types de seconds filtres, des secondes données d'image interpolées contenant des informations sur les seconds filtres à toutes les positions de pixels par application du processus d'interpolation sur des