Provided are a medical image processing device and method, an endoscope system, a diagnosis assistance device, and a program, capable of assisting diagnosis without impeding the observation of an image by a user, and without the user losing the focus needed to perform the observation. This medical image processing device (160) comprises: an image acquisition unit (162) for acquiring a plurality of images in a time series including images of a subject； a suitability determination unit (164) for determining whether or not the obtained images are inappropriate for recognition； a movement estimation unit (166) for performing movement estimation from two or more images； an action determination unit (168) for determining the action of the user on the basis of movement information； a classification unit (170) for recognizing the images and performing classification； a report control unit (172) for controlling report information on the basis of the action information obtained from the action determination unit (168) and the classification result obtained from the classification unit (170).L'invention concerne un dispositif et un procédé de traitement d'image médicale, un système d'endoscope, un dispositif d'aide au diagnostic et un programme, capable d'aider au diagnostic sans entraver l'observation d'une image par un utilisateur, et sans que l'utilisateur perde la mise au point nécessaire pour effectuer l'observation. Ce dispositif de traitement d'image médicale (160) comprend : une unité d'acquisition d'image (162) pour acquérir une pluralité d'images dans une série chronologique comprenant des images d'un sujet ； une unité de détermination d'adéquation (164) pour déterminer si les images obtenues sont inappropriées pour une reconnaissance ； une unité d'estimation de mouvement (166) pour effectuer une estimation de mouvement à partir de deux images ou plus ； une unité de détermination d'action (168) pour déterminer l'action de l'utilisateur sur la base d'informations de m
