PROBLEM TO BE SOLVED: To provide an image processing device, a medical observation system, an image processing method and a program capable of comparing a simulation result of blood flow before surgery and a result of blood flow after treatment in real time. A medical image processing apparatus includes a blood flow analysis unit 913 that analyzes blood flow flowing through an observation target based on a medical observation image obtained by imaging the observation target, and a three-dimensional model of the observation target acquired in advance. A difference detection unit 915 that detects the difference between the simulation result of the blood flow flowing in the blood flow and the analysis result of the blood flow flowing in the observation target, and an output unit 916 that outputs the difference result detected by the difference detection unit 915 to the display device 8. To be equipped. [Selection diagram] Fig. 4【課題】術前の血流のシミュレーション結果と施術後の血流の結果とをリアルタイムで比較することができる画像処理装置、医療用観察システム、画像処理方法およびプログラムを提供する。【解決手段】医療用画像処理装置は、観察対象を撮像した医療用観察画像に基づいて、観察対象に流れる血流を解析する血流解析部913と、予め取得された観察対象の3次元モデルに流れる血流のシミュレーション結果と観察対象に流れる血流の解析結果との差分を検出する差分検出部915と、差分検出部915が検出した差分結果を表示装置8へ出力する出力部916と、を備える。【選択図】図4