The medical observation system has a function of detecting a lesion candidate region in a subject based on a moving image obtained by imaging a subject with a medical imaging apparatus and detecting a lesion that generates a moving image and a still image visually showing the detected lesion candidate region A child image generating unit for generating a child image by reducing the still image an observation image generating unit for generating an observation image including the lesion candidate moving image and the child image and a unique image generating unit for each medical imaging device , The type of the video output standard when the observation image is output as the image, or the aspect ratio of the display device on which the observation image is displayed, the display mode of the child image included in the observation image is set And a control unit.医用観察システムは、医用撮像装置により被写体を撮像して得られた動画像に基づいて被写体における病変候補領域を検出し、検出した病変候補領域を視覚的に示す動画像及び静止画像を生成する病変候補画像生成部と、静止画像を縮小することにより子画像を生成する子画像生成部と、病変候補動画像及び子画像を含む観察画像を生成する観察画像生成部と、医用撮像装置毎に固有の情報、観察画像が映像出力される際の映像出力規格の種類、または、観察画像が表示される表示装置のアスペクト比のいずれかに基づき、観察画像に含まれる子画像の表示態様を設定する制御部と、を有する。