PROBLEM TO BE SOLVED: To enable an operation part desired by an operator to be projected without bothering the operator.SOLUTION: An image processing device includes a creation part for creating depth information on an image from the image acquired by photographing an operation field including a region of an operation object, and a position detection part for detecting a three-dimensional position of an operation instrument using the created depth information on the image. A region-of-interest estimation part can be further provided for estimating a region of interest for an operator who operates the operation instrument based on the detected three-dimensional position of the operation instrument and the depth information. The disclosure can be applied to a CCU of an endoscope system and the like, for example.【課題】術者の手間をかけずに、術者の所望する術部を映し出すことができるようにする。【解決手段】手術対象の部位を含む術野を撮像することにより得られた画像から前記画像の奥行き情報を生成する生成部と、生成された前記画像の奥行き情報を用いて、手術器具の３次元位置を検出する位置検出部とを備える。検出された前記手術器具の３次元位置と前記奥行き情報に基づいて、前記手術器具の操作を行う術者の注目点を推定する注目点推定部をさらに備えるようにすることもできる。本開示は、例えば、内視鏡システムのCCU等に適用できる。【選択図】図１
