medical endoscope system for an imaging device and a plurality of control target devices and multiple I and a controller for controlling the control target devices. The controller operation prohibition who operates the pre-registered multiple operations candidates of the one of the operation candidates are set as the operation by the operator is allowed in one operation candidates other operations candidates are prohibited and the operator setting unit that sets as the object detecting unit for detecting an object with a predetermined condition from the image outputted from the image pickup apparatus, the operation set by the operator setting unit from the detected objects by the object detection unit the identified object by specifying the object corresponding to the user and recognizing the operator recognizing unit as the operator, an operation detection unit for detecting a predetermined operation of the identified object, the detection result by the operation detecting unit and a control signal generator for generating a control signal for controlling at least one controlled device of the plurality of control target devices, the device control unit for controlling at least one controlled device based on a control signal accordingly.医療用内視鏡システムは、撮像装置と複数の制御対象機器と複数の制御対象機器を制御するコントローラとを備える。コントローラは、予め登録された複数の操作候補者うちの一の操作候補者を操作が許可される操作者として設定して一の操作候補者以外の操作候補者を操作が禁止される操作禁止者として設定する操作者設定部と、撮像装置から出力される画像から所定の条件を備えた物体を検出する物体検出部と、物体検出部により検出された物体から操作者設定部で設定された操作者に該当する物体を特定して前記特定された物体を前記操作者として認識する操作者認識部と、特定された物体の所定の動作を検出する動作検出部と、動作検出部による検出結果に応じて複数の制御対象機器のうちの少なくとも一つの制御対象機器を制御する制御信号を生成する制御信号生成部と、制御信号に基づいて少なくとも一つの制御対象機器を制御する機器制御部を備える。
