Medical portable terminal device with a touch panel for the first operator is placed in non-sterile zone is operated, the operation panel which is capable of controlling operation of a plurality of medical devices that are placed in non-sterile zone an imaging unit for imaging a region where the second operator placed in a sterile area makes an operation gesture from the imaged captured image and recognizing unit operations of the gesture recognition result and a plurality of associated an operation list storage unit that stores an operation list for performing a plurality of operations for the medical device, the control of the plurality of medical devices based on the operation of the operation panel, and a control of a plurality of medical devices based on the operation of the gesture I and a control unit for switching.医療用携帯端末装置は、非滅菌域に配置される第1の操作者が操作するためのタッチパネルを備え、非滅菌域に配置された複数の医療機器の動作を制御可能とする操作パネル部と、滅菌域に配置される第2の操作者がジェスチャの操作を行う領域を撮像する撮像部と、撮像された撮像画像からジェスチャの操作を認識する認識部と、認識結果と関連付けられた複数の医療機器に対する複数の動作を行わせるための操作リストを記憶する操作リスト記憶部と、操作パネル部の操作に基づく複数の医療機器の制御と、ジェスチャの操作に基づく複数の医療機器の制御とを切り替える制御部と、を有する。