Provided is an endoscope operation system capable of intuitive operation irrespective of an angle of imaging of the endoscope. The control unit 40 of the endoscope operation system 1 includes calculation means 45 for calculating the angular velocity and the translational velocity from the motion detected by the sensor unit 3 detecting the movement of the operator OP, Converting the angular velocity and the translational velocity into a target angular velocity vector and a target translational velocity vector of the holding arm unit 10 taking into consideration the imaging angle of the unit 25 and further converting the angular velocity and the translational velocity into the speed target value of the displacement mechanism using them, Conversion means 46 for obtaining a position target value from the speed target value, and drive control means 47 for driving the actuator according to the position target value.内視鏡の撮像角度がどのような角度であっても直感的な操作が可能な内視鏡操作システムを提供する。内視鏡操作システム1が備える制御部40は、操作者OPの動きを検出するセンサ部3によって検出された動きから角速度および並進速度を算出する算出手段45と、関節部26によって変更された撮像部25の撮像角度を加味して前記角速度および前記並進速度を保持アームユニット10の目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて前記変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求める変換手段46と、前記位置目標値に従ってアクチュエータを駆動させる駆動制御手段47と、を有する。