A semi-automatic mutual robot system for performing a multistage operation according to an embodiment of the present invention includes a user interface system, a recognition system communicating with the user interface system, a control system communicating with the recognition system, and a sensor-Wherein the recognition system recognizes the actions taken by the user while the user is navigating the user interface system, and wherein the recognition system is configured to recognize the actions taken by the user while the user is in control of the multi-Step, semi-automatic or direct, to the control system for the sensor-actuator system to perform.본 발명의 실시 예에 따른 다단계 작업을 수행하는 반자동 상호적 로봇 시스템은, 사용자 인터페이스 시스템, 상기 사용자 인터페이스 시스템과 통신하는 인식 시스템, 상기 인식 시스템과 통신하는 제어 시스템 및 상기 제어 시스템과 통신하는 센서-작동기 시스템을 포함하고, 상기 인식 시스템은 사용자가 상기 사용자 인터페이스 시스템을 조종하는 동안 상기 사용자가 취한 동작들을 인식하고, 상기 인식된 동작들 및 상기 다단계 작업의 작업 모델을 기반으로 하는 상기 다단계 작업의 자동 단계, 반자동 단계 또는 직행 단계 중 어느 하나를 상기 센서-작동기 시스템이 수행하도록 상기 제어 시스템에 선택적으로 지시한다.
