A semi-automatic, interactive robotic system for performing and/or simulating a multi-step task includes a user interface system, a recognition system adapted to communicate with the user interface system, a control system adapted to communicate with the recognition system, and a sensor-actuator system adapted to communicate with the control system. The recognition system is configured to recognize actions taken by a user while the user operates the user interface system and to selectively instruct the control system to cause the sensor-actuator system to perform, and/or simulate, one of an automatic step, a semi-automatic step or direct step of the multi-step task based on the recognized actions and a task model of the multi-step task.【課題】マルチステップタスクをシミュレーションするための半自動、相互作用ロボットシステムを提供する。【解決手段】半自動、相互作用ロボットシステムは、ユーザ・インタフェース・システムと、ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたセンサ・アクチュエータ・システムとを備える。認識システムは、ユーザがユーザ・インタフェース・システムを操作する間ユーザの取った行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、センサ・アクチュエータ・システムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの1つを実行および/またはシミュレーションさせる。【選択図】図1