A handheld user interface device for controlling the robotic system is disposed on the member, a housing disposed at least partially around the member and configured to be held in a user's hand, and disposed on the member. A tracking sensor system configured to detect at least one of the position and orientation of at least a portion of the device. At least one of the detected position of the portion of the device and the detected orientation of the portion of the device can be correlated to control of the robotic system. [Selection diagram] FIG. 1Aロボットシステムを制御するためのハンドヘルドユーザインターフェースデバイスは、部材と、部材の周囲に少なくとも部分的に配設され、ユーザの手に保持されるように構成されたハウジングと、部材上に配設され、デバイスの少なくとも一部分の位置及び配向のうちの少なくとも１つを検出するように構成された追跡センサシステムと、を含むことができる。デバイスの部分の検出された位置及びデバイスの部分の検出された配向のうちの少なくとも１つは、ロボットシステムの制御に相関可能である。【選択図】図１Ａ
