A handheld user interface device for controlling a robotic system may include a member, a housing at least partially disposed around the member and configured to be held in the hand of a user, and a tracking sensor system disposed on the member and configured to detect at least one of position and orientation of at least a portion of the device. At least one of the detected position of the portion of the device and detected orientation of the portion of the device is correlatable to a control of the robotic system.L'invention concerne un dispositif d'interface utilisateur portable pour commander un système robotisé, pouvant comprendre un élément, un boîtier au moins partiellement disposé autour de l'élément et configuré pour être maintenu dans la main d'un utilisateur, et un système de capteur de suivi disposé sur l'élément et configuré pour détecter au moins l'une parmi la position et l'orientation d'au moins une partie du dispositif. Au moins l'une de la position détectée de la partie du dispositif et de l'orientation détectée de la partie du dispositif peut être corrélée à une commande du système robotisé.