Appearance learning systems, methods and computer products for three-dimensional markerless tracking of robotic surgical tools. An appearance learning approach is provided that is used to detect and track surgical robotic tools in laparoscopic sequences. By training a robust visual feature descriptor on low-level landmark features, a framework is built for fusing robot kinematics and 3D visual observations to track surgical tools over long periods of time across various types of environments. Three-dimensional tracking is enabled on multiple tools of multiple types with different overall appearances. The presently disclosed subject matter is applicable to surgical robot systems such as the da Vinci® surgical robot in both ex vivo and in vivo environments.La présente invention concerne des systèmes dapprentissage daspect, des procédés et des produits informatiques pour la poursuite tridimensionnelle sans marqueur doutils chirurgicaux robotisés. Une approche dapprentissage daspect est décrite qui est utilisée pour détecter et poursuivre des outils chirurgicaux robotisés dans des séquences laparoscopiques. Par apprentissage dun descripteur de caractéristique visuelle robuste sur des caractéristiques de repères de niveau bas, un cadre est construit pour la fusion de la cinématique robotisée et des observations visuelles 3D pour la poursuite doutils chirurgicaux sur de longues périodes dans différents types denvironnements. Un suivi tridimensionnel est activé sur des outils multiples de plusieurs types avec différents aspects globaux. La présente invention décrite est applicable à des systèmes chirurgicaux robotisés tels que le robot chirurgical da Vinci® à la fois dans des environnements ex vivo et in vivo.
