A robotic system includes a camera having an image frame whose position and orientation relative to a fixed frame is determinable through one or more image frame transforms, a tool disposed within a field of view of the camera and having a tool frame whose position and orientation relative to the fixed frame is determinable through one or more tool frame transforms, and at least one processor programmed to identify pose indicating points of the tool from one or more camera captured images, determine an estimated transform for an unknown one of the image and tool frame transforms using the identified pose indicating points and known ones of the image and tool frame transforms, update a master-to-tool transform using the estimated and known ones of the image and tool frame transforms, and command movement of the tool in response to movement of a master using the updated master-to-tool transform.ロボットシステムは、固定フレームに対する位置及び向きが1つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有するカメラ、カメラの視野内に配置されるとともに固定フレームに対する位置及び向きが1つ又は複数のツールフレーム変換を通じて決定できるツールフレームを有するツール、及び1つ又は複数のカメラが取得した画像からツールの姿勢を示すポイントを特定するように、特定された姿勢を示すポイント並びに画像及びツールフレーム変換の既知のものを使用することによって画像及びツールフレーム変換の未知のものに関する推定された変換を決定するように、画像及びツールフレーム変換の推定された並びに既知のものを使用することによってマスタ-ツール変換を更新するように、及び更新されたマスタ-ツール変換を使用することによってマスタコントロール装置の動作に応じてツールの動作を指令するように、プログラムされた少なくとも1つのプロセッサ、を有する。
