Described herein are virtual reality systems that provide a virtual robotic surgical environment, and methods for using the virtual reality system. The virtual reality system can simulate a robotic surgical environment that can operate both a robot-controlled surgical instrument using a handheld controller and a manual laparoscopic surgical instrument while the user is adjacent to a patient table. For example, the virtual reality system may include at least one virtual robot arm in a virtual robot surgery environment, one or more processors configured to create a virtual robot surgery environment comprising at least one virtual robot arm and at least one virtual manual laparoscopic tool. A second handheld device including a first handheld device communicatively coupled to the virtual reality controller for manipulation, and a tool feature representing the handheld portion and at least a portion of the manual laparoscopic tool, wherein the second handheld device includes: The two handheld devices are communicatively coupled to the virtual reality controller for manipulating the at least one virtual manual laparoscopic tool in the virtual robotic surgical environment.가상 로봇 수술 환경을 제공하는 가상 현실 시스템, 및 가상 현실 시스템을 사용하기 위한 방법들이 본 명세서에 기술된다. 가상 현실 시스템은 사용자가 환자 테이블에 인접해 있는 동안 핸드헬드 제어기를 사용하는 로봇-제어식 수술 기구 및 수동 복강경 수술 기구 둘 모두를 작동시킬 수 있는 로봇 수술 환경을 시뮬레이션할 수 있다. 예를 들어, 가상 현실 시스템은 적어도 하나의 가상 로봇 아암 및 적어도 하나의 가상 수동 복강경 도구를 포함하는 가상 로봇 수술 환경을 생성하도록 구성되는 하나 이상의 프로세서, 가상 로봇 수술 환경에서 적어도 하나의 가상 로봇 아암을 조작하기 위해 가상 현실 제어기에 통신가능하게 결합되는 제1 핸드헬드 장치, 및 핸드헬드 부분 및 수동 복강경 도구의 적어도 일부분을 나타내는 도구 특징부를 포함하는 제2 핸드헬드 장치를 포함할 수 있으며, 여기에서 제2 핸드헬드 장치는 가상 로봇 수술 환경에서 적어도 하나의 가상 수동 복강경 도구를 조작하기 위해 가상 현실 제어기에 통신가능하게 결합된다.
