A system and method for performing surgery at a target site defined by a virtual object is disclosed. The surgical navigation system includes a patient tracker 54,56 attached to the patient. The localizer 44 cooperates with the patient tracker to generate localizer data associated with the target site during surgery. The surgical navigation system also includes a vision device 72 for generating image data related to the target site and the surface surrounding the target site. A navigation computer in communication with the localizer and the vision device is configured to determine an area to avoid from outside the target site based on localizer data and image data. In some cases, a second virtual object is created to define the area to be avoided, so that a surgical instrument used during the surgery avoids the area.가상 객체에 의해 정의된 타깃 부위에서 수술을 수행하기 위한 시스템 및 방법이 개시된다. 수술용 내비게이션 시스템은 환자에게 부착되는 환자 추적기(54,56)를 포함한다. 로컬라이저(44)는 환자 추적기와 협력하여 수술 중에 타깃 부위와 관련된 로컬라이저 데이터를 생성한다. 수술용 내비게이션 시스템은 또한 타깃 부위 및 상기 타깃 부위를 둘러싸는 표면과 관련된 이미지 데이터를 생성하도록 비전 장치(72)를 포함한다. 로컬라이저 및 비전 장치와 통신하는 내비게이션 컴퓨터는, 로컬라이저 데이터 및 이미지 데이터에 기반하여 상기 타깃 부위의 외부에서 회피할 영역을 결정하도록 구성된다. 어떤 경우에는, 상기 회피할 영역을 정의하기 위해 제 2 가상 객체가 생성되어, 상기 수술 중에 사용되는 수술 기구가 상기 영역을 회피한다.