The present invention relates to a method and system for integrated diagnostic testing and real time treatment comprising a medical data collection device for capturing a plurality of source images, wherein at least one of the source images comprises a fiducial marker. The method and system includes a low delay encoder for encoding the captured source image into a data stream and further includes an environmental sensor device for capturing sensor data. The processor is used to modify the source image contextually based on the captured sensor data and the reference marker, and the transmitting device is used to transmit the modified source image to the display apparatus according to the situation.본 발명은 다수의 소스 이미지를 캡처하기 위한 의료 데이터 수집 장치를 포함하는 통합된 진단 검사 및 실시간 치료를 위한 방법 및 시스템에 관한 것으로, 이 소스 이미지 중 적어도 하나는 기준 마커를 포함한다. 이 방법 및 시스템은 캡처된 소스 이미지를 데이터 스트림으로 인코딩하기 위한 낮은 지연 인코더를 포함하고 센서 데이터의 캡처를 위한 환경 센서 장치를 더 포함한다. 프로세서는 캡처된 센서 데이터 및 기준 마커에 기초하여 소스 이미지를 상황에 따라 수정하도록 사용되며 전송 장치는 상황에 따라 수정된 소스 이미지를 디스플레이 장치에 전송하도록 사용된다.
