Methods and systems for scene analysis and model fusion in 2D \/ 2.5D image data by laparoscopy and endoscopy are disclosed. Receive the lower frame of the intraoperative image stream including the 2D image channel and the 2.5D depth channel. Preoperative 3D model of segmented target organ is fused to the frame below the intraoperative image stream in preoperative 3D medical image data.Based on the preoperative 3D model of the target organ, the preoperative label image is transmitted from the preoperative 3D medical image data to each of the plurality of pixels in the frame below the intraoperative image stream, and the intraoperative image stream The resulting label map is rendered to the frame of the frame. The semantic classifier is trained based on the label map rendered on the lower frame of the intraoperative image stream.腹腔鏡および内視鏡による2D/2.5D画像データにおけるシーン解析およびモデル融合のための方法およびシステムが開示される。2D画像チャネルと2.5D深度チャネルとを含む術中画像ストリームの目下のフレームを受け取る。術前3D医用画像データにおいてセグメンテーションされたターゲット器官の術前3Dモデルを、術中画像ストリームの目下のフレームに融合させる。ターゲット器官の融合された術前3Dモデルに基づき、術前3D医用画像データから、術中画像ストリームの目下のフレーム内における複数の画素各々へ、セマンティックラベル情報を伝達し、術中画像ストリームの目下のフレームに対しレンダリングされたラベルマップを結果として生じさせる。術中画像ストリームの目下のフレームに対しレンダリングされたラベルマップに基づき、セマンティック分類器をトレーニングする。
