The synthetic image generation system includes a position information detection device 14 that detects the position information of a predetermined part in the real space, and an image captured by a movably arranged video camera 18 based on the position information in the position information detection device 14. A processing device 16 for generating a composite image in which a separately acquired superimposed image is superimposed on a desired area in a camera image in space. The processing device 16 includes position information specifying means 35 that adjusts the detection result of the position information detection device 14 and specifies the position information of the probe 19 used when the superimposed image is superimposed on the desired area. The position information identifying unit 35 determines which of the recognition state determination unit 46 determines the recognition state of the probe marker 24A by the video camera 18 and the detection results of the optical tracking unit 21 and the non-optical tracking unit 22 according to the recognition state. A use information selection unit 47 that selects whether to use the output position information, and an output position information determination unit 48 that determines the output position information necessary for generating the composite image based on the selected position information. 合成画像生成システムは、実空間内の所定部位の位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４での位置情報に基づき、移動可能に配置されたビデオカメラ１８で撮像され実空間のカメラ画像内の所望領域に、別途取得した重畳画像を重ねた合成画像を生成する処理装置１６とを備える。処理装置１６は、位置情報検出装置１４の検出結果を調整して、所望領域に重畳画像を重畳する際に用いるプローブ１９の位置情報を特定する位置情報特定手段３５を含む。位置情報特定手段３５は、ビデオカメラ１８によるプローブマーカ２４Ａの認識状態を判定する認識状態判定部４６と、当該認識状態に応じて、光学トラッキング手段２１及び非光学トラッキング手段２２での検出結果の何れを使用するかを選択する使用情報選択部４７と、当該選択された位置情報により、合成画像の生成に必要となる出力位置情報を決定する出力位置情報決定部４８とを備える。
