The system allows medical personnel to interact with medical related information during medical procedures. The system includes a projector for projecting a user interface menu image onto a projection plane, a three-dimensional optical imaging system for capturing three-dimensional position information of an object in a detection volume including the projection plane, and a three-dimensional optical imaging. Gestures for projected user interface menu images that are connected to receive 3D position information from the system and that are made by a healthcare professional in the space between the 3D optical imaging system and the projection plane And a controller configured to interpret based on the position of. The controller is connectable to the display to cause the display to render the image and is configured to cause the display to render an image that includes medical related information based at least in part on the interpreted gesture.システムは、医療従事者が医療処置中に、医療関連情報とインタラクトすることを可能にする。このシステムは、ユーザインタフェースメニュー画像を投影面上に投影するためのプロジェクタと、投影面を含む検知ボリューム内の物体の3次元位置情報をキャプチャするための3次元光学撮像システムと、3次元光学撮像システムから3次元位置情報を受け取するべく接続され、3次元光学撮像システムと投影面との間の空間において医療従事者によって作られる1つまたは複数のジェスチャーを、投影されるユーザインタフェースメニュー画像に対するジェスチャーの位置に基づいて解釈するように構成されているコントローラとを備える。このコントローラは、ディスプレイに画像をレンダリングさせるべく、ディスプレイに接続可能であり、ディスプレイに、解釈されたジェスチャーに少なくとも部分的に基づく医療関連情報を含む画像をレンダリングさせるように構成されている。