Described herein are systems and methods for intelligently combining medical findings received across different modalities. The system comprises an extraction module extracting contextual information from an image of an area of interest including annotations, a feature selection module building a current feature vector using the extracted contextual information and the annotations, and a referencing engine computing a similarity score between the current feature vector and a prior feature vector of a prior image. The method comprises extracting contextual information from an image of an area of interest including annotations, building a current feature vector using the extracted contextual information and the annotations, and computing a similarity score between the current feature vector and a prior feature vector of a prior image.複数の異なるモダリティから受信される医学的所見を知的に組み合わせるシステム及び方法を開示する。当該システムは、注釈を含む関心領域の画像からコンテキスト情報を抽出する抽出モジュールと、抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築する特徴選択モジュールと、現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算する参照エンジンとを有する。当該方法は、注釈を含む関心領域の画像からコンテキスト情報を抽出し、抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築し、且つ現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算することを有する。
