The image data processing apparatus includes a control unit that controls processing of image data. The control unit calculates a vector field indicating the displacement of each of the plurality of parts in the imaging region from the plurality of image data acquired at different times with respect to the target imaging position of the test object (S2). The control unit calculates a potential field by performing Helmholtz decomposition on the calculated vector field (S3). According to the image data processing device, the image data processing method, and the image data processing program according to the present disclosure, information regarding the displacement of the test object is appropriately grasped.画像データ処理装置は、画像データの処理を制御する制御部を備える。制御部は、被検物の目標撮影位置に関して異なる時間に取得された複数の画像データから、撮影領域内における複数の部位の各々の変位を示すベクトル場を算出する(S2)。制御部は、算出したベクトル場に対してヘルムホルツ分解を行うことで、ポテンシャル場を算出する(S3)。本開示に係る画像データ処理装置、画像データ処理方法、および画像データ処理プログラムによると、被検物の変位に関する情報が適切に把握される。