The image processing apparatus includes an image acquisition unit that acquires a captured image from an imaging unit that performs imaging in a frame sequential manner with a first to Nth frame (N is an integer of 2 or more) as one cycle, and a processing unit. The image acquisition unit acquires a plurality of captured images having different in-focus object positions in the i-th frame (i is an integer satisfying 1 ≦ i ≦ N), and the processing unit obtains the i-th frame obtained in the i-th frame. A second composite map is obtained based on the first composite map and the first composite map obtained in the k-th frame (k is an integer satisfying 1 ≦ k ≦ N and k ≠ i)； Based on the composite map, a composite process for combining a plurality of images with different in-focus object positions captured in the i-th frame is performed.画像処理装置は、第１～第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から撮像画像を取得する画像取得部と、処理部を含み、画像取得部は、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおいて、合焦物体位置の異なる複数の撮像画像を取得し、処理部は、第ｉのフレームで求められた第１の合成マップと、第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた第１の合成マップとに基づいて、第２の合成マップを求め、第２の合成マップに基づいて、第ｉのフレームで撮像された合焦物体位置の異なる複数の画像を合成する合成処理を行う。
