In the embodiment, the image processing apparatus according to the present disclosure is polarized in the first direction in the polarization imaging mode and polarized in the second direction that intersects the first direction. In the non-polarization imaging mode, the illumination unit irradiates the subject with non-polarized illumination light, and the wavelength range of the first illumination light is second. An illumination unit that sequentially emits the first and second illumination lights is provided so as to have a portion that does not overlap in the wavelength range of the illumination light. In the polarization imaging device and the polarization imaging mode, the first polarization image when the subject is illuminated with the first illumination light and the second when the subject is illuminated with the second illumination light. And a polarization mosaic processing unit that obtains a non-polarized image when the subject is illuminated with non-polarized illumination light in the non-polarized imaging mode. A concave area on the surface of the subject is detected based on at least one of the first and second polarized images, and an image showing the concave area in an enhanced manner is formed.本開示の画像処理装置は、実施形態において、偏光撮像モードにおいて、第1の方向に偏光した状態にある第1の照明光、および、第1の方向と交差する第2の方向に偏光した状態にある第2の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で被写体を照射する照明部であって、第1の照明光の波長域が第2の照明光の波長域に重複しない部分を有するように第1および第2の照明光を順次出射する照明部を備える。また、偏光撮像素子と、偏光撮像モードにおいては、第1の照明光で被写体が照射されているときの第1の偏光画像と、被写体が第2の照明光で照射されているときの第2の偏光画像を得て、非偏光撮像モードにおいては、非偏光照明光で被写体が照射されているときの非偏光画像を得る、偏光モザイク処理部とを備える。第1および第2の偏光画像の少なくとも一方に基づいて被写体の表面における凹領域を検出し、凹領域を強調して示す画像を形成する。