Provided are one imaging optical system, and an observation system which acquires, from captured images captured under illumination light applied at different timings from a plurality of irradiation windows, perspective information that suggests the uneven state of the surface of a subject, and displays a three-dimensional observation image.An observation system captures images of a subject under illumination light applied at different timings from a plurality of irradiation windows disposed near one imaging element, generates optical information included in each of the images, calculates, as a relative distance from the imaging element, the value of a light quantity included in the optical information outputted from a same point-derived pixel obtained by capturing an image of the same point that is the same feature point on the subject within each of the images, compares the optical information between the images, determines the same point of the subject as a planar part or an inclined part according to the result of the comparison, associates the distance with the planar part or the inclined part to estimate the surface shape of the subject, and displays a three-dimensional image of the subject.L'invention concerne un système optique d'imagerie, et un système d'observation qui acquiert, à partir d'images capturées sous une lumière d'éclairage appliquée à différents moments à partir d'une pluralité de fenêtres d'exposition, des informations de perspective qui suggèrent l'état irrégulier de la surface d'un sujet, et qui affiche une image d'observation en trois dimensions. Un système d'observation capture des images d'un sujet sous une lumière d'éclairage appliquée à différents moments à partir d'une pluralité de fenêtres d'exposition disposées à proximité d'un élément d'imagerie, génère des informations optiques incluses dans chacune des images, calcule, sous la forme d'une distance relative de l'élément d'imagerie, la valeur d'une quantité de lumière incluse dans
