An endoscope system capable of improving the luminance and S / N ratio of a normal observation image obtained in a special observation mode, a processor device of an endoscope system, and a method of operating an endoscope system. In the special observation mode, after irradiating the first illumination light, a part of plural pixel rows of the imaging element (39) is collectively reset. The illumination light is switched from the first illumination light to the second illumination light, and after the second illumination light is irradiated, the illumination light is turned off. During this turn-off period, signals are read in order from all pixel rows. The image processing unit (44) generates a normal observation image based on the first imaging signal read out from the pixel row exposed with the first and second illumination light without being reset. Further, the image processing unit (44) sets the oxygen saturation image on the basis of the second imaging signal read out from the pixel row exposed by only the second illumination light after the reset and the first imaging signal .特殊観察モード時に得られる通常観察画像の輝度及びS/N比を向上させることを可能とする内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法を提供する。 特殊観察モード時には、第1照明光を照射した後、撮像素子(39)の複数の画素行のうちの一部を一括してリセットする。照明光を第1照明光から第2照明光に切り替え、第2照明光を照射した後、消灯状態とする。この消灯期間中に、全画素行から順に信号読み出しを行う。画像処理部(44)は、リセットが行われずに第1及び第2照明光で露光された画素行から読み出された第1撮像信号に基づいて通常観察画像を生成する。また、画像処理部(44)は、リセットが行われて第2照明光のみで露光された画素行から読み出された第2撮像信号と、第1撮像信号とに基づいて酸素飽和度画像を生成する。