Endoscope system, processor device, and operation of endoscope system capable of determining imaging scene more easily and robustly and automatically setting conditions in imaging or image processing suitable for the imaging scene Provide a way. The endoscope system 10 uses an image acquisition unit 54 that acquires an endoscope image of an observation target and an endoscope image 101 for display generated using the endoscope image or the endoscope image. Using a baseline information calculation unit 86 that calculates information about the light scattering characteristics or light absorption characteristics of the observation target and that is at least information that does not depend on specific biological information; and An imaging scene determination unit 87 that determines an imaging scene and a condition setting unit 88 that sets conditions in imaging or image processing using the determination result of the imaging scene determination unit are provided.従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供する。内視鏡システム10は、観察対象を撮像した内視鏡画像を取得する画像取得部54と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像101を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部86と、ベースライン情報を用いて撮像シーンを判定する撮像シーン判定部87と、撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定する条件設定部88と、を備える。