Provided is an image processing apparatus for generating an endoscopic image in which one structure does not hinder the visibility of the other structure and a method for operating the endoscope system when diagnosing microvessels and fine structures independently. . The base image (105) includes a B image signal having a gland duct structure S brighter than the mucous membrane and a fine blood vessel V darker than the mucous membrane. The B image signal is subjected to frequency filtering processing for extracting a frequency component including the duct structure S and the microvessel V, the pixel value of the duct structure S is positive, and the pixel value of the microvessel V is Generate a structure extraction image signal that is negative. Based on the structure extraction image signal, a display control image (100) used for enhancement of the gland duct structure S and suppression of the fine blood vessels V is generated. By synthesizing the base image (105) and the display control image (100), the display control image (110) in which the gland duct structure S is emphasized and the fine blood vessels V are suppressed is obtained.微細血管、微細構造をそれぞれ独立に診断する際に、一方の構造が他方の構造の視認性を妨げることがない内視鏡画像を生成する画像処理装置及び内視鏡システムの作動方法を提供する。 ベース画像（１０５）には、粘膜よりも明るい腺管構造Ｓと粘膜よりも暗い微細血管Ｖを有するＢ画像信号が含まれる。Ｂ画像信号に対して、腺管構造Ｓ及び微細血管Ｖを含む周波数成分を抽出する周波数フィルタリング処理を施して、腺管構造Ｓの画素の値が正であり、微細血管Ｖの画素の値が負である構造抽出画像信号を生成する。構造抽出画像信号に基づいて、腺管構造Ｓの強調と微細血管Ｖの抑制に用いる表示制御用画像（１００）を生成する。ベース画像（１０５）と表示制御用画像（１００）との合成により、腺管構造Ｓが強調され、微細血管Ｖが抑制された表示制御画像（１１０）を得る。
