The present technology relates to an information processing apparatus, an information processing method, and an endoscope system that can provide an optimal video to an operator according to a surgical scene. In the processing mode determination unit, a processing mode for an in-vivo image captured by an imaging device having an imaging device arranged so as to enable pixel shifting processing according to a surgical scene is determined, and in the image composition unit, the processing mode In response to this, the image output from the imaging device is processed. The present technology can be applied to, for example, an endoscope system that images a living body with an endoscope.本技術は、手術シーンに応じて術者に最適な映像を提供することができるようにする情報処理装置、情報処理方法、及び、内視鏡システムに関する。処理モード決定部において、手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードが決定され、画像合成部において、処理モードに応じて、撮像装置から出力される画像が処理される。本技術は、例えば、内視鏡で生体を撮像する内視鏡システム等に適用することができる。
