This technology pertains to an information processing device, an information processing method, and an endoscope system that can provide optimal images to a medical practitioner according to a surgery scene. A processing mode determining unit determines a processing mode for in vivo images that are captured by an imaging device comprising an imaging element disposed so that pixel shifting processing is possible in accordance with the surgery scene; and an image synthesizing unit processes an image that is output from the imaging device in accordance with the processing mode. This technology can be applied, for example, to an endoscope system that images a living body with an endoscope.La technologie de la présente invention concerne un dispositif de traitement d'informations, un procédé de traitement d'informations et un système d'endoscope qui peuvent fournir des images optimales à un praticien médical en fonction d'une scène de chirurgie. Une unité de détermination de mode de traitement détermine un mode de traitement pour des images in vivo qui sont capturées par un dispositif d'imagerie comprenant un élément d'imagerie disposé de sorte qu'un traitement de décalage de pixel soit possible en fonction de la scène de chirurgie; et une unité de synthèse d'image traite une image qui est délivrée en sortie par le dispositif d'imagerie conformément au mode de traitement. Cette technologie peut être appliquée, par exemple, à un système d'endoscope qui effectue l'imagerie d'un corps vivant avec un endoscope.本技術は、手術シーンに応じて術者に最適な映像を提供することができるようにする情報処理装置、情報処理方法、及び、内視鏡システムに関する。 処理モード決定部において、手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードが決定され、画像合成部において、処理モードに応じて、撮像装置から出力される画像が処理される。本技術は、例えば、内視鏡で生体を撮像する内視鏡システム等に適用することができる。