Provided are a signal processing device and an endoscope system that can output an image subjected to appropriate processing while simplifying the configuration of the entire endoscope system even when the versions differ between signal processing devices. The first processor 3 according to the present invention is detachably attached to the first scope 2A having the image sensor 21A, and is communicably connected to the second processor 4 to which the second scope 2B having the image sensor 21B is attached. A processor that processes an image signal from the image sensor 21 <;/ b>; A or the image sensor 21 <;/ b>; B, and includes a control unit 34 that controls processing in the first processor 3 according to communication with the second processor 4.信号処理装置間でバージョンが異なる場合であっても、内視鏡システム全体の構成を簡素化しながら適切な処理を施した画像を出力できる信号処理装置及び内視鏡システムを提供する。本発明にかかる第1プロセッサ3は、撮像素子21Aを有する第1スコープ2Aが着脱自在に装着される一方、撮像素子21Bを有する第2スコープ2Bが装着された第2プロセッサ4とも通信可能に接続され、撮像素子21A又は撮像素子21Bによる撮像信号を処理するプロセッサであって、第2プロセッサ4との間の通信に応じて当該第1プロセッサ3内部の処理を制御する制御部34を備える。