A signal processing apparatus capable of generating an appropriate composite image that allows a user to read necessary information when generating a composite image in which character information is superimposed on image information input from another signal processing apparatus And an endoscope system. The first processor 3 according to the present invention is detachably attached to the first scope 2A having the image sensor 21A, and is communicably connected to the second processor 4 to which the second scope 2B having the image sensor 21B is attached. A signal processing device for processing an imaging signal, which generates composite image information in which image information based on the imaging signal input from the first scope 2A or the second processor 4 and character information relating to the image information are superimposed. An image processing unit 31 that executes at least processing, and a control unit 35 that controls processing contents of the image processing unit 31 according to communication with the second processor 4 are provided. 他の信号処理装置から入力された画像情報に文字情報を重畳した合成画像を生成する場合に、ユーザが必要な情報を読み取り可能であるような適切な合成画像を生成することができる信号処理装置及び内視鏡システムを提供する。本発明にかかる第1プロセッサ3は、撮像素子21Aを有する第1スコープ2Aが着脱自在に装着される一方、撮像素子21Bを有する第2スコープ2Bが装着された第2プロセッサ4とも通信可能に接続され、撮像信号を処理する信号処理装置であって、第1スコープ2A又は第2プロセッサ4から入力された撮像信号に基づく画像情報と画像情報に関する文字情報とを重畳した合成画像情報を生成する合成処理を少なくとも実行する画像処理部31と、第2プロセッサ4との間の通信に応じて画像処理部31の処理内容を制御する制御部35と、を備える。