The medical signal processing device 6 inputs a video signal captured by the medical observation device 2 and processes the video signal. The medical signal processing apparatus 6 includes a signal input unit 61 that inputs a video signal, and a first signal conversion that converts the video signal input to the signal input unit 61 from an RGB signal to a luminance signal and a color difference signal by matrix calculation processing. 62, an identification information adding unit 63 for adding color gamut identification information relating to the color gamut of the video signal corresponding to the matrix calculation processing to the converted video signal, and a video signal to which the color gamut identification information is added Is output to an external medical display device 4 or a medical recording device.医療用信号処理装置6は、医療用観察装置2で撮像された映像信号を入力し、当該映像信号を処理する。この医療用信号処理装置6は、映像信号を入力する信号入力部61と、信号入力部61に入力した映像信号を、マトリクス演算処理によりRGB信号から輝度信号及び色差信号に変換する第1信号変換部62と、当該変換後の映像信号に対してマトリクス演算処理に応じた当該映像信号の色域に関する色域識別情報を付加する識別情報付加部63と、色域識別情報が付加された映像信号を外部の医療用表示装置4または医療用記録装置に出力する信号出力部64とを備える。