PROBLEM TO BE SOLVED: To provide a video processing device capable of switching matrix coefficients used for color conversion processing and acquiring an excellent observation video in switching matrix operations, and an endoscope system.SOLUTION: A video processing device is composed of color conversion means for sequentially performing color conversion processing based on a predetermined matrix coefficient for a video signal sequentially input from a predetermined imaging device, input accepting means for accepting instruction input from a user, and matrix coefficient switching means for switching the matrix coefficient used by the color conversion means to a matrix coefficient according to the instruction input at a timing synchronized with a cycle of the video signal.【課題】色変換処理に用いるマトリクス係数を切り替え可能であって、マトリクス演算を切り替える場合に良好な観察映像が得られる映像処理装置および内視鏡システムを提供する。【解決手段】映像処理装置を、所定の撮像装置より順次入力される映像信号に対して所定のマトリクス係数に基づく色変換処理を順次施す色変換手段と、ユーザからの指示入力を受け付ける入力受付手段と、映像信号の周期に同期したタイミングで、色変換手段にて用いられるマトリクス係数を指示入力に応じたマトリクス係数に切り替えるマトリクス係数切替手段と、から構成した。【選択図】図1