In the behavior detection device, the behavior detection method, the behavior detection program, and the monitored person monitoring device according to the present invention, an image obtained by capturing the monitored person as the monitoring target from above is acquired, and the predetermined behavior of the monitored person is obtained. A behavior detection algorithm is selected from a plurality of different behavior detection algorithms for detecting the image based on the positional relationship between the camera that captured the image and a setting area that is a predetermined area in the image. Based on the image, a predetermined action in the monitored person is detected by the action detection algorithm performed. 本発明にかかる行動検知装置、行動検知方法および行動検知プログラムならびに被監視者監視装置では、監視対象である被監視者を、その上方から撮像した画像が取得され、前記被監視者における所定の行動を検知するための互いに異なる複数の行動検知アルゴリズムの中から、前記画像を撮像したカメラと前記画像中における所定の領域である設定領域との位置関係に基づいて行動検知アルゴリズムが選択され、この選択された行動検知アルゴリズムで前記画像に基づいて前記被監視者における所定の行動が検知される。