According to an embodiment of the present invention, a system for determining an abnormal sign of a behavior pattern comprises: an image collecting unit for receiving image data collected in real time through an image sensor； an image processing unit for processing an image to detect an object of interest from the image data； a behavior pattern extracting unit for extracting a behavior pattern feature of the object of interest from the processed image data； a behavior pattern modeling unit for learning and modeling the behavior pattern of the object of interest using the extracted behavior pattern feature； and a behavior abnormality determining unit for analyzing the modeled behavior pattern to determine whether a behavior abnormality of the object of interest occurs. The behavior pattern modeling unit has learning through tensorflow for modelling. The behavior abnormality determining unit of the present invention includes: an FFT conversion unit for receiving a behavior pattern feature from the behavior pattern extracting unit to convert information on a phase and a size of the object of interest so as to secure a pattern in that a graph of a frequency is databased as an image； and a deep-mind determining unit for performing deep-mind determination in real time with respect to the pattern that the graph of the frequency is databased as an image.본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템은, 영상센서를 통해 실시간으로 수집되는 영상데이터를 입력 받는 영상수집부； 상기 영상데이터로부터 관심 객체를 검출하기 위하여 영상처리하는 영상처리부； 상기 영상처리된 영상데이터로부터 상기 관심 객체의 행동패턴 특징을 추출하는 행동패턴 추출부； 상기 추출된 행동패턴 특징을 이용하여 상기 관심 객체의 행동패턴을 학습하여 모델링하는 행동패턴 모델링부 및 상기 모델링된 행동패턴을 분석하여 상기 관심 객체의 행동이상 발생 여부를 판단하는 행동이상 판별부를 포함하고, 상기 행동이상 모델링부는 텐서플로우로 학습하여 모델링되고, 상기 행동이상 판별부는, 상기 행동패턴 추출부로부터 행동패턴 특징을 전달받아 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하는 FFT변환부； 상기 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 딥마인드 판별을 하는 딥마인드판별부를 포함하는 행동패턴 이상 징후 판별 시스템을 제공할 수 있다.
