The present invention relates to a deep learning-based image analysis method, a system, and a portable terminal. The deep learning-based image analysis system according to an embodiment of the present invention includes an image analysis portable terminal for capturing and transmitting an image; And an image analysis server receiving the photographed image to generate an analysis result value through a plurality of neural networks for each function, and reflecting a priority according to a weight to a probability value of the generated analysis result values to be provided to the image analysis portable terminal. It is configured to include.본 발명은 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말에 관한 것으로, 본 발명의 일실시예에 따른 딥러닝 기반의 영상분석 시스템은 영상을 촬영하여 전송하는 영상분석 휴대단말; 및 상기 촬영된 영상을 수신하여 다수의 기능별 신경망을 통해 분석 결과 값을 생성하고, 상기 생성된 분석 결과 값들의 확률 값에 가중치에 따른 우선순위를 반영하여 상기 영상분석 휴대단말로 제공하는 영상분석 서버;를 포함하여 구성된다.