Provided is an optical tracking system for tracking a location and a posture of a marker. The optical tracking system includes an image capturing device having a first image capturing part which captures a part of the marker to generate a light field image and a second image capturing part which captures an outgoing light emitted from an aperture, and a processor which determines the posture of the marker based on a first image obtained by capturing a part of a pattern surface after extracting an image from the light field image at an infinite focal length, and determines the location of the marker based on a second image obtained by extracting an image from the light field image at a shorter focal length than the infinite focal length and a third image obtained by capturing, by the second image capturing part, the outgoing light emitted through the aperture in a direction that is different from the direction of the outgoing light directed to the first image capturing part. Thus, precision can be increased.마커의 위치 및 자세를 트래킹하는 옵티컬 트래킹 시스템이 제공된다. 옵티컬 트래킹 시스템은 마커의 적어도 일부를 결상하여 라이트 필드 이미지를 생성하는 제1 결상부 및 개구로부터 방출된 출사광을 결상하는 제2 결상부를 포함하는 결상 장치, 및 라이트 필드 이미지로부터 무한대의 초점 거리에서 결상된 이미지로 추출되어 패턴면의 일부가 결상된 제1 이미지를 기초로 마커의 자세를 결정하고, 라이트 필드 이미지로부터 무한대의 초점 거리 보다 가까운 초점 거리에서 결상된 이미지로 추출된 제2 이미지 및 제1 결상부로 향하는 출사광과 다른 방향에서 개구를 통해 방출된 출사광이 제2 결상부에 의하여 결상된 제3 이미지에 기초하여 마커의 위치를 결정하는 프로세서를 포함한다.