[확률과 통계적 추론] 6-5. MLE의 점근 분포(Asymptotic Distribution)

 

안녕하세요. 이번 포스팅에서는 ML 추정량의 점근분포(Asymptotic Distribution)에 대해 정리하겠습니다.

점근분포에서 점근적이라는 뜻은 특정한 조건에 가까워질수록 점차 비슷해진다는 의미로 생각하면 좋을 것 같습니다. 따라서 오늘 살펴볼 점근 분포는 조건하에서 특정 분포와 비슷하다는 뜻으로 생각할 수 있겠죠!

 

확률변수 X의 분포 $f_X(x|\theta)$가 주어졌을 때, 분포의 정의역이 모수($\theta$)에 의존하지 않고 ML 추정량이 모수와 비슷하다고 생각하면 모수의  ML 추정량은 아래와 같이 점근적으로 정규분포를 따릅니다.

$$\hat{\theta} \sim N(\theta, -\frac{1}{nE[ \frac{\partial^2 }{\partial \theta^2} lnf_X(X|\theta)]})$$

 

증명은 아래와 같습니다. 중심극한정리(CLT, https://moogie.tistory.com/121 참조)와 테일러 급수를 활용하고 있으므로 궁금하면 찾아보시면 좋을 것 같습니다.

 

아래는 포아송분포의 모수 $\lambda$의 ML 추정량과 점근분포를 구하는 예제입니다.