[확률과 통계적 추론] 6-7. 베이지안 추정 (Bayesian Estimation)

안녕하세요. 이번 포스팅에서는 베이지안 추정에 대해 간단하게 알아보겠습니다.

 

제가 대학교에서 배울 때, 학부에서는 주로 빈도주의(Frequentist)적으로 접근해서 가르쳤는데요. 빈도주의는 말그대로 사건의 빈도를 통해 확률을 정의하며 모수는 상수를 가진다고 생각합니다. 반면에 오늘 소개할 베이지안(Bayesian)은 모수가 분포를 가지며, 사전 분포를 통해 모수에 대한 믿음을 표현하는 차이가 있습니다.

 

이렇게만 설명하면 어려우니 책에서 소개된 예시를 함께 살펴봅시다. (베이즈 정리는 https://moogie.tistory.com/64 참고)

 

기존에 $P[\lambda =2] = 0.8$, $P[\lambda = 4] = 0.2$인 모수의 확률이 데이터가 주어지고 나서 $P[\lambda = 2 | X = 6] =0.316$, $P[\lambda = 4 | X=6] = 0.684$로 바뀐 것을 확인할 수 있습니다.

 

베이지안 추정에서는 모수에 대한 사전분포를 Prior Distribution이라고 하며 $h(\theta)$로 표현합니다.

또한, 표본이 주어졌을 때, 모수에 대한 조건부 분포를 Posterior Distribution (사후분포) 라고 하며 $f(\theta|X)$와 같이 표현할 수 있습니다.

베이지안에서는 사전분포를 설정해야하며 사전분포가 균일분포(Uniform Dist)인 경우를 Non-Informative prior 이라고 합니다. (이는 모수가 특정 값을 가질 확률이 같아서 사전분포 설정이 특정 값에 가중치를 부여하지 않기 때문에 유용한 정보를 제공하지 않는다고 생각합니다.)

 

$X_1, X_2, \cdots, X_n$이 pdf $f_X(x|\theta)$의 Random Sample인 경우 충분통계량을 포함해 모수 $\theta$에 대해 좋은 성질을 가지고 있는 통계량 $Y=u(X_1, X_2, \cdots, X_n)$에 대해 생각해볼 수 있습니다. 이때 Y의 분포를 $g(y|\theta)$라고하면, 조건부 확률분포의 정의에 따라 아래와 같이 정의할 수 있습니다.

• 모수 $\theta$의 Prior Distribution : $h(\theta)$
• 모수가 주어졌을 때 통계량 $Y$의 조건부 분포 : $g(y|\theta)$
• 모수 $\theta$와 통계량 $Y$의 Joint PDF : $f(y, \theta) = g(y|\theta) * h(\theta)$
• 통계량 $Y$의 Marginal PDF :  $f_Y(y) = \int_{-\infty}^{\infty} h(\theta)g(y|\theta)d\theta$
• 모수 $\theta$의 Posterior Distribution : $k(\theta|y)=\frac{f(y, \theta)}{f_Y(y)} = \frac{g(y|\theta) * h(\theta)}{\int_{-\infty}^{\infty} h(\theta)g(y|\theta)d\theta}$

 

아래는 모수 $\theta$의 사후분포를 구하는 예제입니다. (베타분포 참고 : https://moogie.tistory.com/113)