[확률과 통계적 추론] 6-3. Maximum likelihood Estimation (최대가능도추정)

안녕하세요. 이번 포스팅에서는 모수 추정에 정말 광범위하게 사용되는 최대 가능도 추정법에 대해 알아보겠습니다.

 

최대가능도 추정 방법은 확률분포(pmf/pdf)를 알고 있으나 모수를 모르는 경우, 샘플(Sample)을 가지고 모수를 추정하는 방법입니다.

우선 본격적인 설명에 앞서 몇 가지 용어에 대해 설명하고자 합니다. 

처음으로 모수공간(Parameter Space)은 모수가 가질수 있는 값의 집합으로 $\Omega$로 표시하며 오메가라고 읽습니다.

이와 관련한 예시로는 확률변수가 지수분포를 따르는 $X \sim exp(\theta)$일때, 모수 $\theta$의 모수공간은 $\theta \in \Omega = \left\{\theta : 0< \theta <\inf \right\}$와 같이 정의할 수 있겠습니다.

 

 

만약, 실험을 통해서 모수를 추정하고자 한다면 우리는 모수에 대한 정보를 담고 있는 샘플(Sample) $X_1, X_2, \cdots, X_n$을 통해서 모수와 비슷한 성질을 가지는 통계량(Statistics)을 정의할 수 있으며 샘플의 관측값($x_1, x_2, \cdots, x_n$)을 통해 추정치를 제공할 수 있을 것 입니다.

여기서 모수를 추정하기 위한 샘플로 구성된 함수 $u(X_1, X_2, \cdots, X_n)$을 모수의 추정량(Estimator)라고 하며, 추정량에 관측값을 대입하여 구한 값을 추정치(Estimate)라고 합니다.

 

• Estimatior : $u(X_1, X_2, \cdots, X_n)$으로 확률변수로 구성되어 추정량의 성질(평균, 분산)을 구할 수 있음
• Estimate : $u(x_1, x_2, \cdots, x_n)$으로 샘플의 관측값을 추정량에 대입하여 얻은 값

 

 

또한, 주어진 표본에 대한 모수의 가능도(likelihood, 우도)는 해당 모수를 따르는 분포에서 주어진 관측값이 나올 확률입니다.

여기서 가능도 함수에 로그를 적용한 함수가 로그가능도(log-likelihood)입니다.

가능도 함수 $L(\theta)$는 확률 분포가 아니며, 합하여 1이 되지 않을 수 있다는 점 유의해 주세요.

(참고 : https://stats.stackexchange.com/questions/31238/what-is-the-reason-that-a-likelihood-function-is-not-a-pdf )

 

• $L(\theta) = L(\theta|x_1, x_2, \cdots, x_n) = Pr[X_1 = x_1, X_2 = x_2, \cdots, X_n =x_n | \theta] = \prod_{i=1}^{n} Pr[X_i = x_i | \theta]$
• $L(\theta) = \prod_{i=1}^{n} f_X(x_i | \theta)$
• $logL(\theta) = \sum_{i=1}^{n} logf_X(x_i | \theta)$

 

 

가능도함수를 구했다는 말은 특정한 모수의 값이 주어졌을 때, 관측된 표본이 나올 확률을 의미합니다. 따라서 관측된 표본이 나올 확률이 높은 모수를 선택하는 것이 좋은 추정이 되겠죠? 통계학에서는 가능도함수를 최대로 한다고해서 이를 최대가능도 추정(Maximum Likelihood Estimation)이라고 합니다. 또한 최대가능도 추정량은 $L(\theta)$를 가장 크게하는 $\theta$에 대한 통계량을 의미합니다.

• 최대가능도추정(Maximum Likelihood Estiation, MLE) : 최대가능도함수를 가장 크게 만들어 모수를 추정하는 방법

 

참고로 로그함수는 단조증가함수로 $L(\theta)$와 $logL(\theta)$가 최대가 되는 지점이 같아 로그가능도 함수를 사용해 구한 값과 일치합니다.

또한 특정 값에서 일차미분값이 0이고 해당값 근처에서 이차미분값이 음수이면 극값인 것을 이용해서 미분을 많이 사용합니다.

(많은 경우에서 최대가능도 추정량은 유일합니다.)

 

아래 예시를 통해 최대가능도 추정을 어떻게 하는지 살펴보면 좋을 것 같습니다.

예시 1) 베르누이 분포의 모수 추정

 

예시 2) 지수분포의 모수 추정

 

예시 3) 정규분포의 모수 추정

 

마지막으로 추정량의 기댓값이 모수와 일치한다면 불편추정량(unbiased estimator)라고 하며, 추정량의 기댓값이 모수와 일치하지 않으면 편향추정량(biased estimator)라고 합니다. 불편추정량이면 추정치가 우리가 모르는 모수와 같다고 생각할 수 있으므로 좋은 추정량의 요건을 만족하게 됩니다.

• 불편추정량(Unbiased Estimator) : $E[u(X_1, X_2, \cdots, X_n)] = \theta$ 를 만족하는 추정량 $u(X_1, X_2, \cdots, X_n)$

 

고등학교 확률과 통계 시간에서는 표본분산을 $n$이 아닌 $n-1$로 나누는 이유가 정말 궁금했지만, 추정량의 기댓값이 모수인 모분산과 일치하기 위해서는 아래와 같이 $n-1$을 통해 나눠야 합니다. $n$으로 나눈다면 biased estimator라 좋은 추정량이 될 수 없습니다.