표본분산(Sample Variance)의 특징

표본분산과 모분산은 통계학에서 자주 나오는 핵심 개념으로, 표본 데이터로부터 모수를 추정하는 데 사용됩니다.

이번 포스팅에서는 표본분산이 모분산의 불편추정량임을 보이고, 표본분산과 표준편차가 모분산 및 모표준편차로 확률수렴함을 증명하도록 하겠습니다.

 

---

1. $E[S_n^2] = \sigma^2$

표본분산에 정의에 따라 $S_n^2 = \frac{1}{n-1}\sum_i(X_i-\overline{X})^2 =\frac{1}{n-1}\sum_i(X_i-\mu+\mu-\overline{X})^2$이므로 표본평균의 기댓값은 아래와 같습니다. 

\begin{align*} E[S_n^2] &= \frac{1}{n-1}E[\sum_i(X_i-\mu+\mu-\overline{X})^2] \\ &=\frac{1}{n-1}E[\sum_i{(X_i-\mu)^2+(\overline{X}-\mu)^2 -2(X_i-\mu)(\overline{X}-\mu)}] \\ &=\frac{1}{n-1}\sum_i\big(E(X_i-\mu)^2 + E(\overline{X}-\mu)^2 -2E(X_i-\mu)(\overline{X}-\mu)\big) \end{align*}

 

이때, Random Sample $X_1, X_2, \ldots, X_n$이 평균이 $\mu$이고 분산이 $\sigma^2$인 분포를 따른다고 하면 $E(X_i-\mu)^2=\sigma^2$이고 $E[(\overline{X}-\mu)^2]=\frac{\sigma^2}{n}$이므로 다음 식을 만족합니다.

$$E(X_i-\mu)(\overline{X}-\mu)=\frac{1}{n}E[(X_i-\mu)(\sum_j(X_j-\mu))] = \frac{1}{n}\sum_jE(X_i-\mu)(X_j-\mu)$$

 

따라서, $E[S^2]$을 다시 정리하면 다음과 같습니다.

\begin{align*} E[S_n^2] &= \frac{1}{n-1}\sum_i\big(E(X_i-\mu)^2 + E(\overline{X}-\mu)^2 -2E(X_i-\mu)(\overline{X}-\mu)\big) \\ &= \frac{1}{n-1}(n\sigma^2 + n\cdot\frac{\sigma^2}{n} - \frac{2}{n}\sum_i\sum_jE(X_i-\mu)(X_j-\mu)) \\ &=\frac{1}{n-1}(n\sigma^2 + n\cdot\frac{\sigma^2}{n} - \frac{2}{n}\sum_iE(X_i-\mu)^2 + \sum_{i\neq j}E(X_i-\mu)(X_j-\mu)) \\ &=  \frac{1}{n-1}(n\sigma^2 + n\cdot\frac{\sigma^2}{n} - \frac{2}{n}\cdot n\sigma^2) \\ &= \sigma^2 \end{align*}

즉 표본분산의 기댓값은 분포와 상관없이 IID 가정하에서 항상 모분산이므로 표본분산은 모분산의 불편추정량입니다.

 

---

2. $S_n^2 \xrightarrow[]{p} \sigma^2$

우선 증명에 앞서 확률수렴의 정의는 다음과 같습니다.

$X_n$ converges to X in probability
$\displaystyle \lim_{ n \to \infty} P(\vert X_n -X \vert > \epsilon) = 0$ for every $\epsilon > 0$

즉, 확률수렴은 R.V Sequence $X_n$이 특정 확률변수(또는 값) $X$에 한없이 가까워 지는 것을 의미합니다.

 

표본분산 $S_n^2 = \frac{1}{n-1}\sum_i(X_i-\overline{X})^2 = \frac{1}{n-1}\sum_iX_i^2 - \frac{n}{n-1}\overline{X}^2$에서

\begin{equation} \text{by SLLN  } \frac{\sum_i X_i^2}{n} \xrightarrow[]{p} \mu^2 + \sigma^2 \tag{1} \end{equation} \begin{equation} \text{by SLLN  } \overline{X} = \frac{\sum_i X_i}{n} \xrightarrow[]{p} \mu \tag{2} \end{equation} \begin{equation} \text{by Continous Mapping Theorem  } g(\overline{X}) = \overline{X}^2 \xrightarrow[]{p} g(\mu) = \mu^2 \tag{3} \end{equation}

 

이때, 확률수렴의 성질에 따라 $X_n \xrightarrow[]{p} X$, $Y_n \xrightarrow[]{p} Y$라면 $X_n + Y_n \xrightarrow[]{p} X+Y$, $X_nY_n \xrightarrow[]{p} XY$을 만족하므로 표본분산 수식에 (1), (3)을 적용하면 다음와 같습니다.

$$S_n^2= \frac{1}{n-1}\sum_iX_i^2 - \frac{n}{n-1}\overline{X}^2 = \frac{n}{n-1}\frac{\sum_i X_i^2}{n} - \frac{n}{n-1} \overline{X}^2 \xrightarrow[]{p} 1\cdot(\mu^2+\sigma^2)-1\cdot\mu^2 = \sigma^2$$

따라서, $S_n^2 \xrightarrow[]{p} \sigma^2$로 표본분산은 모분산으로 확률수렴합니다.

 

---

3. $S_n \xrightarrow[]{p} \sigma$

2번 증명에서 $S_n^2 \xrightarrow[]{p} \sigma^2$이고 Continuous Mapping Theorem에 의해 $X_n \xrightarrow[]{p} X$일때, $g(X_n) \xrightarrow[]{p} g(X)$입니다.

그러므로 $g(x)=\sqrt{x}$인 함수 g에 대해서 다음이 성립합니다.

$$g(S_n^2) = \sqrt{S_n^2} = S_n \xrightarrow[]{p} g(\sigma^2) = \sqrt{\sigma^2} = \sigma$$

 

---

4. $\text{일반적으로 } E[S_n] \neq \sigma$

정의역 $x>0$일때, $g(X)=\sqrt{X}$인 g는 concave(오목) 함수입니다. 

Concave g에 대해서 Jensen Inequality를 생각하면 $E[g(X)] \geq g(E[X])$이므로 다음 부등식이 성립합니다.

$$E[\sqrt(S_n^2)] = E[S_n] \leq \sqrt{E[S_n^2]} = \sqrt{\sigma^2} = \sigma$$

즉, $E[S_n] \leq \sigma$이며 모든 $X_1, X_2, \ldots, X_n$이 같은 값을 가지지 않는다면 $E[S_n] < \sigma$이 성립합니다.

(첨언) 상수 $c$에 대해 $X_n \xrightarrow[]{p} c$인 경우 $E[X_n] \xrightarrow[]{} c$를 항상 만족하지 않습니다.

 

---

마무리

이 글에서는 표본분산이 모분산의 불편추정량임을 증명하고, 표본분산 및 표본 표준편차의 확률수렴 성질을 검토하였습니다. 또한 표본 표준편차의 기댓값이 항상 모표준편차보다 작음을 Jensen 부등식을 통해 확인하였습니다. 이러한 결과는 통계학의 이론적 기반을 제공하며, 표본 통계량이 모수의 특성을 얼마나 잘 추정하는지 이해하는 데 중요한 통찰을 제공합니다.