[확률과 통계적 추론] 1.1 확률 (기본용어, 집합, 정의, 경우의 수)

오늘은 통계학의 가장 중요한 기초 "확률(Probability)"과 관련된 핵심 내용을 정리해 보았습니다.

확률 공간의 정의부터 집합 연산, 그리고 경우의 수 까지 필기한 내용을 바탕으로 작성했습니다.

 

원래 간단하게 작성했는데, 2025년에 처음부터 시작한다는 마음으로 내용을 보강하고 있습니다. 참고한 교재는 아래와 같습니다.

 

『All of Statistics -  Larry A. Wasserman』

 『Probability and Statistical Inference - Robert V. Hogg』

MIT OCW 『MIT RES.6-012 Introduction to Probability』

 

---

1. 기본 용어 정리 (Basic Definitions)

확률을 본격적으로 논하기 전에, 자주 사용하는 용어를 소개하겠습니다.

• Random Experiment (확률실험) : 실험의 발생 가능한 모든 결과를 알고 있지만, 결과를 확실하게 알 수 없는 실험
• Outcome Space (표본공간) : 발생 가능한 모든 결과들의 집합로 $S$ 또는 $\Omega$로 표기
  • 예시) 동전을 무한히 던지는 경우의 표본공간 $\Omega = \{ \omega = (\omega_1, \omega_2, \dots) : \omega_i \in \{H, T\} \}$ 
• Event (사건) : 표본공간 $\Omega$의 부분집합을 의미합니다.
• Outcomes (결과) : $\omega \; \in \Omega $ 로 실험에서 실현된 값을 의미합니다.

 

통계 수업을 들으면 항상 나오는 "주사위 던지기"가 대표적인 확률실험입니다.
주사위를 던지면 나올 수 있는 결과가 $\{1, 2, 3, 4, 5, 6\}$으로 정해져있지만, 막상 주사위를 던질 때마다 어떤 눈이 나올지 알 수 없기 때문입니다.

 

 

---

2. 집합의 대수 (Algebra of Sets)

확률 연산에서 집합의 개념을 많이 사용합니다. 주요 연산 법칙은 다음과 같습니다.

• $\emptyset$ : 공집합 (Empty set)
• $A \subset B$ : A는 B의 부분집합
• $A \cup B$ : 합집합 (Union)
• $A \cap B$ : 교집합 (Intersection) $AB$로도 표기합니다.
• $A^c$ : 여집합 (Complement)
• $|A|$ : 집합 A의 원소 개수로 $N(A)$로도 표기합니다.

[주요 법칙] 합집합과 교집합은 교환법칙과 결합법칙이 성립하며, 분배법칙과 드모르간의 법칙도 매우 중요하게 사용됩니다.

• 교환법칙: $A \cup B = B \cup A$, $A \cap B = B \cap A$
• 결합법칙: $(A \cup B) \cup C = A \cup (B \cup C)$, $(A \cap B) \cap C = A \cap (B \cap C)$
• 분배법칙 
  • $A \cap (B \cup C) = (A \cap B) \cup (A \cap C)$
  • $A \cup (B \cap C) = (A \cup B) \cap (A \cup C)$
• 드모르간의 법칙
  • $(A \cup B)^c = A^c \cap B^c$
  • $(A \cap B)^c = A^c \cup B^c$

 

통계학에서 자주 사용하는 용어도 소개합니다.

• Mutually Exclusive (배반 사건): $A_i \cap A_j = \emptyset$ (=Disjoint)
• Exhaustive Events: $A_1 \cup A_2 \cup \dots \cup A_k = \Omega$ 
• 단조 수열 (Monotone Sequence, $A_n \rightarrow A$로 표기) 
  • 단조증가 : $A_1 \subset A_2 \subset \dots \Rightarrow \lim_{n \to \infty} A_n = \bigcup_{i=1}^{\infty} A_i$
  • 단조감소 : $A_1 \supset A_2 \supset \dots \Rightarrow \lim_{n \to \infty} A_n = \bigcap_{i=1}^{\infty} A_i$

Mutually Exclusive and Collectively Exhaustive Events (줄여서 MECE) 라는 표현이 자주 나오는데,

사건 $A_1, A_2, \ldots, A_k$가 서로 disjoint 하지만 합집합이 표본 공간이 되는 경우를 말합니다. 

$$\bigcup_{i=1}^{k} A_i = A_1 \cup A_2 \cup \ldots \cup A_k = \Omega$$

예시) 주사위 던지기에서 $A=\{1,2\}, B=\{3,4\}, C=\{5,6\}$이라면, 
각 사건은 서로 겹치지 않으면서(Disjoint) 합집합이 전체($\Omega$)가 되므로 이에 해당합니다.

 

단조감소, 단조증가의 경우 아래 예시를 참고해보세요.

[단조감소 예시] $A_n = (0, 1/n)$ (열린 구간)이라고 한다면, $n$이 커질수록 구간은 점점 줄어듭니다.
$A_1 = (0, 1), A_2 = (0, 1/2), \dots$ 이때 $\lim_{n \to \infty} A_n = \emptyset$ (공집합)으로 수렴하며, 이를 단조감소한다고 합니다.

 

---

3. 확률(Probability)

확률이란 불확실성을 수량화하는 도구입니다.

$P(A)$를 사건 $A$의 확률이라고 하며, 이때 $P$를 Probability Measure라고 합니다.

이는 측정 가능한 집합을 실수(Real number)로 매핑(Mapping)하는 함수입니다.

 

확률은 아래 3가지 공리를 반드시 만족해야 하며, 이를 콜모고로프 공리(Kolmogorov Axioms)라고 합니다. 

[확률의 공리] - 콜모고로프 공리 

1. $P(A) \geq 0$ for every $A$ 
2. $P(\Omega) = 1 $
3. (Additivity) $A_1, A_2, \ldots$이 서로 disjoint하다면, $P(A_1 \cup A_2 \cup \ldots) = P(A_1) + P(A_2) + \ldots$를 만족한다.

 

공리로부터 유도되는 성질은 아래와 같습니다.

• $P(\emptyset) = 0$
• $A \subset B \Rightarrow P(A) \le P(B)$
• $P(A) = 1 - P(A^c)$
• $P(A \cup B) = P(A) + P(B) - P(A \cap B)$

 

마지막 두 사건의 합집합(Union)의 확률 공식은 아래와 같이 disjoint한 사건으로 나누어 증명이 가능합니다.

 

 

---

4. 경우의 수 (Counting)

확률을 계산하는 방법(접근법)은 크게 두 가지가 있습니다.

• 상대도수(Relative Frequency) : $P(A) \approx N(A) / n$로 시뮬레이션에서 실험 횟수 $n$이 커질수록 안정화되는 경향을 이용  
• 집합론적 접근 (Set Approach) :  $P(A) = N(A) / N(\Omega)$로 표본공간의 각 원소가 뽑힐 확률이 동일하다는 가정 필요

 

Set Approach를 사용하기 위해서는 경우의 수를 정확히 세야 하므로 순열과 조합이 필요합니다.

• 순열(Permutation) : 순서가 중요한 경우
  • $n! = n(n-1)\dots(2)(1)$
  • $nPr = \frac{n!}{(n-r)!}$ (서로 다른 $n$개 중 $r$개를 택하여 나열)
  • $n^r$: 중복 순열 (복원 추출)

 

• 조합(Combination) : 순서가 중요하지 않은 경우
  • $nCr = \binom{n}{r} = \frac{n!}{(n-r)!r!}$ (순서 없이 뽑기만 함)
  • $nHr = \;_{n+r-1}Cr$ (중복 조합)

 

다음 포스팅에서는 조건부 확률(Conditional Probability)과 베이즈 정리(Bayes Theorem) 대해 정리해 보겠습니다!