오늘은 통계학의 가장 중요한 기초 "확률(Probability)"과 관련된 핵심 내용을 정리해 보았습니다.확률 공간의 정의부터 집합 연산, 그리고 경우의 수 까지 필기한 내용을 바탕으로 작성했습니다. 원래 간단하게 작성했는데, 2025년에 처음부터 시작한다는 마음으로 내용을 보강하고 있습니다. 참고한 교재는 아래와 같습니다. 『All of Statistics - Larry A. Wasserman』 『Probability and Statistical Inference - Robert V. Hogg』MIT OCW 『MIT RES.6-012 Introduction to Probability』 1. 기본 용어 정리 (Basic Definitions)확률을 본격적으로 논하기 전에, 자주 사용하는 용어를 소개하겠..

1. 부분 F 검정 회귀모형 $Y = \beta_0 + \beta_1X_1 + \cdots + \beta_{p-1}X_{p-1} + \varepsilon$에 대해 F검정을 실시하였을때 귀무가설인 $\beta_0 = \beta_1 = \cdots = \beta_{p-1} = 0$을 귀각하게 된다면 적어도 1개 이상의 $\beta_{j}$는 0이 아니라는 것을 의미합니다. 이 경우 회귀계수에 대해 개별적으로 t검정을 해서 해당 회귀계수가 0인지 판단하는 것은 좋은 판단이지만 여러개의 회귀계수에 대해 동시에 여러 회귀계수가 동시에 0인지 유무를 판단하기 위해 개별 회귀계수에 t검정을 적용하는 것은 신뢰도에 문제가 생기게 됩니다. 따라서 적어도 1개 이상의 회귀계수가 0이 아니라는 F검정 결과에서 특정 회귀계수..

단순선형회귀모형과 다르게 여러개의 독립변수(설명변수)를 사용하여 종속변수(반응변수)와의 관계를 나타내는 모형으로 모델은 다음과 같습니다. (참고로, SSE : 오차제곱합, SSR : 회귀제곱합, SST : 총제곱합) (아래 식 이후로 행렬의 경우에는 편의상 벡터기호를 제외하고 작성하겠습니다.) $$Y = \beta_0 + \beta_1X_1 + \cdots + \beta_{p-1}X_{p-1} + \varepsilon = \vec{x}\vec{\beta} + \vec{\varepsilon}$$ 다중선형회귀를 위한 가정은 단순선형회귀와 동일하며 아래와 같습니다. 오차항의 평균이 0이며 분산이 $\sigma^2$인 정규분포의 형태를 가진다. 오차항은 확률변수로 서로 독립을 만족한다. 종속변수는 각 독립변수의..

변수들 간의 관계를 나타내는 모형은 다음과 같이 분류할 수 있습니다. (참고로, SSE : 오차제곱합, SSR : 회귀제곱합, SST : 총제곱합) Deterministic Model (결정론적 모델) : 주로 수학, 과학적 공식에 사용되며 오차(error)가 존재하지 않는 정확한 수학적 함수관계 Statistical Model (통계학적 모델) : 변수들 간의 관계에 오차를 허용하는 모델 왜 오차를 허용하는가? 측정오차 종속변수와 독립변수의 관계를 정확히 모름 알려지지 않은 변수가 종속변수에 영향을 줄 수 있음 회귀분석은 통계학적 모델에 포함되며 영향을 주는 변수를 독립변수(Independent Variable), 영향을 받는 변수를 종속변수(Dependent Variable)이라고 함 단순선형회귀분석..