안녕하세요. 저번 포스팅에서는 선형판별분석(LDA)에 대해 알아보았는데요. 이번 포스팅에서는 분류기법에 사용되는 또다른 기법인 이차선형판별분석(QDA)에 대해 간단하게 정리하려고 합니다. 1. LDA와 QDA 이전에 배웠던 LDA의 예측 모델은 베이즈 정리에 의해서 유도되었으며 이 과정에서 몇 가지 가정을 하였습니다. 우선 범주형 반응변수 $Y$의 각 클래스에 따른 관측치 $X$값은 평균(벡터)이 다른 다변량 정규분포를 따른다는 점이였고, 다변량 정규분포를 따르지만 공통인 분산(공분산행렬)을 가진다는 점이였죠. 하지만 앞으로 접할 데이터를 살펴보면 공통 분산을 가지고 있지 않은 경우가 많습니다. 이런 경우 적용할 수 있는 기법인 이차선형판별분석(QDA)입니다. 다만 이차선형판별분석 역시 반응변수 Y의 각..

저번 포스팅에서는 로지스틱 회귀분석을 통한 분류를 알아보았는데요. 이번에는 또 다른 분류기법인 선형판별분석에 대해 알아보도록 하겠습니다. 1. 로지스틱 회귀분석과 선형판별분석(LDA) 선형판별분석은 로지스틱회귀분석과 접근하는 방법이 조금 다릅니다. 로지스틱 회귀분석은 일반적으로 2가지 범주에 대해서 적용하는 반면에 선형판별분석은 분류를 하기 위해서는 반응변수 Y가 2개 이상 유한 개의 범주로 구성되어 있어야 하는데요! 이때 반응변수 Y의 각 범주에 대해 설명변수 X의 분포를 모델링하고 베이즈 정리를 통해 $P(Y=k|X=x)$에 대한 추정치를 구합니다. 로지스틱 회귀분석을 이용하지 않고 선형판별분석을 이용해야 하는 경우는 아래와 같습니다. 클래스가 잘 분리될 때 선형판별분석이 로지스틱 회귀분석보다 안정적..