로지스틱 함수

로지스틱 함수

$y=\frac{1}{1+e^{-z}}$

 

선형 회귀 분석의 경우 모델을 위해 만들어 지는 함수는 아래와 같다.

$y=Wx+b$

$y=W_1\cdot x_1+W_2\cdot x_2+...+Wi\cdot xi+b$

$y=W\bullet X$

이 1차 함수는 독립변수  $\mathrm{x가\; 변화할때\; 종속변수}$$y$의 변화를 관찰하는 것이 목적인 함수라고 할때 독립변수  $x$와 종속변수  $y$는 모두 음의 무한대 $-\infty$ 에서 양의 무한대 $\mathrm{\infty 의\; 범위를\; 갖는다.}$

혈압과 나이에 대한 상관 관계를 확인/예측하기 위해 선형 회귀 분석을 사용 할 수 있고 이때 나이와 혈압은 연속형 변수로 1차 함수 그래프로 표현하기에 문제가 없다.

그러나 암의 경우와 같이 발병 여부가 데이터로 주어졌을 경우 종속변수  $y$는 발병=1, 정상=0 과 같은 범주형 변수의 범위를 갖게 된다.

발병여부를 선형식으로 표현하기 위해 하루에 담배를 5개피 피는 사람을 기준으로 1의 값을 얻기 위해 기울기  $W$를 편의상 1로 놓고  $\mathrm{b는\; -4로\; 초기\; 설정했을\; 경우}$$y=1\ast 5-4=1$ 의 결과를 얻을 수 있다.

하지만 담배의 갯수가 10개비로 늘어날 경우  $y=1\ast 10-4=6$ 으로 발병=1, 정상=0 의 범위를 넘어가게 된다.

즉, 독립변수 $\mathrm{x는}$$-\infty$ 에서  $\mathrm{\infty 의\; 범위를\; 갖는데\; 반해\; 종속변수}$$\mathrm{y는\; 1과\; 0\; 의\; 범주를\; 가지고\; 있어\; 기존\; 선형식으로는\; 표현이\; 불가능하다.}$

 

종속변수 범위의 확장

종속변수  $y$의 범위를   $-\infty$ 에서  $\infty$로 확장하기 위해 odds 비  $oddratio=\frac{p}{1-p}$ 와 로지트 함수(Logit function) $z=logit\left(oddsratio\right)=log\left(\frac{p}{1-p}\right)$ 을 이용한다.

odds ratio

실패 확률에 대한 성공 확률의 비율이다. 성공 확률을  $p$라고 한다면 실패 확률은  $1-p$ 가 된다.

이렇게 보았을때 odds 비는  $\frac{p}{1-p}$ 와 같이 표현할 수 있다.

$p$는 0에서 1사이의 값을 가지므로 위 식을 계산해 보면  $\mathrm{p가\; 가장\; 작은\; 0일\; 경우}$$\frac{0}{1-0}=0$ 값을 갖게 되고  $p$가 가장 큰 1이 되는 경우  $\frac{1}{1-1}=\frac{1}{0}=\infty$ 값을 갖게 된다.

다시 말하면 승산(Odds)이란 사건 A가 발행하지 않을 확률 대비 일어날 확률의 비율을 뜻하며  $odds=\frac{P\left(A\right)}{P\left(A^c\right)}=\frac{P\left(A\right)}{1-P\left(A\right)}$ 와 같이 쓸 수 있다.

승산(Odds)이 커질수록 사건  $A$가 발행할 활률이 커진다고 볼 수 있다.

이렇게 odds 비를 적용해  $p$에 대해 0부터  $\mathrm{\infty 의\; 범위를\; 갖는\; 새로운\; 함수를\; 만들\; 수\; 있다.}$

logit function

odds 비를 통해 0부터  $\mathrm{\infty 로\; 확장\; 시킨\; 범위를}$$-\infty$ 에서  $\infty$로 확장하기 위해 odds에 자연로그를 취한다.

$logit\left(oddsratio\right)=ln\left(\frac{p}{1-p}\right)$

로지스틱 회귀 모델식 유도

1. 종속 변수  $Y$를 1이 될 확률로 두고 식을 세운다.
   $P(Y=1|X=\vec{x})={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n={\vec{\beta }}^T\vec{x}$
2. 좌변을 승산(odds)로 설정 한다.
   $\frac{P(Y=1|X=\vec{x})}{1-P\left(Y=1|X=\vec{x}\right)}={\vec{\beta }}^T\vec{x}$
3. 좌변(승산)에 자연로그를 취한다.
   $ln\left(\frac{P(Y=1|X=\vec{x})}{1-P\left(Y=1|X=\vec{x}\right)}\right)={\vec{\beta }}^T\vec{x}$
4. $\mathrm{x가\; 주어졌을\; 경우\; 범우\; 1일\; 확률을}$$p\left(x\right)$ , 위 식의 우변을  $a$로 치환해 확률  $p$에 대한 식을 도출한다.
   $\frac{p\left(x\right)}{1-p\left(x\right)}=e^a$ 
   $p\left(x\right)=e^a\left\{1-p\left(x\right)\right\}=e^a-e^{a}p\left(x\right)$ 
   $p\left(x\right)\left(1+e^a\right)=e^a$ 
   $p\left(x\right)=\frac{e^a}{1+e^a}=\frac{e^a}{1+e^a}\cdot \frac{\frac{1}{e^a}}{\frac{1}{e^a}}=\frac{1}{\frac{1}{e^a}+1}=\frac{1}{1+e^{-a}}$ 
   $P(Y=1|X=\vec{x})=\frac{1}{1+e^{-\left({\vec{\beta }}^T\vec{x}\right)}}$

이항 로지스틱 회귀의 결정 경계

이항로지스틱 모델에 범주 정보를 모르는 입력벡터  $x$를 넣으면 범주 1에 속할 확률을 반환해 준다.

범주 1로 분류할 수 있는 확률값은 다음과 같이 표현 할 수 있다.

$P(Y=1|X=\vec{x})>P(Y=0|X=\vec{x})$

범주가 두개이므로 위 식의 좌변을  $p\left(x\right)$ 로 치환하면 다음과 같이 식을 정리 할 수 있다.

$p\left(x\right)>1-p\left(x\right)$

$\frac{p\left(x\right)}{1-p\left(x\right)}>1$

${\beta }^{T}x>0$

 

마찬가지로  ${\beta }^{T}x<0$  이면 해당 데이터의 범주를 0 으로 분류할 수 있다. 따라서 로지스틱 모델의 결정경계 (decision boundry) 는  ${\beta }^{T}x=0$  인 하이퍼플레인 (hyperplane) 이다.

입력벡터가 2차원인 경우 다음과 같이 시각화 할 수 있다.

 

출처: https://unabated.tistory.com/entry/로지스틱-함수?category=735138 [랄라라]