로지스틱회귀
로지스틱 회귀 이해하기 위해 알아볼 개념
퍼셉트론
선형회귀와 유사하게 직선 방정식을 사용한다.
하지만 퍼셉트론은 마지막 단계에서 샘플을 이진 분류하기 위해 계단 함수를 사용한다.
(이진분류란 임의의 샘플 데이터를 TRUE, FALSE 로 구분하는 문제를 말한다)
계단 함수를 통과한 값을 다시 가중치와 절편을 업데이트 하는데 사용한다.
뉴런은 입력신호를 받아서 z을 만든다.
선형함수 수식 : w1x1 + w2x2 + b = z
계단함수는 z가 0보다 크거나 같으면 1, 0보다 작으면 -1로 분류한다.
퍼셉트론은 사이킷런 패키지에서 Perceptron이라는 이름으로 클래스를 제공한다.
아달린
퍼셉트론에서 조금 더 개선한 적응형 선형 뉴런
퍼셉트론은 역방향 계산이 계단 함수 부분에서 일어나지만 아달린은 역방향 계산이 계단 함수 출력 이후에 일어나지 않고 선형 함수 출력 이후에 진행된다. w1x1 + w2x2 + w3x3 = z
로지스틱 회귀
아달린이 좀 더 발전된 형태
선형 함수를 통과시켜 얻은 z = w1x1+ w2x2 + b 를 임계 함수(계단 함수)에 보내기 전에 변형시키는데,
이 함수를 활성화 함수라고 한다. 활성화 함수를 통과하여 얻은 값을 가지고 역방향 계산을 한다.
이때, 활성화 함수는 비선형 함수를 사용한다.
퍼셉트론에서 사용하는 계단 함수와 로지스틱 회귀에서 사용하는 임계 함수의 차이는 역할은 계단 함수와 비슷하지만
활성화 함수 a의 값을 사용한다는 것이다.
a가 0.5보다 크면 양성 클래스라고 하고, a가 0.5보다 작거나 같으면 음성 클래스라고 한다.
활성화 함수에 사용되는 함수를 시그모이드 함수라고 한다
시그모이드 함수 또는 로지스틱 함수
시그모이드 함수는 로지스틱 회귀에서 사용되는 활성화 함수에 사용된다.
z = b + ∑ w_i x_i로 표현할 수 있다.
z는 활성화 함수를 통과하여 a가 된다. 이때 시그모이드 함수는 z를 0~1 사이의 확률 값으로 변환한다.
시그모이드 함수는 오즈 → 로짓 함수 → 시그모이드 함수를 거친다.
시그모이드 함수의 개념을 알기 위해서는 오즈, 로짓 함수를 알아야 한다,
오즈비
오즈 비는 성공 확률과 실패 확률에 비율을 나타내는 통계이다.
성공 확률이 0부터 1까지 증가할 때 오즈 비의 값은 처음에는 천천히 증가하지만 1에 가까워지면 급격히 증가한다.
로짓함수
로짓함수는 오즈에 로그 함수를 취하여 만든 것이다
로짓 함수는 p가 0.5일 때 0 이되고 p가 0과 1일 때 각각 무한대로 음수와 양수가 된다.