59doit

단일층 신경망 입력층과 출력층만 가지는 신경망을 단일층 신경망이라고 한다. 확률적 경사 하강법(stochastic gradient descent) 경사 하강법을 적용할때 샘플 데이터 1개에 대한 그레이디언트를 계산했다. 이를 확률적 경사하강법이라 한다. 배치 경사 하강법(batch gradient descent) 경사 하강법을 전체 훈련에디터를 사용하여 한 번에 그레디언트를 계산하는 방식이다. 미니배치 경사 하강법(mini-batch gradient descent) 전체 샘플 중 몇개의 샘플을 중복되지 않도록 선택하여 그레디언트를 계산하는 방식이다. 확률적 경사 하강법은 샘플 데이터 1개마다 그레디언트를 계산하여 가중치를 업데이트한다. 따라서, 계산 비용이 적은 대신 가중치가 최적 값에 수렴하는 과정은 ..

ex) 유방암 데이터로 실습하기 음성앰플(정상종양)과 양성샘플(악성종양)을 구분하는 이진 분류문제이다. from sklearn.datasets import load_breast_cancer cancer = load_breast_cancer() ▶사이킷런의 datasets모듈 아래에 있는 load_breast_cancer()함수를 사용하면 불러와진다. 클래스 객체를 만들어 cancer에 저장 # 1. 입력데이터 확인 print(cancer.data.shape, cancer.target.shape) # (569, 30) (569,) ▶cancer의 data와 target 확인, 먼저 입력데이터 data의 크기 확인 하니 569개의 샘플과 30개의 특성이 있다는것을 확인. 특성이 30개나 되기 때문에 산점도로..

로지스틱 손실 함수를 경사 하강법에 적용 로지스틱 회귀 구조에 시그모이드 함수를 학습한것을 적용 선형 방정식을 통과한 z값은 -∞ ~ ∞ 값을 가진다. 이를 활성화 함수인 시그모이드를 통과시키면 0 ~ 1 사이에 값으로 나온다. 이 값으로 역방향 계산을 하여 학습한다. 이 값을 가지고 계단 함수를 통과시켜 0 또는 1의 값으로 예측을 한다. 로지스틱 손실 함수 로지스틱 손실 함수는 다중 분류를 위한 손실 함수인 크로스 엔트로피 손실 함수를 이진 분류 버전으로 만든것이다. a를 활성화 함수가 출력한 값, y는 타깃. L = -( y * log(a) + (1 - y) * log(1-a)) 로지스틱 손실 함수 미분 로지스틱 손실 함수를 미분을 통해 로지스틱 손실 함수의 값을 최소로 하는 가중치와 절편을 찾는다..

로지스틱 회귀 이해하기 위해 알아볼 개념 퍼셉트론 선형회귀와 유사하게 직선 방정식을 사용한다. 하지만 퍼셉트론은 마지막 단계에서 샘플을 이진 분류하기 위해 계단 함수를 사용한다. (이진분류란 임의의 샘플 데이터를 TRUE, FALSE 로 구분하는 문제를 말한다) 계단 함수를 통과한 값을 다시 가중치와 절편을 업데이트 하는데 사용한다. 뉴런은 입력신호를 받아서 z을 만든다. 선형함수 수식 : w1x1 + w2x2 + b = z 계단함수는 z가 0보다 크거나 같으면 1, 0보다 작으면 -1로 분류한다. 퍼셉트론은 사이킷런 패키지에서 Perceptron이라는 이름으로 클래스를 제공한다. 아달린 퍼셉트론에서 조금 더 개선한 적응형 선형 뉴런 퍼셉트론은 역방향 계산이 계단 함수 부분에서 일어나지만 아달린은 역방향..