ML&DATA53 4 - 신경망 학습 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 조정하는 것을 의미함. 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 이번 장의 목표 4.1 데이터에서 학습 기계학습은 훈련데이터와 시험데이터를 분리해야 한다. 범용 능력을 제대로 평가하기 위함이다. 한 데이터셋에만 지나치게 최적화된 상태를 오버피팅이라고 한다. 이를 극복하는 것이 기계학습의 중요한 과제이다. 딥러닝을 종단간 기계학습이라고도 한다. 처음부터 끝까지 사람의 개입없이 출력을 얻는다는 뜻을 담고 있다. 4.2 손실함수 손실함수가 가장 적도록 하는 가중치벡터를 찾는 것이 학습이라고 했다. 손실함수로 단순히 정확도를 사용하지 않는 것은 경사하강법을 위해 미분가능한 함수를 사용해야 하기 때문. 1. 오차제곱 합 (SS.. 2020. 9. 10. 4 - 다항회귀, 규제 www.youtube.com/watch?v=6omvN1nuZMc&list=PLJN246lAkhQjX3LOdLVnfdFaCbGouEBeb&index=13 박해선 교수님의 유튜브 강의로 공부했음을 밝힙니다. 다항회귀 비선형 데이터를 학습하는 데 선형 모델을 사용할 수 있다. 각 특성의 거듭제곱을 새로운 특성으로 추가하고, 이 확장된 특성을 포함한 데이터셋에 선형 모델을 훈련시키는 것이다. 이런 기법을 다항 회귀(polynomial regression)라고 한다. 1. polynomialfeature로 특성 확장 후 선형 모델 학습 직선은 이 데이터에 잘 맞지 않을 것이므로 우선 사이킷런의 PolynomialFeatures를 사용해 훈련 데이터를 확장한다 from sklearn.preprocessing imp.. 2020. 9. 9. 3. 신경망 2.7 퍼셉트론 퍼셉트론은 다수의 입력을 받아 하나의 신호를 출력한다. XOR 게이트는 단층 퍼셉트론으로는 표현할 수 없다. 2층 퍼셉트론으로 XOR 게이트를 표현할 수 있다. 다층 퍼셉트론만으로 모든 논리연산을 구현할 수 있다. 3. 신경망 퍼셉트론으로 모든 연산을 표현할 수 있다. 하지만 가중치를 설정하는 작업은 사람이 수동으로 설정해야 한다는 문제가 있다. 신경망이 이 문제를 해결해준다. 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력을 가지고 있다. 3.1 퍼셉트론에서 신경망으로 신경망은 편향을 의미하는 노드도 추가하고, 가중치가 곱해진 입력 신호의 총합을 활성화 함수 $h$에 넣어 나온 결과 값을 가지고 신호를 출력한다. 3.2 활성화 함수 퍼셉트론과 신경망의 주된 차이는 활성.. 2020. 9. 8. 4 - 선형회귀 (경사하강법) www.youtube.com/watch?v=6omvN1nuZMc&list=PLJN246lAkhQjX3LOdLVnfdFaCbGouEBeb&index=13 박해선 교수님의 유튜브 강의로 공부했음을 밝힙니다. 선형 회귀 모델을 훈련시키는 두 가지 방법 정규방정식 경사하강법 GD(배치, 미니배치, 확률적(stochastic)) 경사하강법 특성이 매우 많고 훈련 샘플이 너무 많아 메모리에 모두 담을 수 없을 때 적합함. sklearn.linear_model 의 SGDRegressor을 사용하면 된다. 확률적 경사하강법(SGD)이 구현돼 있다. from sklearn.linear_model import SGDRegressor #learning_rate = 'invscaling' -> eta0/t**0.25, 학습률.. 2020. 9. 4. 이전 1 2 3 4 5 6 7 ··· 14 다음
