learning rate1 application & tips ㅁ learning rate를 너무 크게 하면 loss가 일정 수준에서 더 떨어지지 않고, 너무 작게하면 가중치 matrix를 만드는 데 시간이 너무 많이 걸린다. 따라서 적절한 learning rate를 정해줘야 한다. ㅁ learning rate decay : 일정 epochs마다 learning rate를 줄여서 loss를 더더욱 낮추는 기법 exponential decay, 1/t decay 등 다양하다. tf.compat.v1.train.exponential_decay()... 텐서1에서나 사용했던 방법인거 같기도 하다 https://github.com/deeplearningzerotoall/TensorFlow/blob/master/lab-07-3-linear_regression_eager%20.. 2020. 7. 13. 이전 1 다음
