ML&DATA/책 & 강의4 NLP with Transformers - Ch1 Ch1. Hello Transformers Transformer: 2017년 'Attention is all you need' 논문에서 소개. 퀄리티와 비용 모든 측면에서 RNN의 성능을 초월함. ULMFiT: LSTM네트워크 기반 학습에서 효과적인 '전이학습' 방법 소개 The Encoder-Decoder Framework LSTM 구조에서 출력벡터를 hidden state라고 함. 기계번역 분야에선 encoder-decoder 구조 또는 sequence-to-sequence 구조를 많이 사용함. 'encoder'는 입력 시퀀스로부터 정보를 last hidden state라고 부르는 숫자 표현으로 인코딩한다. 이 state는 'decoder'로 전달되어 출력 시퀀스를 생성한다. attention이 없는.. 2022. 3. 28. Deep Learning with PyTorch - Ch6 Ch6. Using a neural network to fit the data 6.1 Artificial neurons neural network: 간단한 함수의 조합으로 복잡한 함수를 표현할 수 있는 수학적 요소 neuron: neural network의 기초 블록(layer). input -> linear transformation -> activation -> output 형태. 6.1.2 Understanding the error function 에러함수에서 최적지점이 하나만 존재하는게 아니라 지역최적, 전역최적점이 존재한다는 말인듯 6.1.3 All we need is activation 활성함수의 2가지 역할 모델의 내부에선, output함수가 다른 값들에 대해 다른 기울기를 갖게 하도록 함(.. 2022. 3. 28. Deep Learning with PyTorch - Ch5 Ch5. The Mechanics of learning fit the data = make the argorithm learn from data 5.2 Learning is just parameter estimation input data, 라벨(ground truth), 가중치의 초기값이 있을 때, 입력 데이터는 모델에 forward pass하고 결과 값과 라벨의 에러를 계산한다. 에러가 줄어드는 방향으로 기울기(gradient)가 역전파되면서 가중치가 업데이트된다. 이 과정은 에러가 특정치 이하로 떨어질 때까지 반복한다. 5.3 Less loss is what we want loss function의 값이 최소화되는 파라미터를 찾아가는 과정을 학습이라고 함. 5.4 Down along the grad.. 2022. 3. 26. Deep Learning with PyTorch - ~Ch3 Ch1. Why PyTorch 1.3.1 The deep learning competitive landscape 2017년) - pytorch 베타 릴리즈 - TensorFlow는 low-level 라이브러리로 사용 - Keras는 TensorFlow의 high-level Wrapper 2019년) - PyTorch Caffe2를 백엔드로 흡수. ONNX 자체 지원 TorchScript cnrk - TensorFlow Keras 흡수, first-class API로 제공 1.4 Overview of how PyTorch supports DL projects pytorch는 C++과 CUDA프로그래밍 된 부분이 있음. PyTorch를 C++기반으로 바로 실행시키는 방법 ch15에 소개. tensor의 연산.. 2022. 3. 16. 이전 1 다음
