Lec 12 Recurrent Neural Network
1. Concept of RNN
1) Basic Concept
- 현재의 상태값을 계산하는데, 이전의 상태값이 사용됨
- 단, 모든 타입 스텝에 대해ㅏ여 동일 함수, 동일 파라미터가 적용됨
2) Vanilla RNN
3) Character-level Language Model
- output layer값으로 solftMax를 구하여 정확도를 구하고, 정확도의 평균을
Cost 함수로 하여 최소화하는 학습을 진행할 수 있음
2. RNN applications
1) application field
- Language Modeling
- Speech Recognition
- Machine Translation
- Conversation Modeling / Question Answering (Chat Bot)
- Image / Video Captioning
- Image / Music / Dance Generation
참고 : https://github.com/TensorFlowKR/awesome_tensorflow_implementations
2) application type
- one to one : Vanilla Neural Networks
- one to many : Image Captioning
- many to one : Sentiment Classification
- many to many : Machine Translation
- many to many : Video Classification on frame level
3) multi-Layer RNN
4) RNN Training Model
- Long Short Term Memory (LSTM)
- GRU by Cho. et al. 2014
Lab 12 RNN in TF
1. Concept of RNN in TF
1) Cell : 상황에 따라서 결정 (hiden_size는 자유롭게 설정 가능)
2) 결과 : outputs과, states 두 개가 나오지만, states는 거의 사용하지 않음
2. Input / Output RNN in TF
1) One Node: 4 input in 2 hidden_size
2) Unfolding to n sequence
3) Batching Input / Output
3. ....
'교육&학습 > Deep Learning' 카테고리의 다른 글
| Reinforcement Learning을 위한 Window 환경 설정 (0) | 2017.12.26 |
|---|---|
| [학습] 모두를 위한 딥러닝 #10 Lec 11. Lab 11 Convolution Neural Net (0) | 2017.12.25 |
| [학습] 모두를 위한 딥러닝 #9 Lab 10. NN, ReLu, Xavier, Dropout and Adam (0) | 2017.12.19 |
| [학습] 모두를 위한 딥러닝 #8 Lec 10-1, 10-2, 10-3, 10-4 (0) | 2017.12.15 |
| [학습] 모두를 위한 딥러닝 #7 Lec 09-1, 09-x, 09-2, Lab 09-1,09-2 (0) | 2017.12.11 |
