[학습] 모두를 위한 딥러닝 #11 Lec 12. RNN

Lec 12  Recurrent Neural Network

1. Concept of RNN

   1) Basic Concept

       

        - 현재의 상태값을 계산하는데, 이전의 상태값이 사용됨           

        - 단, 모든 타입 스텝에 대해ㅏ여 동일 함수, 동일 파라미터가 적용됨 

   2) Vanilla RNN 

       

   3) Character-level Language Model 

      - output layer값으로 solftMax를 구하여 정확도를 구하고, 정확도의 평균을 

        Cost 함수로 하여 최소화하는 학습을 진행할 수 있음 

     

 2. RNN applications

  1) application field  

• Language Modeling 
• Speech Recognition
• Machine Translation
• Conversation Modeling / Question Answering (Chat Bot) 
• Image / Video Captioning 
• Image / Music / Dance Generation

        참고 : https://github.com/TensorFlowKR/awesome_tensorflow_implementations

  2) application type 

    - one to one : Vanilla Neural Networks

    - one to many : Image Captioning  

    - many to one : Sentiment Classification 

    - many to many : Machine Translation 

    - many to many : Video Classification on frame level

 

  3) multi-Layer RNN

  4) RNN Training Model 

     - Long Short Term Memory (LSTM) 

     - GRU by Cho. et al. 2014

Lab 12  RNN in TF

1. Concept of RNN in TF 

   1) Cell : 상황에 따라서 결정 (hiden_size는 자유롭게 설정 가능)

   2) 결과 : outputs과, states 두 개가 나오지만, states는 거의 사용하지 않음

2. Input / Output RNN in TF  

   1) One Node: 4 input in 2 hidden_size 

  2) Unfolding to n sequence

  3) Batching Input / Output

3. ....