https://github.com/wooridle/DeepRL_tutorial/blob/master/install_guide_window.md   

Lec 12  Recurrent Neural Network

1. Concept of RNN

   1) Basic Concept

        - 현재의 상태값을 계산하는데, 이전의 상태값이 사용됨           

        - 단, 모든 타입 스텝에 대해ㅏ여 동일 함수, 동일 파라미터가 적용됨 

   2) Vanilla RNN 

   3) Character-level Language Model 

      - output layer값으로 solftMax를 구하여 정확도를 구하고, 정확도의 평균을 

        Cost 함수로 하여 최소화하는 학습을 진행할 수 있음 

 2. RNN applications

  1) application field  

• Language Modeling 
• Speech Recognition
• Machine Translation
• Conversation Modeling / Question Answering (Chat Bot) 
• Image / Video Captioning 
• Image / Music / Dance Generation

        참고 : https://github.com/TensorFlowKR/awesome_tensorflow_implementations

  2) application type 

    - one to one : Vanilla Neural Networks

    - one to many : Image Captioning  

    - many to one : Sentiment Classification 

    - many to many : Machine Translation 

    - many to many : Video Classification on frame level

  3) multi-Layer RNN

  4) RNN Training Model 

     - Long Short Term Memory (LSTM) 

     - GRU by Cho. et al. 2014

Lab 12  RNN in TF

1. Concept of RNN in TF 

   1) Cell : 상황에 따라서 결정 (hiden_size는 자유롭게 설정 가능)

   2) 결과 : outputs과, states 두 개가 나오지만, states는 거의 사용하지 않음

2. Input / Output RNN in TF  

   1) One Node: 4 input in 2 hidden_size 

  2) Unfolding to n sequence

  3) Batching Input / Output

3. ....

Lec 11  ConvNet의 Conv 레이어 만들기

1.  Concept of Convolution

 신경망을 사용할때 전체를 다 파악하는 것이 아닌 부분을 판단하는 방식을 적요하는 방법 

2.  Size of filter

3.  Convolution Layers

4. Pooling Layer

convolution Layer와 Pooling Layer와의 차이는 Convolution Layer의 weight는 학습을 통해서 결정되지만 Pooling Layer는 정해진 방식에 따라 적용됨.  ( 학습하는 것이 아닌, 대표값 정하는 방식으로)

5. Case Study

LeCun et. al

2012년 ImageNet 경진 대회 우승   

현재는 Normalization Layer는 사용하지 않음

2014년 ImageNet 경진 대회 우승

2015년 다수의 경진 대회 우승

Revolution of Depth

  - fast forward 기법 적용 :  계산값을 2-3 단계 이후 결과값이 Jump하여 적용 

Lab 11  CNN 

1. CNN Process ( 3 step)

  2) conv2d 

  3) MNIST Data Load

  4) apply Conv Layer

  5) apply Max Pooling

이후 MNIST 데이터에 대한 convolution layer 적용은 

https://docs.google.com/presentation/d/1h90rpyWiVlwkuCtMgTLfAVKIiqJrFunnKR7dqPNtI6I/edit#slide=id.g1dc2d142ea_0_399 

에서 확인

Lab 10  NN, ReLu, Xavier, Dropout, and Adam

1.  softmax for MNIST

Epoch: 0014 cost = 0.419000337

여러개의 계산 단계를 거침

5.  Optimizer : Adam 추천 

6. Summary

• Softmax VS Neural Nets for MNIST, 90% and 94.5%

• Xavier initialization: 97.8%

• Deep Neural Nets with Dropout: 98%

• Adam and other optimizers

• Exercise: Batch Normalization

Lec 10-1  More than Sigmoid : ReLU

1.  Vanish Gradient 

 Depth가 2~3일 경우에는 잘 해결되었던 문제가, Depth 가 깊어질 수록 문제해결이 어려워짐. 

 원인중 하나는 sigmoid함수 적용에 있는데, 아주 크거자 작은 값도 무조건 0~1 사이의 값을 보여지다 보니 그 값의 영향력이 작아지고 이로 인해 정확한 계산이 어려워 진다.

2.  Geoffrey Hinton's Summary  

3.  ReLU 

  in Tensorflow 

적용 예  

  중간 계산 과정은 모두 ReLU를 사용하고, 마지막에는 Sigmoid를 사용한다.

4. Activation Functions 

   1) Sigmoid :  0~1 사이

   2) tanh : -1 ~1 사이

   3) ReLU : -무시, +선형 

   4) Leaky ReLu :-일 경우 0.1 가중치 선형, +경우 1 가중치 선형

   5) max out : 선형변환의 최대값 

   6) ELU : - 구간 지수함수 적용  ( 최대 -1)

Lec 10-2  Weigth 초기화 잘해보자

1.  Geoffrey Hinton's Summary  

2.  RBM 

  1) Restricted Boatman Machine 

  2) Hinton et al. (2006) "A Fast Learning Algorithm for Deep Belief Nets” 

  3) concept : 1 단계별 forward & backward시 값차이가 가장 적게 발생하는 weight 값을 초기값으로 사용

  4) Deep Belief Network 

3.  Xavier/He initialization 

  1) Xavier initialization: 

     X. Glorot and Y. Bengio, “Understanding the difficulty of training deep feedforward neural networks,” in International conference on artificial intelligence and statistics, 2010

  2) He’s initialization: 

    K. He, X. Zhang, S. Ren, and J. Sun, “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification,” 2015

  3) Makes sure the weights are ‘just right’, not too small, not too big 

  4) Using number of input (fan_in) and output (fan_out)

  5) application

  """Set the parameter initialization using the method described.
  This method is designed to keep the scale of the gradients roughly the same
  in all layers.
  Xavier Glorot and Yoshua Bengio (2010):
           Understanding the difficulty of training deep feedforward neural
           networks. International conference on artificial intelligence and
           statistics.
  Args:
    n_inputs: The number of input nodes into each output.
    n_outputs: The number of output nodes for each input.
    uniform: If true use a uniform distribution, otherwise use a normal.
  Returns:
    An initializer.
  """
  if uniform:
    # 6 was used in the paper.
    init_range = math.sqrt(6.0 / (n_inputs + n_outputs))
    return tf.random_uniform_initializer(-init_range, init_range)
  else:
    # 3 gives us approximately the same limits as above since this repicks
    # values greater than 2 standard deviations from the mean.
    stddev = math.sqrt(3.0 / (n_inputs + n_outputs))
    return tf.truncated_normal_initializer(stddev=stddev)

Lec 10-3  Dropout과 앙상블

1.  Solutions for overfitting

  1) More training data

  2) Reduce the number of features 

  3) Regularization

2.  Regularization

  1) Let's not have too big numbers in the weight 

  2) Dropout 

    - A Simple Way to Prevent Neural Networks from Overfitting [Srivastava et al. 2014]

  - randomly set some neurons to zero in the forward pass  

3. Ensenble

Lec 10-4  레고처럼 네트워크 모듈을 마음껏 쌓아 보자

Lec 09-1  Neural Nets(NN) for XOR

1. Forward Propagation 

2. NN for Vector 

Lec 09-x  미분 정리하기 

Lec 09-2  딥넷트웍 학습 시키기 (backpropagation)

  1) forward (w =-2, x=5, b=3) 

  2) backward : derivative

    3) derivative sigmoid

Lab 09-1 : Neural Net for XOR

1. XOR data set 

2. Single Model로는 풀수 없음 

3. Neural Nets for XOR 

Hypothesis:  [[ 0.01338216]

 [ 0.98166394]

 [ 0.98809403]

 [ 0.01135799]] 

Correct:  [[ 0.]

 [ 1.]

 [ 1.]

 [ 0.]] 

Accuracy:  1.0

4. Wide & Deep 

    1) Wide : 변수의 갯수를 늘리는 것 

    2) Deep : 모델 수를 더 많이 사용하는 것 (

Lab 09-2 : Tensorboard (Neural Net for XOR)

1. 5 steps of using TensorBoard 

2. Result of tensorflow

Lec 08-1 딥러닝의 기본 개념: 시작과 XOR 문제

1. Activation Functions

   사람의 신경을 연구하여 유사 구조로 만듦

2. XOR Problem :

   1) 선형적 논리구조로는 풀지 못함. 

   2) Perceptrons (1969 ) by Marvin Minsky, founder of the MIT AI Lab

   3) Backpropagation (1974, 1982 by Paul Werbos,  1986 by Hinton)

3. Convolutional Neural Networks

   1) 고양이 뇌 실험 

    - 뇌가 이미지를 판단할 때 전체를 사용하는 것이 아니라 그림의 형태에 따라 일부의 뉴런만 사용한다. 

    2) 부분만 사용하여 연산한 후 나중에 합치는 방식 : LeCun 

4. Big Problem

  1) Backpropagation just did not work well for normal neural nets with many

  2) Other rising machine learning algorithms: SVM, RandomForest, etc.

  3) 1995 “Comparison of Learning Algorithms For Handwritten Digit Recognition” by LeCun et al. 

     found that this new approach worked better

Lec 08-2 딥러닝의 기본 개념 2: back-propagation 과 2006/2007 '딥'의 출현

1. Breakthrough : in 2006 and 2007 by Hinton and Bengio

  1) Neural networks with many layers really could be trained well,

     if the weights are initialized in a clever way rather than randomly.

  2) Deep machine learning methods are more efficient for difficult problems than shallow methods.

  3) Rebranding to Deep Nets, Deep Learning

2. ImageNet Classification (2012 ) : 26.2% -> 15.3 %  

   1) 2015년 standford 연구생이 코딩으로 개발한 건보다, CNN을 이용해서 개발한 모델이 정확하게 예측함

Lab 08 Tensor Manipulation

1. Array  

  1) Simple Array [1D]

array([ 0.,  1.,  2.,  3.,  4.,  5.,  6.])

1   -> 김성훈 교수님 예제 잘못되어 있음 

(7,)

0.0 1.0 6.0

[ 2.  3.  4.] [ 4.  5.]

[ 0.  1.] [ 3.  4.  5.  6.]

  2) 2D Array 

array([[  1.,   2.,   3.],

       [  4.,   5.,   6.],

       [  7.,   8.,   9.],

       [ 10.,  11.,  12.]])

2

(4, 3)

  3) Shape, Rank, Axis

  4) MatMul Vs multiply 

[[ 12.]]

[[ 6.  6.]

 [ 6.  6.]]

  5) Watch Out Broadcast

2. Function

  1) Reduce mean 

1

2.5

[ 2.  3.]

[ 1.5  3.5]

[ 1.5  3.5]

  2) Reduce sum

10.0

[ 4.  6.]

[ 3.  7.]

5.0

  3) Argmax : 가장 큰 값의 위치가 어디냐? 

[1 0 0]

[2 0]

[2 0]

  4) Reshape, squeeze, expand

(2, 2, 3)

[[ 0  1  2]

 [ 3  4  5]

 [ 6  7  8]

 [ 9 10 11]]

[[[ 0  1  2]]

 [[ 3  4  5]]

 [[ 6  7  8]]

 [[ 9 10 11]]]

[0 1 2]

[[0]

 [1]

 [2]]

  5) Onehot : 

[[[ 1.  0.  0.]]

 [[ 0.  1.  0.]]

 [[ 0.  0.  1.]]

 [[ 1.  0.  0.]]]

[[ 1.  0.  0.]

 [ 0.  1.  0.]

 [ 0.  0.  1.]

 [ 1.  0.  0.]]

  6) Cast / Stack /ones-zeros / zip

===cast

[1 2 3 4]

[1 0 1 0]

===stack

[[1 4]

 [2 5]

 [3 6]]

[[1 2 3]

 [4 5 6]]

===ones, zeros

[[1 1 1]

 [1 1 1]]

[[0 0 0]

 [0 0 0]]

===zip

1 4

2 5

3 6

1 4 7

2 5 8

3 6 9

Lec 07-1 Learning Rate, Overfitting and Regularization

    1) Try Several learning Rates ( start with 0.01 )

    2) Observe the cost function 

    3) Check it goes down in a reasonable rate 

      - 너무 크면 divergence ,  너무 작은면 늦게 수렴

2. Data(X) Preprocessing for gradient descent 

   1) RAW data가 편중되어 있을 경우, 특정 변수의 민감도가 높거나 낮아질 수 있음. 

   2) Normalization 

    3) Standardization 

           X_std[:,0] = (X[:0] - X[:,0].mean()) / X[:,0].std()   

2. Regularization  

   1) OverFitting 

      - Our model is very good with training data set (with memorization)

      - Not good at test dataset or in real use

    2) Solutions for overfitting 

       - More Training data 

       - Reduce the number of features 

       - Regularization 

    3) Regularization 

       - Let's not have too big numbers in the weight      

        ( Loss함수에 Weight크기를 포함하도록 함으로써 해당 값도 최소화하는 경우를 찾고자 함)  

       - with Tensorflow 

Lec 07-2: Training/Testing Data Set

1. Data set 

2. Online Learning 

    1) 데이터 셋을 여러 단위로 분리해서 예측 진행

    2) 이전 단계에서 예측돼었던 내용이 새로운 데이터 셋 예측에서도 동일한 영향을 주여야 함 

3. M NIST Data set

Lab 07-1: training/test dataset, learning rate, normalization

1. Test Dataset  & Learning Rate  

  0) Test Data

   # Evaluation our model using this test dataset

   x_test = [[2, 1, 1],          

            [3, 1, 2],       

            [3, 3, 4]]

   y_test = [[0, 0, 1],

             [0, 0, 1],

             [0, 0, 1]]

   1) optimizer = tf.train.GradientDescentOptimizer(learning_rate=1e-10).minimize(cost)

   2) optimizer = tf.train.GradientDescentOptimizer(learning_rate=1.5).minimize(cost)

  3) optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost)

2. Normalized input

  1) Large Value Raw Data 

     y = np.array([[828.659973, 833.450012, 908100, 828.349976, 831.659973],

                   [823.02002, 828.070007, 1828100, 821.655029, 828.070007],

                   [819.929993, 824.400024, 1438100, 818.97998, 824.159973],

                   [816, 820.958984, 1008100, 815.48999, 819.23999],

                   [819.359985, 823, 1188100, 818.469971, 818.97998],

               [819, 823, 1198100, 816, 820.450012],

                   [811.700012, 815.25, 1098100, 809.780029, 813.669983],

                   [809.51001, 816.659973, 1398100, 804.539978, 809.559998]])

  2) Normalized input 

Lab 07-2: Meet MNIST Dataset

1. MNIST  Image

  1) 28 * 28 * 1 Image (Binary Bitmap) 

2. Reading Data and set variables

3. SoftMax

4. epoch / Batch

1) 데이터가 많을 경우, 모든 데이터를 올리려면 Memory가 많이 필요하므로, Batch로 분할하여 적용

2) epoch [에폭] : 전체 데이터를 한번 모두 훈련하는 과정

3) iteration per epoch = [전체데이터 수] / [batch_size]

5. Result

1) 0.8951 정확도

Lec 06-1 - Softmax Regression 기본 개념 소개

    1) Liner Regression의 한계

      -   : 아주 큰수 ,아주 작은 수 적용시에도 선형적 가중치가 적용되어 오차 증가

    2) Logistic Resgression

      - Logistic(Sigmoid) Function : Binary Classification에 적당하도록 아주 큰수, 아주 작은 수 사이에서도 

         0~1 가 되도록 해주는 함수 

2. Multinomial classification

   1)  학점 ABC 구현 - Binary Classification 3개  

Lec 06-2: Softmax classifier 의 cost함수

1. SoftMax Function

   1) Multinomial classification Sigmoid      

     각 Element 가 0 ~ 1 사이값이 되었지만 각각의 상관 관계를 표현하지 못함

   2) SoftMax 

       SCORES                                    POSSIBILITIES

    3) One-Hot Encoding

    4) Cross-entropy cost function 

         S : 예측값,    L : 실제값 

        [check cost function] 

  5) Cross-Entropy vs Logistic Cost  (증명?)  

Lab 06-1: TensorFlow로 Softmax Classification의 구현

1. Hypothesis with SOFTMAX

2. Cost Function : Cross Entropy

3. Test & One-Shot Encoding

  1) One Row 

Lab 06-2: TensorFlow로 Softmax Classification의 구현

1. softmax_cross_entropy_with_logits 

logits = tf.matul(X,W) + b

hypothesis = tf.nn.sotfmax(logits) 

cost = tf.reduce_mean(-tf.reduece_sum(Y * tf.log(hypothesis), axis =1)) 

2. Animal Classification 

  1) load data 

xy = np.loadtxt('data-04-zoo.csv', delimiter= ',', dtype=np.float32) 

x_data = xy[:,0:-1]

y_data = xy[:,[-1]]

hypothesis = tf.nn.sotfmax(logits) 

cost = tf.reduce_mean(-tf.reduece_sum(Y * tf.log(hypothesis), axis =1)) 

  2) ont_hot and reshape 

     Y = tf.placeholder(tf.int32, [None, 1])   # 0~ 6 shape =(?,1)

     Y_one_hot = tf.one_hot(Y, nb_classes)  # one hot shape (?, 1,7) 

     Y_one_hot = tf.reshape(Y_.one_hot, [-1, nb_classes])  # one hot shape (?,7) 

3. Result

'''
Step:     0 Loss: 5.106 Acc: 37.62%
Step:   100 Loss: 0.800 Acc: 79.21%
Step:   200 Loss: 0.486 Acc: 88.12%
Step:   300 Loss: 0.349 Acc: 90.10%
Step:   400 Loss: 0.272 Acc: 94.06%
Step:   500 Loss: 0.222 Acc: 95.05%
Step:   600 Loss: 0.187 Acc: 97.03%
Step:   700 Loss: 0.161 Acc: 97.03%
Step:   800 Loss: 0.140 Acc: 97.03%
Step:   900 Loss: 0.124 Acc: 97.03%
Step:  1000 Loss: 0.111 Acc: 97.03%
Step:  1100 Loss: 0.101 Acc: 99.01%
Step:  1200 Loss: 0.092 Acc: 100.00%
Step:  1300 Loss: 0.084 Acc: 100.00%
...
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0
[True] Prediction: 3 True Y: 3
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0

Lec 05-1 - Logistic Classification의 가설 함수 정의

1. Classification

   - Regression은 특정 값을 예측하는 것에 비해, Classification은 분류 하는 것, 

   - binary Classification은 두개 중 하나 분류,  Ture / False    1/0

   - Spam Detection: Spam or Ham

   - Facebook feed: show or hide

   - Credit Card Fraudulent Transaction detection: legitimate/fraud

2. Logistic Hypothesis

   1) Linear Regression 적용시 문제점 

     - 과도하게 크거나 작은 범위의 값이 적용될 경우 왜곡이 쉽게 발생함   

      EX)  5시간 공부해도 합격, 100 시간 공부해도 합격

   2) 0과 1사이의 Cost Fuction :   logistic function / sigmoid function

       sigmoid  : Curved in two directions, like the letter "S", or the Greek ς (sigma)

    3) Logistic Hypothesis with Vector

Lec 05-2 - Logistic Regression의 cost 함수 설명

1. cost Function   

   1) 기존 코스트 함수 : local minimum 발생으로 최소값을 찾기 곤란함

   2) New Cost Function Concept

    (그래프 그려주는 사이트 : https://www.desmos.com/calculator )

2. understanding New cost Fuction

       - y=1,  H(x) =1     -> correct   -> cost Low  :    C( H(x), y) = -log ( 1 ) = 0 

       - y=1,  H(x) =0     -> wrong    -> cost high  :    C( H(x), y) = -log ( 0 ) = 무한대

       - y=0,  H(x) =0     -> correct   -> cost Low  :    C( H(x), y) = -log ( 1 - 0) = 0 

       - y=0,  H(x) =1     -> wrong    -> cost high :    C( H(x), y) = -log ( 1 - 1) =  - log (0) =  무한대 

3. New cost Fuction  : 두 경우의 선형 조합

4. Minimize Cost

Lab 05: TensorFlow로 Logistic Classification의 구현하기

1. Logistic Regression

2. code