Lec 08-1 딥러닝의 기본 개념: 시작과 XOR 문제

1. Activation Functions

   사람의 신경을 연구하여 유사 구조로 만듦

2. XOR Problem :

   1) 선형적 논리구조로는 풀지 못함. 

   2) Perceptrons (1969 ) by Marvin Minsky, founder of the MIT AI Lab

   3) Backpropagation (1974, 1982 by Paul Werbos,  1986 by Hinton)

3. Convolutional Neural Networks

   1) 고양이 뇌 실험 

    - 뇌가 이미지를 판단할 때 전체를 사용하는 것이 아니라 그림의 형태에 따라 일부의 뉴런만 사용한다. 

    2) 부분만 사용하여 연산한 후 나중에 합치는 방식 : LeCun 

4. Big Problem

  1) Backpropagation just did not work well for normal neural nets with many

  2) Other rising machine learning algorithms: SVM, RandomForest, etc.

  3) 1995 “Comparison of Learning Algorithms For Handwritten Digit Recognition” by LeCun et al. 

     found that this new approach worked better

Lec 08-2 딥러닝의 기본 개념 2: back-propagation 과 2006/2007 '딥'의 출현

1. Breakthrough : in 2006 and 2007 by Hinton and Bengio

  1) Neural networks with many layers really could be trained well,

     if the weights are initialized in a clever way rather than randomly.

  2) Deep machine learning methods are more efficient for difficult problems than shallow methods.

  3) Rebranding to Deep Nets, Deep Learning

2. ImageNet Classification (2012 ) : 26.2% -> 15.3 %  

   1) 2015년 standford 연구생이 코딩으로 개발한 건보다, CNN을 이용해서 개발한 모델이 정확하게 예측함

Lab 08 Tensor Manipulation

1. Array  

  1) Simple Array [1D]

array([ 0.,  1.,  2.,  3.,  4.,  5.,  6.])

1   -> 김성훈 교수님 예제 잘못되어 있음 

(7,)

0.0 1.0 6.0

[ 2.  3.  4.] [ 4.  5.]

[ 0.  1.] [ 3.  4.  5.  6.]

  2) 2D Array 

array([[  1.,   2.,   3.],

       [  4.,   5.,   6.],

       [  7.,   8.,   9.],

       [ 10.,  11.,  12.]])

2

(4, 3)

  3) Shape, Rank, Axis

  4) MatMul Vs multiply 

[[ 12.]]

[[ 6.  6.]

 [ 6.  6.]]

  5) Watch Out Broadcast

2. Function

  1) Reduce mean 

1

2.5

[ 2.  3.]

[ 1.5  3.5]

[ 1.5  3.5]

  2) Reduce sum

10.0

[ 4.  6.]

[ 3.  7.]

5.0

  3) Argmax : 가장 큰 값의 위치가 어디냐? 

[1 0 0]

[2 0]

[2 0]

  4) Reshape, squeeze, expand

(2, 2, 3)

[[ 0  1  2]

 [ 3  4  5]

 [ 6  7  8]

 [ 9 10 11]]

[[[ 0  1  2]]

 [[ 3  4  5]]

 [[ 6  7  8]]

 [[ 9 10 11]]]

[0 1 2]

[[0]

 [1]

 [2]]

  5) Onehot : 

[[[ 1.  0.  0.]]

 [[ 0.  1.  0.]]

 [[ 0.  0.  1.]]

 [[ 1.  0.  0.]]]

[[ 1.  0.  0.]

 [ 0.  1.  0.]

 [ 0.  0.  1.]

 [ 1.  0.  0.]]

  6) Cast / Stack /ones-zeros / zip

===cast

[1 2 3 4]

[1 0 1 0]

===stack

[[1 4]

 [2 5]

 [3 6]]

[[1 2 3]

 [4 5 6]]

===ones, zeros

[[1 1 1]

 [1 1 1]]

[[0 0 0]

 [0 0 0]]

===zip

1 4

2 5

3 6

1 4 7

2 5 8

3 6 9

Lec 07-1 Learning Rate, Overfitting and Regularization

    1) Try Several learning Rates ( start with 0.01 )

    2) Observe the cost function 

    3) Check it goes down in a reasonable rate 

      - 너무 크면 divergence ,  너무 작은면 늦게 수렴

2. Data(X) Preprocessing for gradient descent 

   1) RAW data가 편중되어 있을 경우, 특정 변수의 민감도가 높거나 낮아질 수 있음. 

   2) Normalization 

    3) Standardization 

           X_std[:,0] = (X[:0] - X[:,0].mean()) / X[:,0].std()   

2. Regularization  

   1) OverFitting 

      - Our model is very good with training data set (with memorization)

      - Not good at test dataset or in real use

    2) Solutions for overfitting 

       - More Training data 

       - Reduce the number of features 

       - Regularization 

    3) Regularization 

       - Let's not have too big numbers in the weight      

        ( Loss함수에 Weight크기를 포함하도록 함으로써 해당 값도 최소화하는 경우를 찾고자 함)  

       - with Tensorflow 

Lec 07-2: Training/Testing Data Set

1. Data set 

2. Online Learning 

    1) 데이터 셋을 여러 단위로 분리해서 예측 진행

    2) 이전 단계에서 예측돼었던 내용이 새로운 데이터 셋 예측에서도 동일한 영향을 주여야 함 

3. M NIST Data set

Lab 07-1: training/test dataset, learning rate, normalization

1. Test Dataset  & Learning Rate  

  0) Test Data

   # Evaluation our model using this test dataset

   x_test = [[2, 1, 1],          

            [3, 1, 2],       

            [3, 3, 4]]

   y_test = [[0, 0, 1],

             [0, 0, 1],

             [0, 0, 1]]

   1) optimizer = tf.train.GradientDescentOptimizer(learning_rate=1e-10).minimize(cost)

   2) optimizer = tf.train.GradientDescentOptimizer(learning_rate=1.5).minimize(cost)

  3) optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost)

2. Normalized input

  1) Large Value Raw Data 

     y = np.array([[828.659973, 833.450012, 908100, 828.349976, 831.659973],

                   [823.02002, 828.070007, 1828100, 821.655029, 828.070007],

                   [819.929993, 824.400024, 1438100, 818.97998, 824.159973],

                   [816, 820.958984, 1008100, 815.48999, 819.23999],

                   [819.359985, 823, 1188100, 818.469971, 818.97998],

               [819, 823, 1198100, 816, 820.450012],

                   [811.700012, 815.25, 1098100, 809.780029, 813.669983],

                   [809.51001, 816.659973, 1398100, 804.539978, 809.559998]])

  2) Normalized input 

Lab 07-2: Meet MNIST Dataset

1. MNIST  Image

  1) 28 * 28 * 1 Image (Binary Bitmap) 

2. Reading Data and set variables

3. SoftMax

4. epoch / Batch

1) 데이터가 많을 경우, 모든 데이터를 올리려면 Memory가 많이 필요하므로, Batch로 분할하여 적용

2) epoch [에폭] : 전체 데이터를 한번 모두 훈련하는 과정

3) iteration per epoch = [전체데이터 수] / [batch_size]

5. Result

1) 0.8951 정확도

Lec 06-1 - Softmax Regression 기본 개념 소개

    1) Liner Regression의 한계

      -   : 아주 큰수 ,아주 작은 수 적용시에도 선형적 가중치가 적용되어 오차 증가

    2) Logistic Resgression

      - Logistic(Sigmoid) Function : Binary Classification에 적당하도록 아주 큰수, 아주 작은 수 사이에서도 

         0~1 가 되도록 해주는 함수 

2. Multinomial classification

   1)  학점 ABC 구현 - Binary Classification 3개  

Lec 06-2: Softmax classifier 의 cost함수

1. SoftMax Function

   1) Multinomial classification Sigmoid      

     각 Element 가 0 ~ 1 사이값이 되었지만 각각의 상관 관계를 표현하지 못함

   2) SoftMax 

       SCORES                                    POSSIBILITIES

    3) One-Hot Encoding

    4) Cross-entropy cost function 

         S : 예측값,    L : 실제값 

        [check cost function] 

  5) Cross-Entropy vs Logistic Cost  (증명?)  

Lab 06-1: TensorFlow로 Softmax Classification의 구현

1. Hypothesis with SOFTMAX

2. Cost Function : Cross Entropy

3. Test & One-Shot Encoding

  1) One Row 

Lab 06-2: TensorFlow로 Softmax Classification의 구현

1. softmax_cross_entropy_with_logits 

logits = tf.matul(X,W) + b

hypothesis = tf.nn.sotfmax(logits) 

cost = tf.reduce_mean(-tf.reduece_sum(Y * tf.log(hypothesis), axis =1)) 

2. Animal Classification 

  1) load data 

xy = np.loadtxt('data-04-zoo.csv', delimiter= ',', dtype=np.float32) 

x_data = xy[:,0:-1]

y_data = xy[:,[-1]]

hypothesis = tf.nn.sotfmax(logits) 

cost = tf.reduce_mean(-tf.reduece_sum(Y * tf.log(hypothesis), axis =1)) 

  2) ont_hot and reshape 

     Y = tf.placeholder(tf.int32, [None, 1])   # 0~ 6 shape =(?,1)

     Y_one_hot = tf.one_hot(Y, nb_classes)  # one hot shape (?, 1,7) 

     Y_one_hot = tf.reshape(Y_.one_hot, [-1, nb_classes])  # one hot shape (?,7) 

3. Result

'''
Step:     0 Loss: 5.106 Acc: 37.62%
Step:   100 Loss: 0.800 Acc: 79.21%
Step:   200 Loss: 0.486 Acc: 88.12%
Step:   300 Loss: 0.349 Acc: 90.10%
Step:   400 Loss: 0.272 Acc: 94.06%
Step:   500 Loss: 0.222 Acc: 95.05%
Step:   600 Loss: 0.187 Acc: 97.03%
Step:   700 Loss: 0.161 Acc: 97.03%
Step:   800 Loss: 0.140 Acc: 97.03%
Step:   900 Loss: 0.124 Acc: 97.03%
Step:  1000 Loss: 0.111 Acc: 97.03%
Step:  1100 Loss: 0.101 Acc: 99.01%
Step:  1200 Loss: 0.092 Acc: 100.00%
Step:  1300 Loss: 0.084 Acc: 100.00%
...
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0
[True] Prediction: 3 True Y: 3
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0

Lec 05-1 - Logistic Classification의 가설 함수 정의

1. Classification

   - Regression은 특정 값을 예측하는 것에 비해, Classification은 분류 하는 것, 

   - binary Classification은 두개 중 하나 분류,  Ture / False    1/0

   - Spam Detection: Spam or Ham

   - Facebook feed: show or hide

   - Credit Card Fraudulent Transaction detection: legitimate/fraud

2. Logistic Hypothesis

   1) Linear Regression 적용시 문제점 

     - 과도하게 크거나 작은 범위의 값이 적용될 경우 왜곡이 쉽게 발생함   

      EX)  5시간 공부해도 합격, 100 시간 공부해도 합격

   2) 0과 1사이의 Cost Fuction :   logistic function / sigmoid function

       sigmoid  : Curved in two directions, like the letter "S", or the Greek ς (sigma)

    3) Logistic Hypothesis with Vector

Lec 05-2 - Logistic Regression의 cost 함수 설명

1. cost Function   

   1) 기존 코스트 함수 : local minimum 발생으로 최소값을 찾기 곤란함

   2) New Cost Function Concept

    (그래프 그려주는 사이트 : https://www.desmos.com/calculator )

2. understanding New cost Fuction

       - y=1,  H(x) =1     -> correct   -> cost Low  :    C( H(x), y) = -log ( 1 ) = 0 

       - y=1,  H(x) =0     -> wrong    -> cost high  :    C( H(x), y) = -log ( 0 ) = 무한대

       - y=0,  H(x) =0     -> correct   -> cost Low  :    C( H(x), y) = -log ( 1 - 0) = 0 

       - y=0,  H(x) =1     -> wrong    -> cost high :    C( H(x), y) = -log ( 1 - 1) =  - log (0) =  무한대 

3. New cost Fuction  : 두 경우의 선형 조합

4. Minimize Cost

Lab 05: TensorFlow로 Logistic Classification의 구현하기

1. Logistic Regression

2. code

Lab 00 - TensorFlow의 설치 및 기본적인 Operation

1. TensorFlow

• Open source software library for Numerial computation using data flow graphs.

• Python

2.  Data Flow Graph

• Nodes : mathermatical operations
• Edges : multidimensional data arrays (tensors) communicated between them.

3. Check installation and version    (1.4)

4. Example

  1) Hello world

  2) Node Add 

  3) Placeholder

강의 웹사이트: http://hunkim.github.io/ml/

Facebook: https://www.facebook.com/groups/Tenso...

소스코드: https://github.com/hunkim/DeepLearnin...

Lec 00 - Machine/Deep learning 수업의 개요와 일정

• Andrew Ng’s and other ML tutorials
  • https://class.coursera.org/ml-003/lecture
  • http://www.holehouse.org/mlclass/ (note)
  • Deep Learning Tutorial
• Convolutional Neural Networks for Visual Recognition.
  • http://cs231n.github.io/
• Tensorflow
  • https://www.tensorflow.org
  • https://github.com/aymericdamien/TensorFlow-Examples
  • Deep learning @Udicity

Lec 01 - 머신러닝의 개념과 용어

I. 아나콘다 설치하기

아아콘다 홈페이지 (https://www.anaconda.com/download/)에 접속해서 최신의 아나콘다 버전을 다운받아 설치한다.   (2017/11/26일 현재, Anaconda 5.0.1 버전이 최신)

PATH 환경변수 추가는 이전 설치된 버전보다 먼저 적용되도록하지만, 재설치 및 제거시 문제를 야기시킬 수 있으니 추천하지 않는단다... 일단 빨간색이니 선택하지 않고 진행..

대신에, Anaconda 전용  Prompt 환경에서 시작하는 아이콘이 제공되므로 굳이 Path 추가할 필요가 없단다..

II. TensorFlow 설치

   TensorFlow 홈페이지(https://www.tensorflow.org/install/)에 설치 방법이 자세히 설명되어 있다. 

CPU기반과 GPU기반의 텐서 플로우 설치 방업을 안내해 주고 있는데, 거금을 주고 장만한 1080이니 GPU모드로 설치를 진행해야지...  

하지만, 갑자기 발동된 실험 정신과, 약간의 실수로 다양한 테스트와 실패를 경험하였다.

GPU 기반의  Tensorflow을 설치하기 위해서는 사전에 설치해야할 것이 있다.

1. CUDA Tool Kit 설치 (GPU ) 

      - CUDA Toolkit Download 페이지 : https://developer.nvidia.com/cuda-downloads     

      -  홈페이지에 링크된 최신 버전 9.0을 설치할 경우, dll을 찾지 못하는 에러가 발생함 

0. XCode 설치하기 

    최근 Mac에서 개발하지 않고, OS Upgrade를 하다보니 Xcode가 설치 되어 있지 않다.

    Mac에서 Qt개발하기 위해서는 필수라고 하니 우선적으로 설치해야 한다. 

1. Qt 최신 버전 다운 받기 :  https://www.qt.io/developers/

2. Qt 설치파일 실행하기 

일단적으로 진행하면 되지만, 끝부분에 아래와 같은 메시지가 여러번 나올 것이다. 

일단 무시하고 설치 마무리를 하자. 

 (최신 Xcode를 설치해도 위와 같은 메시지가 나오지만, 무시하고 진행하자)

3. XCode 권한 세팅 

   터미널 모드에서 아래 명령어를 실행하여 권한 설정을 마무리 하자.

sudo xcode-select -s /Applications/Xcode.app/Contents/Developer 

4. Qt Creator 실행 & Example Loading

(초기 실행화면에서 맘에 드는 예제를 불러오자, 나는 Qt 3D: Planet QML Example을 선택) 

(Configure Project 에서 일단 Desktop만 선택)

(좌측 하단의 빌드 모드를 선택하고 제일 아래 빌드 버튼을 눌러 빌드를 진행하자. 제발 에러가 없기를...) 

5. 결과 화면 확인 

모든 개발 프로젝트의 시작은 환경 구축이 반이라고 하지 않았던가요?  ㅎㅎ   이제 반은 한 겁니다. ^^  

자전거를 타면서 Garmin이나 Strava App.을 이용해서 경로를 저장하고 있다.  

그러나 각  App. 이나 서비스를 이용하면서 아쉬움들이 있다. 

그래서 생각한 것이 이 경로들을 모아보면 어떤 의미있는 데이터가 있지않을까?

개발자의 욕망이 동한다.   그래 취미삼아 해보자. 

그런데, 집에는 구형 맥북프로, 오피스텔에는 windows Desktop 멀티 프랫폼에서 동작하는 App.을 개발해보리라...

하지만, 정보가 깜깜이니 페북의 "생활코딩" 그룹에 문의 드렸더니 다양한 정보들을 페친들이 주신다. 

그내용을 아주 간단히 정리해 보았다.  

MS의 Visual Studio 기반에 익숙한 개발자들에겐 C# 기반으로 Mac-OS뿐 아니라, 모바일 iOS나 안드로이드 App도 개발할 수 있는 Xamarin은 분명 크나큰 매력으로 다가온다. 

Java Script기반의 Electon도 역시 매력적이고 파워풀한 도구이다. 

하지만 나는 보다 근본적이고 Low-Level의 기술, 그리고 확장성등에서 Qt를 선택했다.  

자 시작이다.