[학습] 모두를 위한 딥러닝 #10 Lec 11. Lab 11 Convolution Neural Net

Lec 11  ConvNet의 Conv 레이어 만들기

1.  Concept of Convolution

 고양이 뇌 실험을 통해 스크린의 변화를 인지하는 데 사용하는 뇌의 기능은 뇌 전체가 아닌 일부 뇌만을 사용함.

 신경망을 사용할때 전체를 다 파악하는 것이 아닌 부분을 판단하는 방식을 적요하는 방법 

2.  Size of filter

3.  Convolution Layers

4. Pooling Layer

 

convolution Layer와 Pooling Layer와의 차이는 Convolution Layer의 weight는 학습을 통해서 결정되지만 Pooling Layer는 정해진 방식에 따라 적용됨.  ( 학습하는 것이 아닌, 대표값 정하는 방식으로)

5. Case Study

LeCun et. al

2012년 ImageNet 경진 대회 우승   

현재는 Normalization Layer는 사용하지 않음

2014년 ImageNet 경진 대회 우승

2015년 다수의 경진 대회 우승

Revolution of Depth

  - fast forward 기법 적용 :  계산값을 2-3 단계 이후 결과값이 Jump하여 적용 

2016, 2017  이미지넷 우승은?

2016

2.99%의 Trimps-Soushen 팀. (The Third Research Institute of the Ministry of Public Security, 중국 공안부 산하 연구팀). ResNet, Inception, Inception-Resnet를 혼합하여 적용 

2017

사물 종류별 검출 성능 :  남경정보과학기술대(NUIST, 중국 ) 

평균 검출 정확도 : 남경정보과학기술대(NUIST, 중국) , 0.61  

2017년 경진대회를 끝으로 이미지넷 경진 대회는 더 진행하지 않는다고 함.

Lab 11  CNN 

1. CNN Process ( 3 step)

2. CNN with Tensorflow

  1) conv2d 

  2) conv2d 

  3) MNIST Data Load

  4) apply Conv Layer

  5) apply Max Pooling

이후 MNIST 데이터에 대한 convolution layer 적용은 

https://docs.google.com/presentation/d/1h90rpyWiVlwkuCtMgTLfAVKIiqJrFunnKR7dqPNtI6I/edit#slide=id.g1dc2d142ea_0_399 

에서 확인