목차

• History of CNN
  • 신경망의 역사
  • CNN의 역사
• Convolutional Neural NetworK
  • Fully Connected Layer(FC Layer)
• CNN
  • 필터의 연산
  • Activation map의 예제: Convolution
• CNN의 수행 개요
• Spatial dimension
  • stride
  • zero-pad
    • 예시적용
    • 1 x 1 Convolution
    • 프레임워크
• The brain/neuron view of CONV Layer
• Pooling Layer
  • MAX POOLING
  • Pooling Layer의 Design Choice
• Fully Connected Layer (FC layer)

👀 코드 보기 , 🤷‍♀️
이 두개의 아이콘을 누르시면 코드, 개념 부가 설명을 보실 수 있습니다:)

CS231N: Lecture 5강의를 빠짐 없이 정리하였고, 어려운 개념에 대한 보충 설명까지 알기 쉽게 추가해 두었습니다.

History of CNN

전체 개요를 정리해보자면 아래와 같다.

신경망의 역사

1957년: Mark I Perceptron machine 개발

1960년: Adaline and Madaline을 개발

1986: 최초의 Backporp

암흑기

2006: DNN의 학습가능성

2012: NN의 광풍

2012: AlexNet

CNN의 역사

다시 돌아가서 구체적으로 “CNN이 어떻게 유명해졌는지” 에 대해 한 번 알아보도록 하겠다.

1950: 일차시각피질의 뉴런에 관한 연구

1980: neocognitron

1998: Backprob과 gradient-based learning을 적용

2012: CNN의 현대화 바람

현재

Convolutional Neural NetworK

Convolutional Neural Network의 작동 원리에 대해 알아 볼 것이다.

이번에 CNN의 첫 시간이니, CNN이 어떻게 동작하는지에 대해서만 간단하게 이야기해 볼 것이다.

Fully Connected Layer(FC Layer)

본격적인 CNN을 들어가기 전, 그 보다 하위 모델인 FC Layer를 면저 보고 가겠다.

[역할]
어떤 벡터를 가지고 연산 함

[과정]

• 1) 우선 입력으로 32 x 32 x 3 의 이미지가 가 있다고 가정하자
• 2) 이 이미지를 길게 펴서 3072차원의 벡터로 만든다.
• 3) 가중치 W와 벡터를 곱한다. (Wx)
  • 이 예시에서는 W가 10x3072 행렬이다
• 4) 그리고 activation 을 얻는다
  • 이 Layer의 출력이다.
  • 출력: 10개의 행으로 되어있는데 3072 차원의 입력와 내적을 한 결과라고 할 수 있음
  • 내적 결과, 어떤 숫자 하나를 얻게 되는데 이는 그 Neuron의 한 값이라고 할 수 있음
  • 이 예시의 경우 10개의 출력이 있게 됨

[단점]
2) 의 과정에서 이미지를 이미지 자체로 못보고 길게펴서 보기 떄문에 이미지 자체의 픽셀의 위치 정보가 무시되게 됨
그런데 Convolution Layer은 기존의 FC레이어와 달리 Convolution Layer는 기존의 구조를 보존시켜 위의 단점을 보완함.
➡ 기존의 FC Layer가 입력 이미지를 길게 쭉 펴서 이미지 위치 정보를 잃었다면,
➡ CNN은 기존의 이미지 구조를 그대로 유지하여 입력값으로 받아 위치 정보를 유지하게됨.

CNN

이 강의를 보기 전에 이 포스트를 보고오면 훨씬 이해가 잘 될 것이다.

• input image
  • FC Layer와 달리 input 이미지가 한줄로 펴진것이 아닌 이미지가 보존 된 상태로 들어옴
    
• filter
  • 가중치다.
  • input image에 맞춰 가중치도 이와 같은 필터이다.
  • 이 예시에서는 5x5x3 필터가, 이 필터를 가지고 이미지를 슬라이딩하면서 공간적으로 내적을 수행하게 된다.
    

필터의 연산

이제 이것을 어떻게 수행하는지 자세하게 알아보자

[필터 연산]

• 1) 필터의 깉이 확장
  • 우선 필터는 입력의 깊이(Depth)만큼 확장된다.
  • CNN의 하나의 필터는 아주 작은 부분만 취할 수 있다 ➡ 전체 32x32 이미지의 5x5 만 취하는 것
  • 하지만 깊이는 전체 깊이를 전부 취함 ➡ 여기에서는 5 x 5 x 3 가 됨(image: 32 x 32 x 3)
  • 이 깊이는 주로 이미지의 색(RGB)를 의미한다.
    
• 2) 내적
  • 이 필터를 가지고 전체 이미지에 내적을 시킬 것이다.
  • 이 필터를 이미지의 어떤 공간에 겹쳐놓고 내적을 수행한다.
  • 그리고 필터의 각 w와, 이에 해당하는 이미지의 픽셀을 곱해준다
  • 여기에 필터가 5 x 5 x 3 라는건 그만큼 곱셈연산을 한다는 것이다.
  • bias term인 b도 보인다(얜 곱셈이 아니다!)
  • 여기에서는 기본적으로 \(W^{t}x + b\)를 수행한다.
    
• 3) 슬라이딩
  • 그럼 필터 전체의 연산을 보겠다.
  • 실제는 슬라이딩을 하며 각 슬라이딩 구역에 앞에서 살펴본 내적을 하는 것이다.
    • Convolution은 이미지의 좌상단부터 시작한다
    • 그리고 필터의 중앙을 값들을 모은다.
    • 필터의 모든 요소를 가지고 내적을 수행하게 되면 하나의 값을 얻게된다
    • 그리고 슬라이딩한다.
  • Conv연산을 수행하는 값들을 다시 Output activation map의 해당하는 위치에 저장한다.
    

[출력크기가 입력크기와 다른 이유]

• 여기 보면 입력 이미지와 출력 activation map의 차원이 다르다는 것을 알 수 있다.
  • ➡ 입력은 32 x 32 이고 출력은 28 x 28 이다
  • 그래서 우리는 나중에 수학에 대해 설명 할 것이다.
  • 수학적 설명 후엔 이 방법이 차원 적으로 어떻게 작동하는지 정확히 알 수 있다.
    
• 기본적으로는 어떻게 슬라이딩을 할 것인지를 선택할 수 있다.
  • 출력 형을 위와 같이 맞추기 위해선 슬라이딩여부와 관계없이 입력 값을 두 개씩 뽑아서 연산을 수행할 수도 있을 것이다.(하지만 이렇게 하지는 않을 것이다.)
• 출력 행렬의 크기는 슬라이드를 어떻게 하느냐에 따라 다르다.
  • 하지만 보편적으로 사용하는 슬라이딩 방법이 있다

[여러개의 필터 사용]

• 하나의 필터를 가지고 전체 이미지에 Convolution 연산을 수행한다.
  • 그러면 하나의 activation map이라는 출력값을 얻게 된다.
  • 즉 이는 여러개의 필터를 사용하면 여러개의 activation map이라는 출력값을 갖을 수 있다는 것을 의미한다.
• 보통 Convolution Layer에서는 여러개의 필터를 사용한다.
  • 왜냐하면 필터마다 다른 특징을 추출하고 싶기 때문이다.
  • ex) 초록색의 5 x 5 x 3 형태의 두번째 필터
  • 이 녹색 필터를 연산하고 나면, 앞서 계산했던 activate map과 같은 크기의 새로운 map이 만들어집니다.
    
• 우리는 한 Layer에서 원하는 만큼 여러개의 필터를 사용할 수 있다.
  • 가령 5 x 5 필터가 6개가 있다면 총 6개의 activation map을 얻게 될 것이다.
  • 이 경우, 출력 map의 크기는 28 x 28이 되겠다.
    
• 여러개의 필터 활용
  • 위의 필터들을 담은 CNN을 다시 그려보면 아래 그림과 같이 Cov Layer들의 연속된 형태가 될 것이다.
  • 그리고 각각을 쌓아 올리게 되면 아래 그림과 같이 간단한 Linear Layer로 된 Neural Network가 된다.
  • 이제는 그 사이 사이에 activation function을 넣을 것이다(ReLU 같은 것들을 사용 가능)
    
  • 그렇게 되면 Conv-ReLU 가 반복되겠죠 그리고 가끔은 pooling layer도 들어갑니다.
  • 그리고 각 Layer의 출력은 다음 Layer의 입력이 됩니다.
  • 그리고 말씀드렸듯 각 Layer는 여러개의 필터를 가지고 있다.
  • 그리고 각 필터마다 각각의 출력 map을 만든다. ➡ 그러므로 여러개의 Layer들을 쌓고나서 보면 결국 각 필터들이 계층적으로 학습을 하는것을 보게된다.
    

[필터의 계층적 학습]

• 1) low-level feature
  • 앞쪽에 있는 필터들은 low-level feature를 학습하게 된다.
  • 여기선 Edge와 같은것들이 보입니다.
• 2) Mid-level
  • 여기선 좀 더 복잡한 특징을 가지게 된다.
  • 코너나 blobs 등과 같이 보입니다.
• 3) high-level features
  • 그리고 high-level features를 보면 좀 더 객체와 닮은 것들이 출력으로 나오는 것을 볼 수 있다.
• +) 나중 수업에서 객 특징을 어떻게 시각화하는지, 그리고 특징들이 어떻게 학습되는지를 살펴볼 것이다.
  

➡ 위에서 이해하고 넘어가야 하는 것은 특징이 어떻게 생겼고, Layer의 계층에 따라 단순/복잡한 특징을이 존재한다는 것을 아는 것이다.

Activation map의 예제: Convolution

아래는 각 필터가 만든 출력값이다.

[필터 Conv 연산]

• 슬라이드 위쪽엔 5 x 5 필터들을 시각화 한 것을 볼 수 있다.
• 이는 실제 ConvNet을 학습시킨 결과이다.
• 이제 이 각각의 필터를 아래 input image(자동차의 한 부분(모서리와 조명쪽))에 곱해줄 것이다.
  ➡ 그럼 이미지와 필터간 Conv 결과, 한 필터당 하나의 activation map이 나올 것이다.
  

[activation map]

• 위의 연산 결과가 activation map으로 한 필터당 하나의 activation map이 있다는 것을 확인 할 수 있다.
• 그럼 결과를 해석해보자.
• 이 필터는 edge를 찾고 있는 것이다
• 그리고 이 필터를 input image에 슬라이딩 시키면 이 필터와 비슷한 값들은 값이 더 커지게 된다
• 따라서 각 actavation은 이미지가 필터를 통과한 결과가 되며 이미지 중 어느 위치에서 이 필터가 크게 반응하지는지를 보여준다
  (즉 무슨 필터와 더 잘 맞는지를 보여주는 것이다)
  (인풋과 필터가 비슷하면 슬리이딩 시 각 반응이 커지니까)
  

[Convolution]

• 위와 같이 필터에서 activation map을 도출하는 연산을 Convolution이라고 칭한다.
• 우리가 이걸 Convolution이러고 칭하는 이유는 바로 위에 언급한 것이 바로 두 신호 사이에 cov를 하는것과 유사하기 때문이다.
• Conv 식
  
  • 예전에 신호처리에서 Conv를 본 적이 있는 학생이라면 이 식이 correlation 같아 보일 것이다.
  • 우리는 사실 Conv의 뒤집힌 버전을 쓰고 있는 것이다. 하지만 이 수업에서는 이를 더 자세히 다루지는 않겠다.
  • 하지만 손으로 직접 계산해보면 conv에 정확한 정의와 크게 다르지 않을 것이다.
  • 하지만 기본적으로는 필터를 가지고 이미지에 슬라이딩하면서 모든 위치에서 내적을 수행하게 되는 것이다.

CNN의 수행 개요

이전에도 언급했듯이 CNN이 어떻게 수행되는지를 살펴보면, 입력 이미지는 여러 레이어를 통과하게 됩니다.
한번 간단한 예를 들어보겠다.

1) 첫 번째 Conv Layer 후에는 non-linear layer를 통과합니다.

나중에 배우겠지만, non-linear layer로는 ReLU를 가장 많이 사용한다

2) Conv, ReLU, Conv, ReLU를 하고나면 pooling layer를 거치게 된다.

다시 배우겠지만 pooling 은 activation maps의 사이즈를 줄이는 역할을 한다.

3) 그리고 CNN의 끝단에는 FC-Layer가 있다.

FC-Layer는 우에서 배운 완전 연결 레이어이다.
FC-Layer는 마지막 Conv 출력 모두와 연결되어 있으며 최종 스코어를 계산하기위해 사용한다.

Spatial dimension

그럼 이제 “Spatial dimension”에 대해 알아보겠다.

자 여기 32 x 32 x 3 이미지가 있다.
그리고 이 이미지를 5 x 5 x 3 필터를 가지고 연산을 수행할 것이다.

이제 어떻게 이 둘을 가지고 28 x 28 activation map이 생기는지를 알아보겠다.

간단한 예시로 7 x 7 입력에 3 x 3 필터가 있다고 해보자.
이제 이 필터를 이미지의 왼상단부터 씌운다
그리고 이제 해당 값들의 내적을 수행할 것이다.
이 값들은 activation map의 좌 상단에 위치하게 된다

그리고 다음 단계로 필터를 오른쪽으로 한칸 움직인다.
그러면 값 하나를 또 얻을 수 있을 것이다.

이렇게 계속 반복하게 되면 결국 5 x 5의 출력을 얻게 된다
이 슬라이드 필터는 좌우 방향으로는 5번만 수행가능하고 상하 방향으로도 5번만 수행가능하다.

stride

그리고 여기에는 다양한 방법을 이용해 볼 수 있다.

[stride란?]
지금까지는 슬라이딩을 한칸씩만 진행했었다.
이때 한번 슬라이드시 움직이는 칸의 개수를 “stride” 라고 한다.

지금까지는 stide = 1을 사용했다. 그럼 stride = 2 일때를 보자

[stride = 2]
다시 왼쪽 위부터 시작해서 움직인다.
다만 여기에서는 1칸은 건너뛰고 그 다음칸으로 이동해서 계산을 한다.

이렇게 tride가 2 이면, 3칸을 최대로 못움직이고 결국 출력은 3 x 3 이 된다.

[stride = 3]
stride가 3인 경우에는 이미지를 슬라이딩해도 필터가 모든 이미지를 커버할 수 없다.
이 예시에서 stride 가 3이면 이미지에 잘 맞아떨어지지 않는다.
실제로 이렇게 되면 잘 동작하지 않으므로 이렇게 하면 안된다.
➡ 이로 인해 불균형한 결과를 볼 수도 있기 때문이다.

[stride 수식]
그래서 상황에 따라 출력의 사이즈가 어떻게 될 것인지를 계산할 수 있는 아주 유용한 수식이 있다.
Output size: \({(N - F) / stride} + 1\),

• 입력의 차원: N
• 필터 사이즈: F
• 스트라이드: stride
  ➡ 이를 이용해서 어떤 필터 크기를 사용해야 하는지를 알 수 있다
  ➡ 어떤 stride를 사용했을때 이미지에 꼭 맞는지(주로 정수값이 나와야한다), 그리고 몇 개의 출력값을 낼 수 있는지도 알 수 있다.

zero-pad

역할: 출력의 사이즈 의도대로 만들어 줌.
이는 이전 학생의 질문이었던 “코너는 어떻게 처리하나요” 와도 연결되는 문제다.

작동: 이미지의 가장자리에 0을 채워 넣음
➡ 이렇게 되면 좌 상단의 자리에서도 필터 연산을 수행할 수 있게 된다.

[예시]
그럼 위의 예시에 zero-padding을 해보자

• 7 x 7 입력
• 3 x 3 필터 연산을 수행할 때
• stride를 1
• Output size: \({(N - F) / stride} + 1\),
  • zero-padding 전: \({(7 - 3) / 1} + 1 = 5\),
  • zero-padding 후: \({(7+2 - 3) / 1} + 1 = 7\),
• 즉 이를 통해 출력의 사이즈를 조정할 수 있다.
  

예시적용

자 그럼 몇가지 예를 더 살펴보자.

• 입력 이미지: 32 x 32 x 3
• 10개의 5 x 5 필터
• stride: 1
• padding: 2
  

[Q2: 이 조건에서 출력사이즈는 몇이 될까?]
이전 공식을 생각해보면,

• 입력 사이즈 F: 32 ➡ padding으로 이 값을 2씩 증가시킴
  • 32+{2* 2} ➡ 즉 2를 양쪽(\(* 2\))에 추가한다.
• 필터사이즈 = 5
  ➡ Output size: \({(32+2* 2 - 5) / 1} + 1 = 32\),
  ➡ 32x32

그런데,이러한 결과가 필터 10개에 의해 10번 연산되므로,
즉 전체 필터의 갯수는 10개이니 10개의 activation map이 나올 것이다.
최종 출력사이즈는
➡ 32x32x10이다.

[Q1: 이 레이어의 파라미터는 총 몇개일까?]
우리에게 10개의 5 x 5 필터가 있다는 것이 힌트이다.

• ✨ 필터가 입력의 Depth만큼도 통과한다 ➡ 필터가 입력의 전체 depth를 통과하게 된다.
• bias term도 있다 ➡ 5 x 5 x 3 가중치에는 하나의 bias term이 들어있다.
• 즉, 필터당 파라미터 개수
  • \(5* 5* 3 + 1 = 76\),
    • \(5* 5\) ➡ filters의 크기
    • \(* 3\) ➡ 필터가 입력의 Depth만큼 통과
    • \(+ 1\) ➡ for bias
• 그러므로 전체 파라미터 개수는,
  • \(76* 10 = 760\),
    • \(* 10\) ➡ 필터의 개수

1 x 1 Convolution

이제 1 x 1 Convolution에 대해 말해봅시다.

1 x 1 Convolution도 의미가 있다.
똑같이 슬라이딩 하면서 값을 구하기 때문이다.

하지만 여기에서는 5x5 처럼 공간적인 정보를 이용하지 않지만, 이 필터는 여전히 Depth만큼 연산을 수행한다.

그러니 1 x 1 Conv는 입력의 전체 Depth에 대한 내적을 수행하는 것과 같다.

• 입력: 56x56x64
• Conv: 32개의 1x1 필터로 연산 수행
• 출력: 56x56x32

프레임워크

[TORCH]

• Torch에서는 다양한 레이어가 정의되어 있음
• 그리고 그 레이어의 forward/backward pass가 구현되어 있음
• spatial convolution이 바로 그 중 하나
  • 이로 구현된 Conv Layer 예제
  • 여기에 arguments를 가지고 여러 디자인을 선택할 수 있음
  • 입/출력 사이즈를 정할수도 있음
  • 커널 사이즈, Padding 와 같은 것들을 전부 정해줄 수 있음
    

[Caffe]

• 또한 다른 프레임워크
• 위와 비슷비슷 함
• 아래 그림을 보면, 네트워크가 정의되어있음
  • Caffe에서는 proto text라는 파일을 이용함 ➡ 여기에 디자인을 명시
  • 여기 conv layer의 예시가 있는데 출력의 사이즈나 필터의 갯수, 커널 사이즈 stride 등등을 여기에 명시하는 것임
    

The brain/neuron view of CONV Layer

자 그럼 Conv Layer을 Brain Neuron의 관점에서 살펴보겠다

뉴런에 대해서는 지난 시간에 조금 배웠었댜.

[공통점]
Conv Layer를 보면, 전체 이미지의 특정 위치에 필터를 가지고 내적을 수행했다.
그러면 하나의 값을 얻게된다

이는 여기 오른쪽 그림의 내적과 같은 아이디어이다. ➡ 입력이 들어오면 Ws(필터 값)와 곱하고, 하나의 값을 출력

[차이점]

• 가장 큰 차이점은 우리의 뉴런은 Local connectivity 를 가지고 있다는 것임
• Conv Layer처럼 슬라이딩을 하는게 아니라 특정 부분에만 연결되어 있음
  • 하나의 뉴런은 한 부분만 처리하고, 그런 뉴런들이 모여서 전체 이미지를 처리하는 것임
• 이런 식으로 spatial structure를 유지한 채로 Layer의 출력인 activation map을 만드는 것임

[중요 용어 정리]

• Receptive field
  • 한 뉴런이 한 번에 수용할 수 있는 영역을 의미
  • 즉, 5 x 5 필터 ➡ 한 뉴런의 “Receptive field” 가 5 x 5 다
    

[필터의 의미]
그 필터가 슬라이딩하면서 계산을 하는데 중요한 것은 필터 값이 항상 같다는 것이다.
그럼 이제 출력 값에 대해 알아보면 출력 값은 여기 보이는 파란색 Volume 처럼 생길 것이다.
크기는 28 x 28 x (필터의 갯수) 가 될 것이다.

• 필터가 총 5종류가 있는 경우라면 출력은 28 x 28 x 5 인 3D Grid가 된다.
  ➡ 그러면 이제 어떤 한 점을 찍어서 depth방향으로 바라보면(파란색 Map 안에 5개 점) 이 5개의 점은 정확하게 같은 지역에서 추출된 서로 다른 특징이라고 할 수 있다.
  ➡ 하지만 각 필터는 서로 다른 특징을 추출한다.
  ➡ 그러므로 각 필터는 이미지에서 같은 지역을 돌더라도 서로 다른 특징을 뽑아낸다고 볼 수 있다
  

Pooling Layer

지금까지 Conv Layer 꽤 심도깊게 살펴봤다.
CNN에는 Conv Layer와 Pooling Layer, 그리고 다른 비선형연산(ex.ReLU)이 있었다.
이 중 설명 안한 Pooling Layer를 살펴보겠다.

[Pooling Layer]

• Representation들을 더 작고 관리하게 쉽게 해줌
  • Representation을 작게 만드는 이유: 작아지면 파라미터의 수가 줄게되고, 일종의 공간적인 불변성(invaiance)을 얻을 수도 있음
• Downsample 을 수행함.
  • 가령 224 x 224 x 64 인 입력이 있다면, 이를 112 x 112 x 64 로 “공간적”으로 줄여줌.
• ✨”Depth”에는 아무 짓도 하지 않음
  • 따라서 Depth에는 영향을 주지 않음
• Max Pooling이 일반적으로 쓰임
• Pooling에도 필터 크기를 정할 수 있음
  • 얼마만큼의 영역을 한 번에 묶을지를 정하는 것임

MAX POOLING

그럼 풀링의 한 종류인 MAX POOLING의 방법을 보겠다.

[조건]

• 2 x 2 필터
• Stride: 2

[방법]
Conv Layer가 했던 것 처럼 슬라이딩하면서 연산을 수행
대신 내적을 하는 것이 아니라, 필터 안에 가장 큰 값 중에 하나를 고르는 것임.

• 빨간색 영역을 보면 6이 제일 큼
• 녹색을 보면 8이 제일 큼
• 나머지도 마찬가지

Pooling Layer의 Design Choice

Pooling Layer는 몇가지 Design Choice가 존재함.

입력이 W(width), H(Height), D(Depth) 면,
이를 통해 Filter Size를 정해줄 수 있음

여기에 Stride까지 정해주면, 앞서 Conv Layer에서 사용했던 수식을 그대로 이용해서 Design Choice를 할 수 있음

즉, \((W - Filter Size) / Stride + 1\)로 구하면 됨

[특징]
pooling layer에서는 보통 padding을 하지 않음
➡ 우리는 downsampling하고 싶고, 또한 Conv 때처럼 코너의 값을 계산하지 못하는 경우도 없기 때문
➡ Pooling 할때는 padding을 고려하지 않아도 되고 그냥 downsample만 하면 됨

[common choice]
가장 널리 쓰이는 것은,

• 필터사이즈: 2 x 2, 3 x 3
• stride: 2
• 필터가 3 x 3 일때도 보통 stride는 2 x 2 로 함
  ➡ 앞서 언급했듯, 2 x 2 가 좀더 자주 쓰임

Fully Connected Layer (FC layer)

우리는 지금 Conv Layer를 배우고 있다 ReLU Layer는 지난 강의에 했던것과 같다.
그리고 downsampling을 하고싶을때는 Pooling을 섞어준다.

그리고 여기 마지막에는 FC Layer가 있다.
➡ 우리가 이전에 살펴본 FC와 똑같다.

[CNN에서의 FC layer 역할]
위 그림의 마지막 Conv Layer의 출력은 3차원 volume으로 이루어진다.
1) 이 값들을 전부 펴서(stretch) 1차원 벡터로 만든다.
2) 그리고 이를 가지고 FC Layer의 입력으로 사용한다. ➡ Conv Net의 모든 출력을 서로 연결
3) 이 마지막 Layer부터는 공간적 구조(spatial structure)를 신경쓰지 않게 됨
4) 전부 다 하나로 통합시키고는 최종적인 추론을 함
5) 그렇게 되면 Score가 출력으로 나오게 됨

➕ demo

• 데모 보러가기
• 이 Demo는 CIFAR-10을 학습시킴.
• 이 Demo가 좋은점은 실제로 Filter가 어떻게 생겼고 Activation Map이 어떻게 생겼는지를 볼 수 있다는 점임
• 첫 레이어가 무슨 그림인 지 비교적 알기 쉬움
• 하지만 더 높은 Layer로 가면 갈수록 해당 Layer가 무슨 일을 하는지 해석하기가 점점 힘들어짐
• Demo를 보며 흐름이 어떻게되고 출력이 어떻게 되는지를 전체적으로 살펴보는 것 만으로도 좋음