목차

• Overview
• Activation Function
  • Sigmoid
  • tanh
  • ReLU
  • Leaky ReLU
  • PReLU
  • ELU
  • Maxout Neuron
  • 참고
• Data Preprocessing
  • zero mean의 한계
• Weight Initialization
  • 가중치 초기화: Small random numbers
  • 가중치 초기화: large number
  • 가중치 초기화: Xavier initialization
• Batch Normalization
• Babysitting the Learning Process
• Hyperparameter Optimization
  • cross-validation
  • grid search

👀 코드 보기 , 🤷‍♀️
이 두개의 아이콘을 누르시면 코드, 개념 부가 설명을 보실 수 있습니다:)

CS231N: Lecture 6강의를 빠짐 없이 정리하였고, 어려운 개념에 대한 보충 설명까지 알기 쉽게 추가해 두었습니다.

Overview

1. One time setup

• 우선 NN 학습을 처음 시작할때 필요한 기본 설정에 대해 알아볼 것임
• activation functions(활성함수 선택), preprocessing(데이터 전처리), weight initialization(가중치 초기화), regularization, gradient checking

2. Training dynamics
Training dynamics에 대해서도 다룰 것임

• babysitting the learning process (학습이 잘 되고 있는지 확인하는 법에 대해 배울 것)
• parameter updates (어떤 방식으로 파라미터를 업데이트할 것인지에 대해서도 배울 것)
• hyperparameter optimization (가장 적절한 하이퍼파라미터를 찾기 위해 하이퍼파라미터를 Optimization 하는 방법도 배울 것)

3. Evaluation
model ensembles

• 평가에 대해서도 이야기 할 것
• Model ensemble에 대해서도 배움

Activation Function

자 먼저 지난시간에 봤던 Layer(ex_FC, CNN)를 살펴보면 데이터 입력이 들어오면 가중치와 곱한다.
그 다음 활성함수, 즉 비선형 연산을 거친다.

활성함수의 예시를 보겠다.
이번 시간에는 좀 더 다양한 종류의 활성함수와 그들간의 Trade-off에 대해 다뤄보도록 하겠다.

Sigmoid

[수식 & 그래프]

[특징]

• 하는 일은 각 입력을 받아서 그 입력을 [0, 1] 사이의 값이 되도록 해줌.
• 입력의 값이 크면 Sigmoid의 출력은 1에 가까움 값이 작으면 0에 가까울 것임.
• 0 근처 구간(rigime)을 보면 선형스러움 (/ 모양)
• 역사적으로 아주 유명: Sigmoid가 일종의, 뉴런의 firing rate를 saturation 시키는 것으로 해석할 수 있기 때문임.
  • 어떤 값이 0에서 1 사이의 값을 가지면, 이를 firing rate라고 생각할 수 있을 것임
  • 나중에 배울 ReLU가 생물학적 타당성이 더 크다는게 밝혀졌지만 Sigmoid 또한 이런 식으로 해석할 수 있다는 점을 알고 넘어가면 된다.

[문제점]
Sigmoid에는 3가지 문제점이 존재한다

1) Saturated neurons “kill” the gradients

2) Sigmoid outputs are not zero-centered

3) exp() is a bit compute expensive

tanh

sigmoid 랑 유사하지만 범위가 [-1 , 1]

[수식 & 그래프]

[특징]

• 문제 2) 해결: sigmoid와 가장 큰 차이점이 있다면, 이제 zero-centered 라는 것이다.
• 문제 1) 존재: 하지만 saturation때문에 여전히 Gradient가 죽음(여전히 gradient가 평평해 지는 구간존재)
• tanh는 sigmoid보다는 조금 낫지만 그래도 여전히 문제점 존재.

ReLU

CNN 강의할 때 본 적 있을 것이다.
Conv layer들 사이 사이에 ReLU가 있었다

[수식 & 그래프]

[특징]

• 이 함수는 element-wise 연산을 수행하며 입력이 음수면 값이 0이 된다, 그리고 양수면 입력 값 그대로를 출력한다.
• ReLU는 상당히 자주 쓰임
• ImageNet 2012에서 우승한 AlexNet이 처음 ReLU를 사용하기 시작함

[문제점]
그리고 기존 sigmoid와 tanh한테 있었던 문제점들을 한번 살펴보자면,
1) Saturated neurons “kill” the gradients(반만 해결)

2) Sigmoid outputs are not zero-centered(해결 못함)

3) exp() is a bit compute expensive(해결)

Leaky ReLU

ReLU를 조금 수정한 버전 중 하나

[수식 & 그래프]

[특징]

• ReLU와 유사하지만 negarive regime에서 더 이상 0이 아님

[문제점]
negative에도 기울기를 살짝 주게 되면 앞서 설명했던 문제를 상당 부분 해결하게 됨
1) Saturated neurons “kill” the gradients(해결)

2) Sigmoid outputs are not zero-centered(해결)

3) exp() is a bit compute expensive(해결)

PReLU

ReLU를 조금 수정한 버전 중 하나
= parametric rectifier

[수식]

[특징]

• PReLU는 negative space에 기울기가 있다는 점에서 Leaky ReLU와 유사함.
• 다만 여기에서는 기울기가 alpha 라는 파라미터로 결정됨.
• alpha를 딱 정해놓는 것이 아니라 backpro으로 학습시키는 파라미터로 만든 것임.
  ➡ 활성함수가 조금 더 유연해 질 수 있음

ELU

ReLU를 조금 수정한 버전 중 하나
= Exponential Linear Units

[수식 & 그래프]

[특징]

• ELU는 ReLu의 이점을 그대로 가져옴
• 하지만 ELU는 zero-mean 에 가까운 출력값을 보임 (zero-mean에 가까운 출력은 앞서 leaky ReLU, PReLU 가 가진 이점이었음)
• 하지만 Leaky ReLU와 비교해보면 ELU는 negative에서 “기울기” 를 가지는 것 대신에 또 다시 “saturation” 하게된다.
  ➡ ELU가 주장하는건 이런 saturation이 좀 더 잡음(noise)에 강인할 수 있다는 것이다.
  ➡ 이런 deactivation이 좀더 강인함을 줄 수 있다고 주장한다.(ELU의 논문에서는 왜 ELU가 더 강인한지에 대해 타당성을 다양하게 제시하고 있다)
• ELU는 ReLU와 Leaky ReLU의 중간 정도라고 보면 된다.
  • ELU는 Leaky ReLU처럼 zero-mean의 출력을 내지만, Saturation의 관점에서 ReLU의 특성도 가지고 있다.

Maxout Neuron

이건 지금까지 본 활성함수들과는 좀 다르게 생겼다.

[수식 & 그래프]

[특징]

• 입력을 받아드리는 특정한 기본형식을 미리 정의하지 않는다.
  대신 \((w_1에 x를 내적한 값 + b_1)\)과 \((w_2에 x를 내적한 값 + b_2)\)의 최댓값을 사용한다.
• ReLU와 leaky ReLU의 좀 더 일반화된 형태이다.
  왜냐하면 Maxout은 이 두 개의 선형함수를 취하기 때문이다.
• Maxout또한 선형이기 때문에 saturation 되지 않으며 gradient가 죽지 않을 것이다.

[문제점]

• 뉴런당 파라미터의 수가 두배가 된다는 것
  ➡ 이제는 W1과 W2를 지니고 있어야 한다.

참고

지금까지 다양한 활성함수를 살펴보았다.

• 실제로 가장 많이들 쓰는 것은 ReLU 이다.
  ➡ 다만 ReLU를 사용하려면 leraning rate를 아주 조심스럽게 결정해야 할 것이다.
  learning rate에 관해서는 이번 강의의 후반부에 좀 더 다뤄보도록 하겠다.

• 또한 여러분은 Leaky ReLU, Maxout, ELU와 같은 것들도 써볼 수 있겠다.
  하지만 이들은 아직 실험단계이긴 하다.

• 여러분들의 문제에 맞춰 어떤 활성함수가 잘 동작하는지 확인해 볼 수 있을 것이다.
  tanh도 써볼 수 있지만 대게는 ReLU와 ReLU의 변종들이 좀 더 잘 동작한다고 보면 된다.

• Sigmoid는 사용하지 않는 편이 좋습니다. 가장 구식이고 요즘은 LU 패밀리 계열이 더 잘 동작한다.

Data Preprocessing

자 그럼 이제 데이터 전처리에 대해 배워보겠다.
지금까지는 활성 함수에 대해 배워보았다.

이제는 실제로 네트워크를 훈련시켜 보려 한다.
모델을 트레이닝 하기 전 모델을 학습시킬 입력 데이터는 전처리 해준다.

가장 대표적인 전처리 과정은 “zero-mean”으로 만들고 “normalize” 하는 것이다.
normalization은 보통 표준편차로 한다.

[전처리를 하는 이유]
앞서 zero-centering에 대해 다룬 적이 있었다.(입력이 전부 positive인 경우)
➡ 그러면 모든 뉴런이 positive인 gradient를 얻게 된다.
➡ 이는 최적하지 못한(suboptimal) 최적화가 된다.
데이터가 전부 positive 일 때 뿐만이 아니라 0 이거나 전부 negative일 경우에도 이런 일은 발생하곤 한다.

그러므로 normalization을 해주는 이유는 모든 차원이 동일한 범위 안에 있게 해줘서 전부 동등한 기여(contribute)를 하게 하는 것이다.

[이미지 전처리]
실제로는 이미지의 경우 전처리로 zero-centering 정도만 해준다.
이미지의 경우는 normalization 하지는 않는다. 왜냐하면 이미지는 이미 각 차원 간에 스케일이 어느정도 맞춰져 있기 때문이다.
따라서 스케일이 다양한 여러 ML 문제와는 달리 이미지에서는 normalization을 엄청 잘 해줄 필요가 없다.

그리고 Machine learning 에서는 PCA나 whitening 같은 더 복잡한 전처리 과정도 있긴 한다만,
이미지에서는 단순히 zero-mean 정도만 사용하고 normalization 그 밖의 여러 복잡한 방법들은 잘 안쓴다.

일반적으로는 이미지를 다룰 때는 굳이 입력을 더 낮은 차원으로 projection 시키지 않는다.
그 대표적인 예로는 CNN이 있는데, CNN에서는 오히려 원본 이미지 자체의 spatial 정보를 이용해서 이미지의 spatial structure를 얻을 수 있도록 한다.

평균 값은 전체 Training data에서 계산

보통 입력이미지의 사이즈를 서로 맞춰주는데 가령 32x32x3 이고 네트워크에 들어가기 전에 평균값을 빼주게 된다.
그리고 Test time의 이미지에도 Training time에 계산한 평균 값으로 빼주게 된다.

실제로 일부 네트워크는 채널 전체의 평균을 구하지 않고 채널마다 평균을 독립적으로 계산하는 경우도 있다.
➡ 여기서 채널별로 평균이 비슷할 것인지 아니면 독립적으로 계산해야 할 것인지는 여러분이 판단하기 나름이다.
➡ AlexNet 이후 VGGNet 같은 네트워크가 이러한 형태인데 추후에 다시 다루도록 하겠다.

zero mean의 한계

우리가 수행 할 전처리는 zero mean 입니다. 앞서 sigmoid 에게는 zero-mean이 필요하다고 했다.

데이터 전처리가 sigmoid의 zero-mean 문제를 단지 “첫 번째” 레이어에서만 해결할 수 있을 것이다.

처음에는 입력 이미지가 zero-mean 이므로 해결 할 순 있겠으나 하지만 그 다음 레이어부터는 똑같은 문제가 반복될 것이다.
Deep network라면 점점 더 심해질 것이다.
즉, 가면 갈수록 더 non-zero-mean 을 겪게 될 것이다.

따라서 이미지 전처리가 Sigmoid에서의 문제를 해결하기에는 충분하지 않을 것이이다.

Weight Initialization

이제 weight를 어떻게 초기화시켜야 하는지를 알아보겠다.

“Two Layer Neural Network” 예시를 한번 보자.
우리가 할 일은 가중치 업데이트이다.

맨 처음에 어떤 초기 가중치들이 있고 gradient를 계산해서 가중치를 업데이트할 것이다.

[첫 번째 질문: “모든 가중치 = 0” 이면 어떻게 될까?]
즉, 모든 파라미터를 0으로 세팅하면 어떻게될까라는 질문이다.

가중치 초기화: Small random numbers

[방법]
초기화 문제를 해결하는 첫번째 방법은 임의의 작은 값으로 초기화하는 것이다.
이 경우 초기 W를 표준정규분포(standard gaussian)에서 샘플링한다.
그리고 좀 더 작은 값을 위해 스케일링을 해준다. ➡ 0.01을 나눠 표준편차를 1e-2 즉 0.01로 만들어준다.
이런 식으로 모든 가중치를 임의의 값으로 초기화한다.
여러분의 네트워크가 작은 네트워크(symmetry breaking에 뭐 이정도)라면 이 방법으로도 충분하다.

[문제]
하지만 이 방법은 더 깊은 네트워크에서 문제가 생길 수 있다.
이게 어떤 문제가 생기는지 조금 더 깊은 네트워크를 가지고 아래 실험으로 알아보겠다.

• setting
• 여기 레이어당 500개의 뉴런이 있는 10개의 레이어로 이루어진 네트워크가 있다.
  • nonlinearities로는 tanh를 사용해보자.
  • 그리고 가중치는 “임의의 작은 값” 으로 초기화시킨다.
    데이터를 랜덤으로 만들어주고 이 데이터를 forward pass시켜보겠다.
    그리고 각 레이어별 activations 수치를 통계화 시켜보겠다.
• 분석
• 여기 수치들의 결과는 각 레이어 출력의 평균과 평균과 표준편차를 계산한 것이다.
  
• 첫번째 레이어
  
  • (왼쪽 그래프) 평균은 항상 0 근처에 있음.(tanh 특성상)
    • X와 W를 내적한 값에 tanh를 취한 후 그 값을 저장하는데, tanh가 zero-centered 이니까 평균이 0에 가까운건 당연하다.
  • (오른쪽 그래프, 아래 히스토그램) 표준편차는 아주 가파르게 줄어들어서 0에 수렴
    • 첫 번째 레이어에서는 가우시안스럽게 생긴 좋은 분포를 형성하고 있는것을 볼 수 있다.
    • 하지만 문제는 우리가 W를 곱하면 곱할수록 W가 너무 작은 값들이라서 출력 값이 급격히 줄어드는 것이다(결국 0이 된다)
      ➡ 그래서 모든 활성함수 결과가 0이 된다.
• backwards pass로 다시한번 생각 . 방금 전까지 한 것을 forward pass했다고 가정해보고 이제 gradient를 구해보자
  각 가중치들에 해당하는 gradient가
  • 위의 경우는 각 레이어의 “입력” 이 엄청 작은 것이므로 입력 값이 점점 0에 수렴한다.
    ➡ Backporp을 생각해보면 “upstream gradient”가 점점 전파되는 것이다.
  • 그럼 현재 가중치를 업데이트하려면 “upstream gradient”에 local gradient를 곱해주면 된다.(앞에서 배웠다)
    우선 \(W_X\)를 \(W\)에 대해 미분해보면 local gradient는 입력 \(X\)가 된다.
    이렇게 생각해보면 앞서 다뤘던 문제와 유사한 문제가 생긴다는 것을 알 수 있다.
    ➡ X가 엄청 작은 값이기 때문에 gradient도 작을 것이고 결국 업데이트가 잘 일어나지 않는다.

이런 실험은 gradient의 흐름이 네트워크에 어떤 영향을 미치는지 생각해 볼 수 있는 좋은 예시이다.

이제는 forward pass의 형태를 살펴보고는 이런 경우 gradient가 어떤 식으로 전파되는지 짐작 할 수 있을 것이다.

그리고 다양한 입력 타입에 따라 weight와 gradient가 어떤 영향을 미치는지도 생각해 볼 수 있다. 또한 gradients가 연결되면서(chaining) 어떤 식으로 전파(flowing back)되는지를 한번 생각해본다면 gradient를 backprop하는 과정은 그 반대이다.
upstream gradient에 W의 gradient인 X를 곱한다.
여기서 입력 X은 어떤 내적(dot product)의 결과이다.
또한 backward pass의 과정에서 upstream gradient를 구하는 것은 현재 upstream에 가중치를 곱하는 것이다.
➡ 우리는 W를 계속해서 곱하기 때문에 Backwork pass에서도 Forward 처럼 점점 gradient값이 작아지게 된다.
➡ 따라서 upstream gradients는 0으로 수렴하게 된다.

가중치 초기화: large number

지금까지는 가중치가 엄청 작을 때 발생하는 문제를 살펴보았다.
그렇다면 가중치를 좀 더 큰 값으로 초기화하면 어떨지 생각해보자.

[가중치 편차 = 1]
가중치의 편차를 0.01 이 아니라 1로 하면 어떻게 될까?(가중치가 전보다 크다)
이렇게 큰 가중치를 통과한 출력 \(W_X\)를 구하고 이를 tanh를 거치게 된다면 어떨까?

앞서 tanh의 입력에 따라 어떤 일이 발생하는지 배웠다.
그렇다면 문제가 뭘까?
➡ 값들이 saturation 될 것임

가중치가 큰 값을 가지므로 tanh의 출력은 항상 saturation될 것이다.
➡ 출력이 항상 -1 이거나 +1 일 것이다.

앞서 말했듯 값이 saturation 될 것이고 gradient는 0이 된다.
➡ 가중치 업데이트가 일어나지 않음

[평가]
결국 적절한 가중치를 얻기는 너무 어려움
너무 작으면 사라져버리고 너무 크면 saturation되어 버림

그래서 사람들이 어떻게 하면 가중치 초기화를 잘 할 수 있을까 하고 열심히 고민했음

가중치 초기화: Xavier initialization

널리 알려진 방법 중 하나로 Glorot가 2010에 발표한 논문이다.

자 그럼 맨 위에 W의 공식을 한번 보겠다.

Standard gaussian으로 뽑은 값을 “입력의 수” 로 스케일링해준다.(\(Xavier 초깃값(1/√n)\))
즉, 각 뉴런의 가중치 벡터를 w = np.random.randn(n) / sqrt(n)로 초기화

자세한 수식, 설명 보기

[역할]

• 기본적으로 Xavier initialization가 하는 일은 입/출력의 분산을 맞춰주는 것이다.
• 그리고 이 수식을 통해서 직관적으로 이해할 수 있는 것은,
  입력의 수가 작으면 더 작은 값으로 나누고 좀 더 큰 값을 얻는다.
• 그리고 우리는 더 큰 가중치가 필요하다.
  왜냐하면 작은 입력의 수가 가중치와 곱해지기 때문에, 가중치가 더 커야만 출력의 분산 만큼 큰 값을 얻을 수 있기 때문이다.
• 반대로 입력의 수가 많은 경우에는 더 작은 가중치가 필요하다.

[사용]
각 레이어의 입력이 Unit gaussian이길 원한다면 이런 류의 초기화 기법을 사용해 볼 수 있다.
각 레이어의 입력을 Unit gaussian스럽게(approximately) 만들어 줄 수 있다.
여기서 가정하는 것은 현재 Linear activation이 있다고 가정하는 것이다.
가령 tanh의 경우 우리가 지금 tanh의 active region안에 있다고 가정하는 것이다.

[❌ 문제]
ReLU를 쓰면 잘 동작하지 않는다.
ReLU를 쓰면 무슨 일이 일어나는지를 보면,
ReLU는 출력의 절반을 죽여 그 절반은 매번 0이 된다. ➡ 그래서 결국 출력의 분산을 반토막 내버린다.
그러므로 이전과 같은 가정을 해버리면 ReLU에서는 잘 작동하지 않는 ➡ 값이 너무 작아지는 것이다.
위에 보이는 것이 그런 현상인데 분포가 또 줄어들기 시작한다.
점점 더 많은 값들이 0이 되고 결국은 비활성(deactivated) 되어버린다.

[⭕ 해결]
이 문제를 해결하기 위한 일부 논문이 있는데 여기에서는 추가적으로 2를 곱해준다. \(√(2/n)\)
이는 뉴런 들 중 절반이 없어진다는 사실을 고려하기 위해서이다.
일제 입력은 반밖에 안들어가므로 반으로 나눠주는 텀을 추가적으로 더해 주는 것이고 실제로 잘 동작한다.
결과를 보면 전체적으로 좋은 분포를 형성하고 있는것을 볼 수 있다.
실제로 이 작은 변화는 트레이닝에 있어서 엄청난 차이를 보인다.

[INSIGHT]
가령 일부 논문을 보면 그런 차이가 트레이닝이 정말 잘 되거나 하나도 안되거나를 결정하는 결과를 보이기도 한다.
적절한 초기화는 여전히 활발이 연구되는 분야이다.
초기화는 우선 Xavier Initialization을 추천하며 그 밖에 다른 방법을 시도해 보는 것도 좋을 것이다.

Batch Normalization

gaussian의 범위로 activation을 유지시키는 것에 관련한 또 다른 아이디어를 하나 소개하겠다.

우리는 레이어의 출력이 unit gaussian 이길 바란다.
➡ Batch normalization이라 불리는 이 아이디어는 그렇다면 그렇게 만들어보자 하는 것이다.
그냥 강제로 그렇게 만들어보자

[목표]
어떤 레이어로부터 나온 Batch 단위 만큼의 activations 이 있다고 했을때, 우린 이 값들이 Unit gaussian이기를 원한다.
누구나 이 데이터를 Unit Gaussian으로 (empirically) 만들 수 있다.
현재 Batch에서 계산한 mean과 variance를 이용해서 Normalization 해 볼 수 있을 것이다.
가중치를 잘 초기화 시키는 것 대신에 학습 할 때 마다 각 레이어에 이런 일을 해줘서 모든 레이어가 Unit gaussian이 되도록 해준다.
그래서 이제부터 할 일은 네트워크의 forward pass 동안에 그렇게 되도록 “명시적으로” 만들어 주는 것이다.

[동작 방법]
각 뉴런을 Batch단위로 한 레이어에 입력으로 들어오는 모든 값들을 이용해서 평균과 분산을 구한 후,
이 값으로 Normalization 해주므로서 이런 일을 함수로(functionally) 구현한다.
그리고 이를 함수로 나타내면 미분 가능한 함수이다.
➡ 평균과 분산을 “상수” 로 가지고만 있으면 언제든지 미분이 가능하며 따라서 Backprop이 가능하게 된다.

Batch당 N개의 학습 데이터가 있고 각 데이터가 D차원이라고 해보자.
1) 각 차원별로(feature element별로) 평균을 각각 구해줌
2) 한 Batch 내에 이걸 전부 계산해서 Normalize 함
3) 그리고 이 연산은 FC나 Cov Layer 직후에 넣어줌

[역할]
깊은 네트워크에서 각 레이어의 W가 지속적으로 곱해져서 Bad scaling effect가 발생했습니다만,
Normalization은 그 bad effect를 상쇄시켜 버림
➡ BN은 입력의 스케일만 살짝 조정해 주는 역할이기 때문에 FC와 Conv 어디에든 적용가능

[Conv Layer와 차이점]

• Conv Layer
  • Normalization을 차원마다 독립적으로 수행
  • Conv Layer의 경우 Activation map(채널, Depth) 마다 평균과 분산을 하나만 구합니다.
• BN
  • 같은 Activation Map의 같은 채널에 있는 요소들은 같이 Normalize 해줌
  • 왜냐하면 Conv 특성상 (convolutional property) 같은 방식으로 normalize 시켜야 하기 때문

[❌ 문제: saturation정도 조절 불가]
FC layer를 거칠 때 마다 매번 normalization를 해주는 것에 대한 의문 존재.
normalization이 하는 일은 입력이 tanh의 linear한 영역에만 존재하도록 강제하는 것이다.
➡ 그렇게 되면 saturation이 전혀 일어나지 않게된다.
그런데 saturation 이 전혀 일어나지 않는것 보다는 “얼마나” saturation이 일어날지를 우리가 조절하면 더 좋다.

[⭕ 해결: scaling]
Batch normalization에서는 normalization연산이 있다.(왼쪽 상단 Narmalize: 수식)
그 이후에 BN에서는 scaling 연산을 추가한다.
이를 통해 Unit gaussian으로 normalize 된 값들을

[scaling효과: 원상복구]
이렇게 하면 normalized 된 값들을 다시 원상복구 할 수 있도록 해준다. 그렇게 하고 싶다면 말이다.
네트워크가 값 들을 원상복구 하고 싶다면,
“감마 = 분산”, “베타 = 평균” 로 하면된다.
BN을 하기 전 값으로 돌아가는 것이다.

네트워크가 데이터를 tanh에 얼마나 saturation 시킬지를 학습하기 때문에 우리는 유연성을 얻을 수 있다.

[요약] Batch normalization를 다시한번 요약해 보자면,

• 1) 입력이 있고 우리는 mini-batch에서의 평균과 분산을 계산한다.
  모든 mini-batch 마다 각각 계산해 준다.
• 2) 평균과 분산으로 Normalize 한 이후에 다시 추가적인 scaling, shifting factor를 사용
  ➡ “레이어의 입력”에 평균을 빼고 표준편차로 나눠주면 gaussian이 됨

[효과]

• BN은 gradient의 흐름을 보다 원활하게 해주며 결국 더 학습이 더 잘되게(robust) 해줌
• BN을 쓰면 learning rates를 더 키울 수도 있고 다양한 초기화 기법들도 사용해 볼 수 있음
• 사람들이 BN을 쓰면 학습이 더 쉬워진다고 함.
• 그리고 또 하나 짚고 넘어가야 할 것은 BN이 regularization의 역할도 한다는 것입니다.
  각 레이어의 출력은 해당 데이터 하나 뿐만 아니라 batch 안에 존재하는 모든 데이터들에 영향을 받는다.(평균, 분산)
  왜냐하면 각 레이어의 입력은 해당 배치의 (표본)평균으로 Normalize 되기 때문이다.
  ➡ 그렇기 때문에 이 레이어의 출력은 이제 오직 하나의 샘플에 대한 deterministic한 값이 아니게 되고, Batch 내의 모든 데이터가 입력으로 한대 묶인다고 볼 수 있다.
  ➡ 그러므로 더 이상 레이어의 출력은 deterministic하지 않고 조금씩 바뀌게 되고 이는 regularization effect를 준다.

[수식]

Babysitting the Learning Process

자 이제 학습과정을 다루는법에 대해 알아보겠다.

지금까지 네트워크 설계를 배웠습니다. 이제는 좋은 결과를 얻기 위해서 학습과정을 어떻게 모니터링하고 하이퍼파라미터를 조절할 것인지를 배워보겠다.

[Step 1: Preprocess the data]

[Step 2: Choose the architecture]

[sanity check 1: Loss cheak]

[sanity check 2: add regularization]

[Step 3: Before Train]

[Step 4: Train with Learning rate]

Hyperparameter Optimization

자 그럼 하이퍼파라미터는 어떻게 정해줘야 할까?
또 하이퍼파라미터를 최적화시키고 그중 가장 좋은 것을 선택하려면 어떻게 해야 할까?

cross-validation

취할 수 있는 한가지 전략은 바로 cross-validation이다.
Cross-validation은 Training set으로 학습시키고 Validation set으로 평가하는 방법이다.

이 hyperparameter가 잘 동작하는지를 확인해본다.

[First stage: 넓은 범위 좁히기]

[Second: 학습시간 늘리기]

[Third: 평가 & 반복]

grid search

하이퍼파라미터를 찾는 또 다른 방법 이는 하이퍼파라미터를 고정된 값과 간격으로 샘플링하는 것이다.
하지만 실제로는 grid search보다는 이전처럼 random search를 하는 것이 더 좋다.

[Random search]

• 오른쪽에 있는 것과 같은 결과를 얻을 수 있을 것
• Random이 더 좋은 이유
  • 바로 내 모델이 어떤 특정 파라미터의 변화에 더 민감하게 반응을 하고 있다고 생각해보면 (노란 < 초록)
    ➡ 이 함수가 더 비효율적인 dimentionality를 보인다고 할 수 있음 (노랑 에는 별로 영향을 안 받음)
    ➡ Random search는 중요한 파라미터(초록) 에게도 더 많은 샘플링이 가능하므로 위에 그려놓은 초록색 함수를 더 잘 찾을 수 있을 것입니다.

[Grid Layout]

• 단지 세 번의 샘플링 밖에 할 수 없으므로 Good region이 어디인지 제대로 찾을 수 없음.
  ➡ Random search를 사용하면 important variable 에서 더 다양한 값을 샘플링 할 수 있으므로 더 좋음

그 밖의 하이퍼파라미터들

• Learning rate
• decay schedule
• update type
• regularization
• network architecture
• 히든 유닛
• depth etc…

이 모든 하이퍼파라미터를 전부 다 최적화 시킬 수 있다.

일부는 이번 시간에 배운 내용이고 나머지는 다음 강의에서 좀 더 다뤄보도록 하겠다.

✨다음 이 수업에 대한 복습의 내용까지 이 포스트에 추가했습니다✨