데이터 증강

[문제] CNN으로 개선되었긴 하지만 여전히 트레이닝 정확도가 검증 정확도보다 더 높음 ➡ 과적합 문제 남아있음

[해결책] 정제 데이터가 더 나은 예시를 제공
데이터세트의 다양성이 모델의 일반화에 도움이 됨

구현하기 전 읽어 볼 지식

📌필수📌합성곱 신경망(convolutional neural network, CNN)
📌필수📌더 간단한 구현부터 해보기: MNIST

데이터 증강 DATA AUGMENTATION

모델이 새로운 데이터를 살펴볼 때 좀 더 강력한 성능을 발휘하도록 가르치기 위해 우리는 데이터세트에서 크기와 편차를 프로그래밍 방식으로 늘리는 것

컴퓨터 비전 머신 러닝 모델에선 데이터를 증강하여 추가 예시를 제공 가능

다수의 머신 러닝 프레임워크는 이미 자체적으로 사진 수정을 위한 도구를 보유
Ex) 색조 변경

이렇게 증강을 통해

크기 증가: 모델이 트레이닝 중에 더 많은 이미지를 학습가능
편차 증가: 모델이 중요하지 않은 특징을 무시하고 분류에서 정말로 중요한 특징만 선택하도록 하여 더 나은 일반화가 가능

목표

ASL 데이터세트 증강
증강된 데이터를 사용하여 개선된 모델 트레이닝
제대로 트레이닝된 모델을 디스크에 저장하여 배포에 사용

데이터 준비

수화 데이터세트는 csv 형식으로 되어있음.

상단에 레이블이 있는 행과 열로 이루어진 그리드
데이터를 로드하여 작업하기 위해 데이터 로드 및 조작을 위한 고성능 툴인 Pandas라는 라이브러리를 사용
CSV 파일은 DataFrame이라는 형식으로 읽음

import pandas as pd

Pandas에는 csv 파일을 예상하고 DataFrame을 반환하는 read_csv 메서드가 존재

이를 통해 데이터를 불러 올 것임

👀 정답 코드 보기

# Load in our data from CSV files
train_df = pd.read_csv("data/asl_data/sign_mnist_train.csv")
valid_df = pd.read_csv("data/asl_data/sign_mnist_valid.csv")

레이블 추출

트레이닝 및 검증 레이블을 y_train 및 y_valid 변수에 저장하는 법
1️⃣ 해당 변수를 생성
2️⃣ 다음 레이블이 더 이상 필요없는 데이터프레임 원본에서 레이블을 삭제

👀 정답 코드 보기

# label 이라는 열이 정답열임
y_train = train_df['label'] 
y_valid = valid_df['label']
del train_df['label']
del valid_df['label']

이미지 추출

트레이닝 및 검증 이미지를 x_train 및 x_valid 변수에 저장

👀 정답 코드 보기

x_train = train_df.values
x_valid = valid_df.values

레이블 분류

레이블을 범주 인코딩
keras.utils.to_categorical 메서드를 사용하여 여기에 인코딩할 값과 값을 인코딩할 범주 수를 전달해 범주 인코딩
keras를 가져와 범주 수(24)를 설정해둠

import tensorflow.keras as keras
num_classes = 24

이 다음 코드를 짜봐라

Categorically encode y_train and y_valid

👀 정답 코드 보기

# TODO: Categorically encode y_train and y_valid.
y_train = keras.utils.to_categorical(y_train, num_classes)
y_valid = keras.utils.to_categorical(y_valid, num_classes)

이미지데이터 정규화

데이터의 픽셀 값이 현재처럼 0~255가 아닌 0~1의 부동 소수점 값이 되어야함

이유 알아보러가기

보기전에 코드 직접 쳐보고 정말 정답 확인용으로 봐라

👀 정답 코드 보기

x_train = x_train / 255
x_valid = x_valid / 255

❤ 여기까진 MNIST 모델 구현과 같다 ❤

CNN을 위한 이미지 변환 reshaping

현재 데이터 셋의 상태를 확인해보자

x_train.shape, x_valid.shape
# ((27455, 784), (7172, 784))

현재 데이터 셋의 특징

서로 가까운 픽셀(위치 정보)에 대한 모든 정보를 가지고 있지 않음
feature를 탐지하는 컨볼루션(convolution)(합성곱 계층) 적용 불가

[변환]
컨볼루션 적용을 위해 데이터 셋을 28x28픽셀 형식으로 변경
➡ 컨볼루션에서 인접한 픽셀끼리 그룹을 짓고 중요한 feature들을 탐지가능

[모델의 첫번 째 컨볼루션 레이어]
자세한 설명 보러가기

이미지의 높이
이미지 너비
채널의 숫자
우리의 이미지는 Grayscale이기 때문에 채널은 1의 값을 갖음

즉,
(27455, 784) ➡ (27455, 28, 28, 1)
(이미지 개수, 픽셀 개수) ➡ (이미지 개수, 특징맵 가로, 특징맵 세로, 채널 수)

동일하게 유지하기를 원하는 모든 차원에 대해 reshape을 진행하는 경우,
‘-1’ 을 통해 표현할 수 있으므로 다음과 같이 구성

x_train = x_train.reshape(-1,28,28,1)
x_valid = x_valid.reshape(-1,28,28,1)

바뀐 데이터 확인

x_train.shape
# (27455, 28, 28, 1)
x_valid.shape
# (7172, 28, 28, 1)
x_train.shape, x_valid.shape
# ((27455, 28, 28, 1), (7172, 28, 28, 1))

합성곱 모델 생성

아래의 그림을 구현할 것임

필요한건 줄테니 계층을 하나하나 구현해 보자!

padding=”same” 이다

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import (
    Dense,
    Conv2D,
    MaxPool2D,
    Flatten,
    Dropout,
    BatchNormalization,
) 

먼저 인스턴스 부터 생성해라

👀 정답 코드 보기

model = Sequential()
model.add(Conv2D(75, (3, 3), strides=1, padding="same", activation="relu", input_shape=(28, 28, 1)))
model.add(BatchNormalization())
model.add(MaxPool2D((2, 2), strides=2, padding="same"))
model.add(Conv2D(50, (3, 3), strides=1, padding="same", activation="relu"))
model.add(Dropout(0.2))
model.add(BatchNormalization())
model.add(MaxPool2D((2, 2), strides=2, padding="same"))
model.add(Conv2D(25, (3, 3), strides=1, padding="same", activation="relu"))
model.add(BatchNormalization())
model.add(MaxPool2D((2, 2), strides=2, padding="same"))
model.add(Flatten())
model.add(Dense(units=512, activation="relu"))
model.add(Dropout(0.3))
model.add(Dense(units=num_classes, activation="softmax"))

❤ 여기까진 CNN 모델 구현과 같다 ❤