Deep Learning

Deep learning starting from the bottom 1

Deep learning starting from the bottom 2

Deep learning starting from the bottom 2

CS224n: Natural Language Processing with Deep Learning

딥러닝의 정의, 딥러닝과 머신러닝의 차이, AI의 역사, 딥러닝의 혁명

퍼셉트론,단순한 논리회로(1층퍼셉트론)(NAND 게이트와 OR 게이트,AND 게이트,XOR 게이트),다층 퍼셉트론의 충돌 시

신경망, 활성화 함수activation function, 계단 함수 step function,비선형 함수, 시그모이드 함수, 비선형 함수, 활성화 함수, 다차원 배열의 계산, 출력층 설계, 항등 함수 identity function,소프트맥스 함수 softmax function(소프트맥스 함수 구현 시 주의점,출력층의 뉴런 수 정하기)

데이터 주도 학습,손실 함수(loss function),오차 제곱 합(sum of squares for error, SSE),교차 엔트로피 오차(cross entropy error, CEE), 미니배치

수치 미분,해석적 미분(analytic), 학습 알고리즘 구현하기/ 경사하강법,plateau, 플래토, 딥러닝의 전체 학습과정, 개요/ 오차역전법과 경사하강법의 관계

오차역전법(backpropagation)을 위한 계산그래프 computational graph,활성화 함수 계층 역전파 구현[ReLU, Sigmoid 계층],Affine/Softmax 구현, 오차역전파법 구현

경사 하강법 gradient descent method의 개념, 쓰임을 예를 통해서 쉽게 이해하기/ MSE(Mean Squared Error)/ 손실함수 쉽게

딥러닝 학습관련 기술들/옵티마이저 (Optimizers){확률적 경사 하강법 SGD,모멘텀 Momentum,AdaGrad,Adam,RMSProp},어느 갱신 방법을 이용할 것인가

가중치의 초깃값, 설정하면 안되는 초기값, 초기값을 0으로 설정/초기값 문제: 은닉층 활성화층 분포 불균형, 기울기 소실, 표현력 제한/각 활성화 함수 별 추천 초기값

배치 정규화 Batch Normalization,배치 정규화 알고리즘,배치 정규화 과정

오버피팅,가중치 감소(weight decay), 드롭아웃, 앙상블 학습(ensemble learning)

MNIST 데이터세트로 이미지 분류 쉽게 이해하기

미국 수화 데이터세트 이미지 분류 정말 직접 구현해보기

합성곱 신경망(convolutional neural network, CNN) 전체 과정 세세하게 설명/ 합성곱 계층,특징 맵 (feature map),합성 곱 연산,합성곱 계층 구현, 풀링(pooling) 계층, 풀링계층 구현, CNN 구현, CNN 시각화하기

합성곱 신경망(convolutional neural network, CNN) 전체 과정 실제로 구현해보기, CNN을 위한 이미지 변환 reshaping, 합성곱 모델 생성

데이터 증강 구현 DATA AUGMENTATION, CNN 개선, GENERARTE 도입 이유, 도입 구현

데이터 증강 구현 모델 DATA AUGMENTATION 배포,모델에 입력데이트 조정하여 결과값 내기, 배운내용 테스트로 마무리하기

사전 트레이닝된 모델 Pre-Trained Models, 1000마리 종류의 동물 분류하는 코드, 개구멍 자동문 만들기, VGG16, 'Very Deep Convolutional Networks for Large-Scale Image Recognition'

전이 학습(Transfer Learning), 파인튜닝(fine tuning),사전 트레이닝된 모델 다운로드 ,기본 모델 동결,새 레이어 추가,모델 컴파일,데이터 증강,모델 트레이닝

자연어처리의 의미 Natural Language Processing (NLP),자연어와 단어의 분산 표현,자연어처리의 의미,시소러스,통계 기반 기법, 통계 기반 기법, 말뭉치 전처리 구현, 단어의 분산 표현, 통계기반 기법 개선, 상호정보량, 차원 감소(dimensionality reduction), 상호정보량 PMI, PPMI, 특잇값분해 Singular Value Decomposition (SVD), PTB 데이터셋 평가

LSA(Latent Semantic Analysis): 특잇값분해 Singular Value Decomposition (SVD), SVD, 절단된 SVD(Truncated SVD),LSA 사용, 결과 해석, LSA의 장점과 단점, LSA 실제 task에 적용

추론기반 기법 word2vec, 자연어처리의 의미,준비: 원핫 one-hot 표현,단순한 word2vec 구현,CBOW 모델 사용,CBOW 모델과 확률,skip-gram 모델,skip-gram 모델을 확률로,통계 기반 vs. 추론 기반/ 통계 기반기법,추론 기반기법 비교

word2vec 속도 개선 방법 2가지 / Embedding이라는 새로운 계층을 도입, 네거티브 샘플링이란 손실 함수 도입, 네거티브 샘플링 구현, Embedding Dot 계층의 구현,(구현) 다중 분류에서 이진 분류로, 시그모이드 함수와 교차 엔트로피 오차, 개선판 word2vec 학습, CBOW 모델 구현

확률과 언어 모델, word2vec의 CBOW 모델 복습,CBOW 모델 ➡ 언어 모델의 문제점/ RNN(순환 신경망)이란, BPTT, Truncated BPTT, RNN 구현, Time RNN,시계열 데이터 처리 계층 구현 RNNLM/ 언어 모델의 평가 perplexity/RNNLM의 Trainer 클래스

기울기 클리핑 gradients clipping/ 기본적인 RNN의 문제점/기울기 소실 또는 기울기 폭발 ,기울기 소실과 LSTM,output 게이트,forget 게이트,새로운 기억 셀,input 게이트/LSTM의 기울기 흐름, 구현/기울기 클리핑/RNNLM 추가 개선/매개변수 갱신/드롭아웃에 의한 과적합 억제/가중치 공유 weight tying

언어 모델을 사용한 문장 생성,seq2seq, seq2seq의 구조,구현/시계열 데이터 변환용 장난감 문제,가변 길이 시계열 데이터, Encoder 클래스, Decoder 클래스,Seq2seq 클래스/seq2seq 개선,입력 데이터 반전(Reverse),엿보기 Peeky

어텐션의 구조,Encoder 개선,어텐션을 갖춘 seq2seq 구현,어텐션 평가,어텐션에 관한 남은 이야기,양방향 RNN,Attention 계층 사용 방법]

전이 학습(Transfer Learning), 파인튜닝(fine tuning),사전 트레이닝된 모델 다운로드 ,기본 모델 동결,새 레이어 추가,모델 컴파일,데이터 증강,모델 트레이닝

하이퍼 파라미터와 파라미터 비교하기

Lecture 1 | Introduction to Convolutional Neural Networks for Visual Recognition 요약

Training, validation, test datasets 비교하기, Training datasets, Validation datasets, Test datasets 비율,

Lecture 1 | Introduction to Convolutional Neural Networks for Visual Recognition 요약

Lecture 3 | Stochastic Gradient Descent, Momentum, AdaGrad, Adam, Learning rate schedules 요약

Lecture 3 | Stochastic Gradient Descent, Momentum, AdaGrad, Adam, Learning rate schedules 요약

Lecture 4 | Multi-layer Perceptron Backpropagation 요약

Lecture 5 | Convolutional Neural Networks 요약

Lecture 6 | Training Neural Networks Part I 요약

Lecture 7 | Training Neural Networks Part II 요약

Lecture 9 | CNN Architectures 요약

오토인코더(Auto Encoder) 목표, 개념, 전략, 오토 인코더 대칭 구성의 이유, 손실함수, 이상탐지

오토인코더(Auto Encoder) 목표, 개념, 전략, 오토 인코더 대칭 구성의 이유, 손실함수, 이상탐지

LightningModules(라이트닝모듈)

Transformer 모델 개요,Encoder,Embedding,positional encoding,Self-Attention,Multi-Head Attention,Decoder,Masked Multi Head Attention 트렌스포머 코드부터 개념까지

프레임워크와 라이브러리의 개념, 장점/ 프레임워크 vs 라이브러리// 추가학습: 아키텍쳐 Architecture와 플랫폼의 정의

Lecture 1 | Word Vectors 요약

Lecture 2 | Word Vectors 2 and Word Window Classification 요약

Lecture 3 | Lecture 3 Backprop and Neural Networks 요약

Lecture 4 | Dependency Parsing 요약

Lecture 5 | Recurrent Neural Networks and Language Models 요약