딥 뉴럴 네트워크 이해하기 교육 과정

Part 1 – 딥 러닝 및 DNN 개념

AI, Machine Learning & Deep Learning 소개

• 인공지능의 역사, 기본 개념 및 일반적인 응용 분야, 해당 분야가 가진 환상과 비교
• 집단 지성: 많은 가상 에이전트에 의해 공유되는 지식의 집계
• 유전 알고리즘: 선택을 통해 가상 에이전트 집단을 진화시키는 방법
• 일반적인 학습 기계: 정의
• 태스크 유형: 지도 학습, 비지도 학습, 강화 학습
• 액션 유형: 분류, 회귀, 클러스터링, 밀도 추정, 차원 축소
• 기계 학습 알고리즘 예시: 선형 회귀, Naive Bayes, Random Tree
• 기계 학습 VS 딥 러닝: 오늘날에도 기계 학습이 최전선(state of the art)인 문제들 (Random Forests & XGBoosts)

신경망의 기본 개념 (응용: 다층 퍼셉트론)

• 수학 기반 복습
• 뉴런 네트워크의 정의: 고전적 아키텍처, 활성화
• 이전 활성화의 가중치 설정, 네트워크의 깊이
• 뉴런 네트워크 학습의 정의: 비용 함수, 역전파, 확률적 경사 하강법, 최대 우도
• 신경망 모델링: 문제 유형(회귀, 분류 등)에 따른 입력 및 출력 데이터 모델링. 차원의 저주.
• 멀티 피처 데이터와 신호의 구분. 데이터에 따른 비용 함수 선택.
• 뉴런 네트워크를 통한 함수 근사: 소개 및 예시
• 뉴런 네트워크를 통한 분포 근사: 소개 및 예시
• 데이터 증강: 데이터셋 균형 맞추기
• 뉴런 네트워크 결과의 일반화.
• 신경망 초기화 및 정규화: L1 / L2 정규화, Batch Normalization
• 최적화 및 수렴 알고리즘

표준 ML / DL 도구

장단점, 생태계 내 위치 및 사용법에 대한 간단한 개요가 예정되어 있습니다.

• 데이터 관리 도구: Apache Spark, Apache Hadoop Tools
• 기계 학습: Numpy, Scipy, Sci-kit
• 고수준 DL 프레임워크: PyTorch, Keras, Lasagne
• 저수준 DL 프레임워크: Theano, Torch, Caffe, Tensorflow

합성곱 신경망 (CNN).

• CNN 소개: 기본 원칙 및 응용
• CNN의 기본 동작: 합성곱 레이어, 커널 사용
• 패딩 & 스트라이드, 특징 맵 생성, 풀링 레이어. 1D, 2D, 3D 확장.
• 분류 분야에서 최전선(state of the art)을 이끈 다양한 CNN 아키텍처 소개
• 이미지: LeNet, VGG Networks, Network in Network, Inception, Resnet. 각 아키텍처가 가져온 혁신과 더 넓은 범위에서의 응용 (Convolution 1x1 또는 잔차 연결) 소개
• 어텐션 모델 사용.
• 일반 분류 사례(텍스트 또는 이미지)에 대한 적용
• 생성을 위한 CNN: 초고해상도, 픽셀 대 픽셀 분할. 소개
• 이미지 생성을 위한 특징 맵 증가의 주요 전략.

재귀 신경망 (RNN).

• RNN 소개: 기본 원칙 및 응용.
• RNN의 기본 동작: 히든 활성화, 시간 역전파, 전개된 버전.
• 게이트드 재귀 단위(GRU) 및 LSTM(Long Short Term Memory)로의 발전.
• 다양한 상태와 이러한 아키텍처가 가져온 발전 소개
• 수렴 및 기울기 소실 문제
• 고전적 아키텍처: 시간계열 예측, 분류 ...
• RNN 인코더-디코더 유형 아키텍처. 어텐션 모델 사용.
• NLP 응용: 워드 / 문자 인코딩, 번역.
• 비디오 응용: 비디오 시퀀스의 다음 생성 이미지 예측.

생성 모델: Variational AutoEncoder (VAE) 및 생성 적대 신경망 (GAN).

• 생성 모델 소개, CNN과의 연계
• 오토인코더: 차원 축소 및 제한된 생성
• Variational Auto-encoder: 생성 모델 및 주어진 분포의 근사. 잠재 공간(Latent space)의 정의와 사용. 재매개변수화 트릭. 관찰된 응용과 한계
• 생성 적대 신경망: 기본 원리.
• 대립 학습과 사용 가능한 비용 함수를 갖춘 듀얼 네트워크 아키텍처 (생성기 및 판별기).
• GAN의 수렴 및 직면한 어려움.
• 개선된 수렴: Wasserstein GAN, Began. Earth Moving Distance.
• 이미지나 사진 생성, 텍스트 생성, 초고해상도 생성을 위한 응용.

딥 강화 학습.

• 강화 학습 소개: 정의된 환경에서의 에이전트 제어
• 상태 및 가능한 행동에 의해
• 신경망을 사용하여 상태 함수 근사
• Deep Q Learning: 경험 재재생(experience replay) 및 비디오 게임 제어에 대한 응용.
• 학습 정책 최적화. 온-폴리시(On-policy) & 오프-폴리시(Off-policy). 액터-크리틱 아키텍처. A3C.
• 응용: 단일 비디오 게임 또는 디지털 시스템 제어.

Part 2 – 딥 러닝을 위한 Theano

Theano 기초

• 소개
• 설치 및 구성

TheanoFunctions

• 입력, 출력, 업데이트, givens

Theano를 활용한 신경망 학습 및 최적화

• 신경망 모델링
• 로지스틱 회귀
• 히든 레이어
• 네트워크 학습
• 계산 및 분류
• 최적화
• Log Loss

모델 테스트

Part 3 – TensorFlow를 활용한 DNN

TensorFlow 기초

• TensorFlow 변수 생성, 초기화, 저장 및 복원
• TensorFlow 데이터 피딩, 읽기 및 프리로딩
• 대규모 모델 학습을 위한 TensorFlow 인프라 사용법
• TensorBoard를 통한 모델 시각화 및 평가

TensorFlow 메커니즘

• 데이터 준비
• 다운로드
• 입력 및 플레이스홀더
• 그래프 빌드
  • 추론
  • 손실(Loss)
  • 학습
• 모델 학습
  • 그래프
  • 세션
  • 학습 루프
• 모델 평가
  • 평가 그래프 빌드
  • 평가 출력

퍼셉트론

• 활성화 함수
• 퍼셉트론 학습 알고리즘
• 퍼셉트론을 이용한 이진 분류
• 퍼셉트론을 이용한 문서 분류
• 퍼셉트론의 한계

퍼셉트론에서 서포트 벡터 머신으로

• 커널 및 커널 트릭
• 최대 마진 분류 및 서포트 벡터

인공 신경망

• 비선형 결정 경계
• 피드포워드 및 피드백 인공 신경망
• 멀티레이어 퍼셉트론
• 비용 함수 최소화
• 전파
• 역전파
• 신경망 학습 방식 개선

합성곱 신경망

• 목표
• 모델 아키텍처
• 원리
• 코드 구성
• 모델 실행 및 학습
• 모델 평가

다음 모듈에 대한 기본 소개 (시간 허용에 따라 간략 소개 제공):

Tensorflow - 고급 사용법

• 스레딩 및 큐
• 분산 TensorFlow
• 문서 작성 및 모델 공유
• 데이터 리더 사용자 정의
• TensorFlow 모델 파일 조작

TensorFlow Serving

• 소개
• 기본 서빙 튜토리얼
• 고급 서빙 튜토리얼
• Inception 모델 서빙 튜토리얼