딥 신경망 이해하기 교육 과정

1부 – 딥러닝과 DNN 개념

AI, 기계 학습 & 딥러닝 소개

• 인공 지능의 역사, 기본 개념 및 이 분야에서의 흔들리는 환상과 실제 응용 프로그램
• 집합적 지능: 많은 가상 에이전트가 공유하는 지식을 모음
• 유전자 알고리즘: 선택을 통해 가상 에이전트의 인구를 진화시키는 방법
• 일반적인 기계 학습: 정의.
• 작업 유형: 지도 학습, 비지도 학습, 강화 학습
• 행동 유형: 분류, 회귀, 클러스터링, 밀도 추정, 차원 축소
• 기계 학습 알고리즘 예시: 선형 회귀, 나이브 베이즈, 랜덤 트리
• 기계 학습 대 딥러닝: 오늘날 기계 학습이 최고 수준인 문제 (랜덤 포레스트 & XGBoost)

뉴럴 네트워크의 기본 개념 (응용: 다중 층 퍼셉트론)

• 수학적 기초 복습.
• 뉴런 네트워크의 정의: 전통적인 아키텍처, 활성화 및
• 이전 활성화 가중치, 네트워크 깊이
• 뉴런 네트워크 학습의 정의: 비용 함수, 역전파, 확률적 경사 하강법, 최대 우도.
• 뉴럴 네트워크 모델링: 문제 유형(회귀, 분류 등)에 따른 입력 및 출력 데이터 모델링. 차원의 저주.
• 다중 특성 데이터와 신호 간의 구별. 데이터에 따라 비용 함수 선택.
• 뉴럴 네트워크로 함수 근사: 소개 및 예시
• 뉴럴 네트워크로 분포 근사: 소개 및 예시
• 데이터 증강: 데이터셋 균형 맞추기
• 뉴럴 네트워크 결과 일반화.
• 뉴럴 네트워크 초기화 및 규제: L1 / L2 규제, 배치 정규화
• 최적화 및 수렴 알고리즘

표준 ML/DL 도구

장단점, 생태계에서의 위치 및 사용법을 간단히 소개합니다.

• 데이터 관리 도구: Apache Spark, Apache Hadoop
• 기계 학습: Numpy, Scipy, Sci-kit
• 고수준 DL 프레임워크: PyTorch, Keras, Lasagne
• 저수준 DL 프레임워크: Theano, Torch, Caffe, TensorFlow

컨벌루션 신경망 (CNN)

• CNN 소개: 기본 원칙 및 응용 프로그램
• CNN의 기본 작동 방식: 컨벌루션 레이어, 커널 사용,
• 패딩 및 스트라이드, 피처 맵 생성, 풀링 레이어. 1D, 2D, 3D 확장.
• 분류에서 최고 수준을 이룬 다양한 CNN 아키텍처 소개
• 이미지: LeNet, VGG Networks, Network in Network, Inception, Resnet. 각 아키텍처가 가져온 혁신 및 더 넓은 응용 프로그램 (1x1 컨벌루션 또는 잔차 연결)
• 주의 모델 사용.
• 일반적인 분류 사례(텍스트나 이미지) 적용
• 생성용 CNN: 초해상도, 픽셀-픽셀 세그멘테이션. 소개 및
• 이미지 생성을 위한 피처 맵 확장 주요 전략.

순환 신경망 (RNN)

• RNN 소개: 기본 원칙 및 응용 프로그램.
• RNN의 기본 작동 방식: 은닉 활성화, 시간을 통한 역전파, 펼침 버전.
• 게이트 순환 유닛(GRUs) 및 LSTM(장단기 메모리)으로의 발전.
• 이 아키텍처가 가져온 상태와 발전 소개
• 수렴 및 사라지는 그래디언트 문제
• 고전적인 아키텍처: 시계열 예측, 분류 ...
• 인코더-디코더 유형의 RNN 아키텍처. 주의 모델 사용.
• NLP 응용: 단어/문자 인코딩, 번역.
• 비디오 응용: 비디오 시퀀스의 다음 생성된 이미지 예측.

생성 모델: 변이 오토인코더(VAE) 및 적대적 생성 네트워크(GAN)

• 생성 모델 소개, CNN과의 관계
• 오토인코더: 차원 축소 및 제한된 생성
• 변이 오토인코더: 생성 모델 및 주어진 분포의 근사. 잠재 공간의 정의 및 사용. 재매개변수화 트릭. 응용 프로그램 및 관찰된 한계
• 적대적 생성 네트워크: 기본 원칙.
• 쌍방향 네트워크 아키텍처 (생성기 및 구분기)의 번갈아 가며 학습, 사용 가능한 비용 함수.
• GAN의 수렴과 겪는 어려움.
• 수렴 개선: Wasserstein GAN, Began. 이동 거리.
• 이미지 또는 사진 생성, 텍스트 생성, 초해상도 등의 응용 프로그램.

딥 강화 학습

• 강화 학습 소개: 정의된 환경에서 에이전트 제어
• 상태 및 가능한 행동으로
• 뉴럴 네트워크 사용하여 상태 함수 근사화
• Deep Q Learning: 경험 재생, 비디오 게임 제어 응용.
• 학습 정책 최적화. 온-정책 & 오프-정책. 액터-크리틱 아키텍처. A3C.
• 응용: 단일 비디오 게임 또는 디지털 시스템 제어.

2부 – Theano를 사용한 딥러닝

Theano 기초

• 소개
• 설치 및 구성

TheanoFunctions

• 입력, 출력, 업데이트, 주어짐

뉴럴 네트워크 학습 및 최적화를 위한 Theano 사용

• 뉴럴 네트워크 모델링
• 로지스틱 회귀
• 은닉층
• 네트워크 학습
• 계산 및 분류
• 최적화
• 로그 손실

모델 테스트

3부 – TensorFlow를 사용한 DNN

TensorFlow 기초

• TensorFlow 변수 생성, 초기화, 저장 및 복원
• TensorFlow 데이터 공급, 읽기 및 사전 로드
• TensorFlow 인프라를 사용한 대규모 모델 학습
• TensorBoard를 사용한 모델 시각화 및 평가

TensorFlow 메커니즘

• 데이터 준비
• 다운로드
• 입력 및 플레이스홀더
• 그래프 구축
  • 추론
  • 손실
  • 학습
• 모델 학습
  • 그래프
  • 세션
  • 학습 루프
• 모델 평가
  • 평가 그래프 구축
  • 평가 출력

퍼셉트론

• 활성화 함수
• 퍼셉트론 학습 알고리즘
• 퍼셉트론을 사용한 이진 분류
• 퍼셉트론을 사용한 문서 분류
• 퍼셉트론의 한계

퍼셉트론에서 서포트 벡터 머신으로

• 커널 및 커널 트릭
• 최대 마진 분류 및 서포트 벡터

인공 신경망

• 비선형 결정 경계
• 피드포워드 및 피드백 인공 신경망
• 다층 퍼셉트론
• 비용 함수 최소화
• 순전파
• 역전파
• 신경망 학습 개선 방법

컨벌루션 신경망

• 목표
• 모델 아키텍처
• 원칙
• 코드 조직
• 모델 학습 및 실행
• 모델 평가

다음 모듈에 대한 기본 소개 (시간 여유에 따라 간략한 소개 제공):

TensorFlow - 고급 사용법

• 스레딩 및 큐
• 분산 TensorFlow
• 문서 작성 및 모델 공유
• 사용자 정의 데이터 리더
• TensorFlow 모델 파일 조작

TensorFlow Serving

• 소개
• 기본 서빙 튜토리얼
• 고급 서빙 튜토리얼
• Inception 모델 서빙 튜토리얼