Course Outline
1부 – Deep Learning 및 DNN 개념
소개 AI, Machine Learning & Deep Learning
인공지능의 역사, 기본 개념 및 일반적인 응용 분야는 이 도메인이 지닌 환상 중 가장 멀리 있습니다.
집단 지능: 여러 가상 에이전트가 공유하는 지식 집계
유전 알고리즘: 선택을 통해 가상 에이전트 집단을 진화시키는 방법
일반적인 학습 기계: 정의.
작업 유형: 지도 학습, 비지도 학습, 강화 학습
작업 유형: 분류, 회귀, 클러스터링, 밀도 추정, 차원 감소
Machine Learning 알고리즘의 예: 선형 회귀, 나이브 베이즈, 랜덤 트리
머신 러닝 VS Deep Learning: Machine Learning가 여전히 해결하지 못한 문제 오늘날 최첨단 기술(Random Forests & XGBoosts)
신경망의 기본 개념 (응용: 다층 퍼셉트론)
수학적 기초를 상기시켜줍니다.
신경망의 정의: 고전적 구조, 활성화 및
이전 활성화의 가중치, 네트워크의 깊이
뉴런 네트워크 학습의 정의: 비용, 역전파, 확률적 경사 하강, 최대 우도 함수.
신경망 모델링: 문제 유형(회귀, 분류 등)에 따른 입력 및 출력 데이터 모델링. 차원의 저주.
다중 특징 데이터와 신호의 구별. 데이터에 따른 비용 함수 선택.
신경망을 통한 함수 근사: 프레젠테이션 및 예
신경망을 통한 분포 근사: 프레젠테이션 및 예
데이터 증강: 데이터 세트의 균형을 맞추는 방법
신경망의 결과를 일반화합니다.
신경망의 초기화 및 정규화: L1/L2 정규화, 배치 정규화
최적화 및 수렴 알고리즘
표준 ML / DL 도구
장단점, 생태계 내 위치, 사용법 등에 대한 간단한 프레젠테이션이 계획되어 있습니다.
데이터 관리 도구: Apache Spark, Apache Hadoop 도구
Machine Learning: Numpy, Scipy, Sci-kit
DL 고수준 프레임워크: PyTorch, Keras, Lasagne
저수준 DL 프레임워크: Theano, Torch, Caffe, Tensorflow
합성곱Neural Networks(CNN).
CNN의 프레젠테이션: 기본 원리와 응용 프로그램
CNN의 기본 동작: 합성곱 계층, 커널 사용
패딩 및 스트라이드, 피처 맵 생성, 풀링 레이어. 확장 1D, 2D 및 3D.
분류 분야에서 최첨단 기술을 도입한 다양한 CNN 아키텍처의 프레젠테이션
이미지: LeNet, VGG Networks, Network in Network, Inception, Resnet. 각 아키텍처와 보다 글로벌한 응용 프로그램(Convolution 1x1 또는 residual connection)이 가져온 혁신의 프레젠테이션
주의 모델 사용
일반적인 분류 사례(텍스트 또는 이미지)에 대한 응용
생성을 위한 CNN: 초고해상도, 픽셀 대 픽셀 분할. 프레젠테이션
이미지 생성을 위한 피처 맵을 늘리기 위한 주요 전략.
재발Neural Networks(RNN).
RNN 소개: 기본 원리와 응용 분야.
RNN의 기본 작동: 숨겨진 활성화, 시간에 따른 역전파, 펼쳐진 버전.
게이트 순환 단위(GRU)와 LSTM(장단기 기억)으로의 진화.
다양한 상태와 이러한 아키텍처가 가져온 진화에 대한 프레젠테이션
수렴 및 소멸하는 기울기 문제
고전적 아키텍처: 시간적 시리즈의 예측, 분류...
RNN 인코더 디코더 유형 아키텍처. 어텐션 모델 사용.
NLP 응용 프로그램: 단어/문자 인코딩, 번역.
비디오 응용 프로그램: 비디오 시퀀스의 다음에 생성될 이미지 예측.
세대 모델: 변이 자동 인코더(VAE)와 생성적 적대 신경망(GAN).
세대 모델 프레젠테이션, CNN과의 연결
자동 인코더: 차원 감소 및 제한된 생성
변분 자동 인코더: 주어진 분포의 생성 모델 및 근사. 잠재 공간의 정의 및 사용. 재매개변수화 트릭. 관찰된 응용 및 한계
생성적 적대 신경망: 기본 사항.
대체 학습과 비용 함수를 사용할 수 있는 이중 네트워크 아키텍처(생성기와 판별기)가 있습니다.
GAN의 융합과 겪었던 어려움.
개선된 컨버전스: Wasserstein GAN, Began. Earth Moving Distance.
이미지나 사진 생성, 텍스트 생성, 초고해상도 생성에 응용됩니다.
깊다Reinforcement Learning.
강화 학습의 프레젠테이션: 정의된 환경에서 에이전트 제어
상태 및 가능한 조치에 따라
신경망을 사용하여 상태 함수를 근사화
딥 Q 러닝: 경험 재생 및 비디오 게임 제어에 대한 응용.
학습 정책의 최적화. 온-정책 & 오프-정책. 액터 비평가 아키텍처. A3C.
응용 분야: 단일 비디오 게임이나 디지털 시스템의 제어.
2부 – Deep Learning을 위한 테아노
테아노 기본
소개
설치 및 구성
테아노 함수
입력, 출력, 업데이트, 주어진 것
Theano를 사용한 신경망의 훈련 및 최적화
신경망 모델링
로지스틱 회귀
숨겨진 레이어
네트워크 훈련
컴퓨팅 및 분류
최적화
로그 손실
모델 테스트
3 부 – Tensorflow를 사용한 DNN
TensorFlow 기본사항
TensorFlow 변수 생성, 초기화, 저장 및 복원
데이터 공급, 판독 및 사전 로드TensorFlow
TensorFlow 인프라를 사용하여 대규모 모델을 훈련하는 방법
TensorBoard를 사용하여 모델 시각화 및 평가
TensorFlow 역학
데이터 준비
다운로드
입력 및 플레이스홀더
GraphS를 빌드하세요
추론
손실
훈련
모델 학습
그래프
세션
기차 루프
모델 평가
Eval 그래프 작성
출력 평가
퍼셉트론
활성화 함수
퍼셉트론 학습 알고리즘
퍼셉트론을 이용한 이진 분류
퍼셉트론을 이용한 문서 분류
퍼셉트론의 한계
퍼셉트론에서 지원 벡터 머신까지
커널과 커널 트릭
최대 마진 분류 및 지원 벡터
인공 Neural Networks
비선형 결정 경계
피드포워드 및 피드백 인공신경망
다층 퍼셉트론
비용 함수 최소화
전방 전파
역전파
신경망 학습 방식 개선
합성곱 Neural Networks
Go알스
모델 아키텍처
원칙
코드 구성
모델 출시 및 교육
모델 평가
아래 모듈에 대한 기본 소개(시간 여유에 따라 간략한 소개 제공):
Tensorflow - 고급 사용법
스레딩 및 큐
분산TensorFlow
모델 작성Documentation 및 공유
데이터 리더 사용자 정의
TensorFlow 모델 파일 조작
TensorFlow 제공
소개
기본 서빙 튜토리얼
고급 서빙 튜토리얼
Inception 모델 튜토리얼 제공
Requirements
물리학, 수학 및 프로그래밍에 대한 배경 지식. 이미지 처리 활동에 참여합니다.
대표자는 기계 학습 개념에 대한 사전 이해가 있어야 하며 Python 프로그래밍 및 라이브러리에 대한 작업을 수행해야 합니다.
회원 평가 (5)
Hunter는 훌륭하고, 매우 매력적이고, 지식이 풍부하고, 개성이 뛰어납니다. 아주 잘 했어요.
Rick Johnson - Laramie County Community College
Course - Artificial Intelligence (AI) Overview
Machine Translated
The trainer explained the content well and was engaging throughout. He stopped to ask questions and let us come to our own solutions in some practical sessions. He also tailored the course well for our needs.
Robert Baker
Course - Deep Learning with TensorFlow 2.0
Tomasz really know the information well and the course was well paced.
Raju Krishnamurthy - Google
Course - TensorFlow Extended (TFX)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Course - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.