Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
- Scala 입문서 Scala에 대한 빠른 소개 Labs: Scala Spark 기본 알아보기 배경 및 역사 Spark 및 Hadoop Spark 개념 및 아키텍처 Spark 에코 시스템(core, Spark sql, mlib, 스트리밍) Labs: Spark 설치 및 실행 Spark 먼저 살펴보기 Spark 실행 로컬 모드 Spark 웹 UI Spark 쉘 데이터세트 분석 – 1부 RDD 검사 랩: Spark 쉘 탐색 RDD RDD 개념 파티션 RDD 작업/변환 RDD 유형 키-값 쌍 RDD RDD의 MapReduce 캐싱 및 지속성 랩: RDD 생성 및 검사; RDD 캐싱 Spark API 프로그래밍 Spark API/RDD API 소개 Spark에 첫 번째 프로그램 제출 디버깅/로깅 구성 속성 실습: Spark API 프로그래밍, 작업 제출 Spark SQL SQL Spark 데이터 프레임 지원 테이블 정의 및 데이터 세트 가져오기 데이터 쿼리 SQL 저장 형식을 사용하는 프레임: JSON / Parquet Labs: 데이터 프레임 생성 및 쿼리; 데이터 형식 평가 MLlib MLlib 소개 MLlib 알고리즘 랩: MLib 애플리케이션 작성 GraphX GraphX 라이브러리 개요 GraphX API 랩: Spark를 사용하여 그래프 데이터 처리 Spark 스트리밍 스트리밍 개요 스트리밍 플랫폼 평가 스트리밍 작업 슬라이딩 윈도우 작업 랩: Spark 스트리밍 애플리케이션 작성 Spark 및 Hadoop Hadoop 소개( HDFS/YARN) Hadoop + Spark 아키텍처 Hadoop에서 Spark 실행 YARN Spark를 사용하여 HDFS 파일 처리 Spark 성능 및 튜닝 브로드캐스트 변수 누산기 메모리 관리 및 캐싱 Spark 작업 프로덕션에 Spark 배포 샘플 배포 템플릿 구성 모니터링 문제 해결
Requirements
전제 조건
Java/Scala/Python 언어(Scala 및 Python의 실습)에 대한 지식 Linux 개발 환경에 대한 기본 이해(명령줄 탐색/VI 또는 nano를 사용한 파일 편집)
21 Hours