Course Outline
소개
Scala Programming 심층 검토
- 구문 및 구조
- 흐름 제어 및 기능
스파크 내부
- 탄력적인 분산 데이터 세트(RDD)
- 클러스터에 그래프로 표시하는 Spark 스크립트
Spark Streaming 개요
- 스트리밍 아키텍처
- 스트리밍 간격
- 결함 허용
개발 환경 준비
- 설치 및 구성 Apache Spark
- Scala IDE 설치 및 구성
- JDK 설치 및 구성
Spark Streaming 초급~상급
- 키/값 RDD 작업
- RDD 필터링
- 정규식을 사용하여 Spark 스크립트 개선
- 클러스터에서 데이터 공유
- 네트워크 데이터 세트 작업
- BFS 알고리즘 구현
- Spark 드라이버 스크립트 만들기
- 스크립트로 실시간 추적
- 연속 애플리케이션 작성
- 스트리밍 선형 회귀
- Spark Machine Learning 라이브러리 사용
스파크와 클러스터
- SBT 도구를 사용하여 종속성 및 Spark 스크립트 번들링
- 클러스터 설명을 위해 EMR 사용
- RDD를 파티셔닝하여 최적화
- Spark 로그 사용
Spark Streaming에 통합
- Apache Kafka 통합 및 Kafka 주제 작업
- Apache Fume 통합 및 풀 기반/푸시 기반 Flume 구성 작업
- 사용자 정의 수신자 클래스 작성
- Cassandra를 통합하여 데이터를 실시간 서비스로 노출
생산 중
- 애플리케이션 패키징 및 Spark-Submit을 사용하여 실행
- Spark 작업 및 클러스터 문제 해결, 조정 및 디버깅
요약 및 결론
Requirements
- Programming 및 스크립팅 경험
청중
- 소프트웨어 엔지니어
회원 평가 (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Course - Python and Spark for Big Data (PySpark)
많은 실제 사례, 동일한 문제에 접근하는 다양한 방법, 때로는 현재 솔루션을 개선하는 방법이 명확하지 않은 경우도 있습니다.
Rafał - Nordea
Course - Apache Spark MLlib
Machine Translated
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Course - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Course - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.