문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
소개
- Apache Beam vs MapReduce, Spark Streaming, Kafka 스트리밍, Storm 및 Flink
설치 및 구성 Apache Beam
Apache Beam 기능 및 아키텍처 개요
- 빔 모델, SDK, 빔 파이프라인 러너
- 분산 처리 백엔드
Apache Beam Programming 모델 이해
- 파이프라인이 실행되는 방법
샘플 파이프라인 실행
- WordCount 파이프라인 준비
- 파이프라인을 로컬로 실행
파이프라인 설계
- 구조 계획, 변환 선택, 입력 및 출력 방법 결정
파이프라인 생성
- 드라이버 프로그램 작성 및 파이프라인 정의
- Apache Beam개의 클래스 사용
- 데이터 세트, 변환, I/O, 데이터 인코딩 등
파이프라인 실행
- 파이프라인을 로컬, 원격 머신 및 퍼블릭 클라우드에서 실행합니다.
- 러너 선택
- 러너별 구성
테스트 및 디버깅 Apache Beam
- 정적 타이핑을 에뮬레이트하기 위해 유형 힌트 사용
- Python 파이프라인 종속성 관리
제한된 데이터 세트 및 제한되지 않은 데이터 세트 처리
- 윈도잉 및 트리거
파이프라인을 재사용 가능하고 유지 관리 가능하게 만들기
새로운 데이터 소스 및 싱크 생성
- Apache Beam 소스 및 싱크 API
Apache Beam을 다른 Big Data 시스템과 통합
- 아파치Hadoop, Apache Spark, Apache Kafka
문제 해결
요약 및 결론
Requirements
- Python Programming에 대한 경험.
- Linux 명령줄에 대한 경험.
청중
- 개발자
14 Hours
