Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Apache Airflow 기본 사항 요약
- 핵심 개념: DAG, 연산자 및 실행 흐름
- 에어플로우 아키텍처 및 구성 요소
- 고급 사용 사례 및 워크플로 이해
사용자 정의 연산자 생성
- Airflow 연산자의 해부학 이해
- 특정 작업을 위한 사용자 정의 연산자 개발
- 사용자 정의 연산자 테스트 및 디버깅
사용자 정의 후크 및 센서
- 외부 시스템 통합을 위한 후크 구현
- 외부 트리거 모니터링을 위한 센서 생성
- 사용자 정의 센서로 워크플로 상호 작용성 향상
Airflow 플러그인 개발
- 플러그인 아키텍처 이해
- Airflow 기능을 확장하기 위한 플러그인 설계
- 플러그인 관리 및 배포를 위한 모범 사례
외부 시스템과 공기 흐름 통합
- Airflow를 데이터베이스, API 및 클라우드 서비스에 연결
- ETL 워크플로 및 실시간 데이터 처리를 위한 Airflow 사용
- Airflow와 외부 시스템 간 종속성 관리
고급 디버깅 및 모니터링
- 문제 해결을 위한 Airflow 로그 및 메트릭 사용
- 워크플로 문제에 대한 경고 및 알림 구성
- Airflow를 사용하여 외부 모니터링 도구 활용
성능 및 Scala능력 최적화
- Celery 및 Kubernetes Executor를 사용한 에어플로우 확장
- 복잡한 워크플로에서 리소스 활용 최적화
- 고가용성 및 내결함성을 위한 전략
사례 연구 및 실제 세계 응용 프로그램
- 데이터 엔지니어링의 고급 사용 사례 탐색 및 DevOps
- 사례 연구: 대규모 ETL을 위한 맞춤형 연산자 구현
- 엔터프라이즈 수준 워크플로 관리를 위한 모범 사례
요약 및 다음 단계
Requirements
- DAG, 연산자, 실행 아키텍처를 포함한 Apache Airflow 기본 사항에 대한 강력한 이해
- Python 프로그래밍에 대한 능숙함
- 데이터 시스템 통합 및 워크플로 오케스트레이션 경험
청중
- 데이터 엔지니어
- DevOps 엔지니어
- 소프트웨어 아키텍트
21 Hours