문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
Apache Airflow 기본 사항 요약
- 핵심 개념: DAG, 연산자 및 실행 흐름
- 에어플로우 아키텍처 및 구성 요소
- 고급 사용 사례 및 워크플로 이해
사용자 정의 연산자 생성
- Airflow 연산자의 해부학 이해
- 특정 작업을 위한 사용자 정의 연산자 개발
- 사용자 정의 연산자 테스트 및 디버깅
사용자 정의 후크 및 센서
- 외부 시스템 통합을 위한 후크 구현
- 외부 트리거 모니터링을 위한 센서 생성
- 사용자 정의 센서로 워크플로 상호 작용성 향상
Airflow 플러그인 개발
- 플러그인 아키텍처 이해
- Airflow 기능을 확장하기 위한 플러그인 설계
- 플러그인 관리 및 배포를 위한 모범 사례
외부 시스템과 공기 흐름 통합
- Airflow를 데이터베이스, API 및 클라우드 서비스에 연결
- ETL 워크플로 및 실시간 데이터 처리를 위한 Airflow 사용
- Airflow와 외부 시스템 간 종속성 관리
고급 디버깅 및 모니터링
- 문제 해결을 위한 Airflow 로그 및 메트릭 사용
- 워크플로 문제에 대한 경고 및 알림 구성
- Airflow를 사용하여 외부 모니터링 도구 활용
성능 및 Scala능력 최적화
- Celery 및 Kubernetes Executor를 사용한 에어플로우 확장
- 복잡한 워크플로에서 리소스 활용 최적화
- 고가용성 및 내결함성을 위한 전략
사례 연구 및 실제 세계 응용 프로그램
- 데이터 엔지니어링의 고급 사용 사례 탐색 및 DevOps
- 사례 연구: 대규모 ETL을 위한 맞춤형 연산자 구현
- 엔터프라이즈 수준 워크플로 관리를 위한 모범 사례
요약 및 다음 단계
요건
- DAG, 연산자, 실행 아키텍처를 포함한 Apache Airflow 기본 사항에 대한 강력한 이해
- Python 프로그래밍에 대한 능숙함
- 데이터 시스템 통합 및 워크플로 오케스트레이션 경험
청중
- 데이터 엔지니어
- DevOps 엔지니어
- 소프트웨어 아키텍트
21 시간
회원 평가 (1)
강사는 참가자의 수준에 맞춰 교육을 조정하고 모든 질문에 응답했습니다. 그는 매우 소통적이었으며, 그와 상호 작용하는 것이 쉽웠습니다. 저는 실습 exercise를 많이 포함한 교육 형식을 정말로 고edReader. 전반적으로 매우 참여도가 높고 잘 구성된 세션였습니다.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
코스 - Apache Airflow: Building and Managing Data Pipelines
기계 번역됨
