코스 개요
Apache Airflow 소개
- 워크플로 오케스트레이션이란?
- Apache Airflow의 주요 기능 및 장점
- Airflow 2.x의 개선 사항 및 생태계 개요
아키텍처 및 핵심 개념
- 스케줄러, 웹 서버 및 워커 프로세스
- DAG, 태스크 및 오퍼레이터
- 실행자(Executor) 및 백엔드 (Local, Celery, Kubernetes)
설치 및 설정
- 로컬 및 클라우드 환경에서 Airflow 설치
- 다양한 실행자를 사용한 Airflow 설정
- 메타데이터 데이터베이스 및 커넥션 설정
Airflow UI 및 CLI 탐색
- Airflow 웹 인터페이스 탐색
- DAG 실행, 태스크 및 로그 모니터링
- 관리를 위한 Airflow CLI 사용
DAG 작성 및 관리
- TaskFlow API를 사용한 DAG 생성
- 오퍼레이터, 센서, 훅 사용
- 의존성 및 스케줄링 간격 관리
Airflow의 데이터 및 클라우드 서비스 통합
- 데이터베이스, API, 메시지 큐와의 연결
- Airflow를 이용한 ETL 파이프라인 실행
- 클라우드 통합: AWS, GCP, Azure 오퍼레이터
모니터링 및 관찰 가능성
- 태스크 로그 및 실시간 모니터링
- Prometheus 및 Grafana를 활용한 메트릭 측정
- 이메일 또는 Slack를 활용한 알림 및 공지
Apache Airflow 보안
- 역할 기반 접근 제어 (RBAC)
- LDAP, OAuth, SSO를 활용한 인증
- Vault 및 클라우드 시크릿 스토어를 활용한 시크릿 관리
Apache Airflow 확장
- 병렬성, 동시성, 태스크 큐
- CeleryExecutor 및 KubernetesExecutor 사용
- Helm을 활용한 Kubernetes에서의 Airflow 배포
프로덕션 환경을 위한 모범 사례
- DAG를 위한 버전管理及 CI/CD
- DAG 테스트 및 디버깅
- 대규모 환경에서의 신뢰성 및 성능 유지
문제 해결 및 최적화
- 실패한 DAG 및 태스크 디버깅
- DAG 성능 최적화
- 일반적인 함정 및 회피 방법
요약 및 다음 단계
요건
- Python 프로그래밍 경험
- 데이터 엔지니어링 또는 DevOps 개념에 대한 익숙함
- ETL 또는 워크플로 오케스트레이션에 대한 이해
대상 청중
- 데이터 과학자
- 데이터 엔지니어
- DevOps 및 인프라 엔지니어
- 소프트웨어 개발자
회원 평가 (7)
강사는 참가자의 수준에 맞춰 교육을 조정하고 모든 질문에 응답했습니다. 그는 매우 소통적이었으며, 그와 상호 작용하는 것이 쉽웠습니다. 저는 실습 exercise를 많이 포함한 교육 형식을 정말로 고edReader. 전반적으로 매우 참여도가 높고 잘 구성된 세션였습니다.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
코스 - Apache Airflow: Building and Managing Data Pipelines
기계 번역됨
훈련이 완벽했습니다. 매우 유용한 이론과 연습이었습니다.
Vladimir - PUBLIC COURSE
코스 - Apache Airflow
기계 번역됨
훈련은 모든 면에서 적합했습니다. 유용한 이론적 측면과 실습이 포함되었습니다.
Vladimir - PUBLIC COURSE
코스 - Apache Airflow
기계 번역됨
훈련은 모든 면에서 완벽했습니다. 유용한 이론적인 측면과 연습이 포함되었습니다.
Vladimir - PUBLIC COURSE
코스 - Apache Airflow
기계 번역됨
교육은 모든 면에서 완벽했습니다. 유용한 이론적 측면과 연습문제가 포함되었습니다.
Vladimir - PUBLIC COURSE
코스 - Apache Airflow
기계 번역됨
훈련은 모든 면에서 적절했습니다. 유용한 이론적 측면과 연습이 포함되었습니다.
Vladimir - PUBLIC COURSE
코스 - Apache Airflow
기계 번역됨
훈련은 모든 면에서 매우 적절했습니다. 유용한 이론적 측면과 연습이 포함되었습니다.
Vladimir - PUBLIC COURSE
코스 - Apache Airflow
기계 번역됨
