문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
Apache Airflow 기본 사항 검토
- 핵심 개념: DAG, 작업 및 연산자
- 에어플로우 아키텍처 및 구성 요소
- 일반적인 사용 사례 및 워크플로 요약
워크플로 성능 최적화
- Airflow 파이프라인의 병목 현상 식별
- 작업 수준 최적화 기술
- 작업 재시도, 병렬성 및 동시성 활용
복잡한 종속성 관리
- 워크플로에서 동적 종속성 정의
- 조건 및 분기 워크플로 처리
- 작업 그룹 및 하위 DAG를 효과적으로 사용
Apache Airflow의 고급 기능
- 사용자 정의 연산자 및 후크 생성
- 외부 트리거를 위한 센서 구현
- 타사 서비스 및 플러그인 통합
확장 Apache Airflow 배포
- 수평 및 수직 확장 접근 방식
- 분산 실행을 위한 Celery Executors 사용
- 클라우드 환경에서의 확장을 위한 모범 사례
워크플로 모니터링 및 디버깅
- 워크플로 모니터링을 위한 로깅 및 알림 구성
- Airflow UI 및 CLI를 사용하여 문제 해결
- Airflow 배포에서 일반적인 문제 식별 및 해결
보안 Apache Airflow
- Airflow에서의 인증 및 액세스 제어
- 민감한 데이터 및 환경 구성 보호
- 워크플로에 대한 감사 추적 구현
기업Use Case 및 모범 사례
- 생산 환경을 위한 강력한 워크플로 설계
- 데이터 엔지니어링 및 ETL 파이프라인을 위한 Airflow 활용
- 확장 가능한 Airflow 배포의 실제 사례 연구 탐색
요약 및 다음 단계
요건
- Apache Airflow의 기본 지식
- Python 프로그래밍 및 워크플로 오케스트레이션 개념에 대한 익숙함
- Linux 환경에서 애플리케이션 관리 및 배포 경험
청중
- 데이터 엔지니어
- DevOps전문가
- 소프트웨어 개발자
21 시간
회원 평가 (1)
Tons of new things learned. Thanks to Jacek who is very skilled, kind and helping a lot.