문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
Apache Airflow 기본 사항 검토
- 핵심 개념: DAG, 작업 및 연산자
- 에어플로우 아키텍처 및 구성 요소
- 일반적인 사용 사례 및 워크플로 요약
워크플로 성능 최적화
- Airflow 파이프라인의 병목 현상 식별
- 작업 수준 최적화 기술
- 작업 재시도, 병렬성 및 동시성 활용
복잡한 종속성 관리
- 워크플로에서 동적 종속성 정의
- 조건 및 분기 워크플로 처리
- 작업 그룹 및 하위 DAG를 효과적으로 사용
Apache Airflow의 고급 기능
- 사용자 정의 연산자 및 후크 생성
- 외부 트리거를 위한 센서 구현
- 타사 서비스 및 플러그인 통합
확장 Apache Airflow 배포
- 수평 및 수직 확장 접근 방식
- 분산 실행을 위한 Celery Executors 사용
- 클라우드 환경에서의 확장을 위한 모범 사례
워크플로 모니터링 및 디버깅
- 워크플로 모니터링을 위한 로깅 및 알림 구성
- Airflow UI 및 CLI를 사용하여 문제 해결
- Airflow 배포에서 일반적인 문제 식별 및 해결
보안 Apache Airflow
- Airflow에서의 인증 및 액세스 제어
- 민감한 데이터 및 환경 구성 보호
- 워크플로에 대한 감사 추적 구현
기업Use Case 및 모범 사례
- 생산 환경을 위한 강력한 워크플로 설계
- 데이터 엔지니어링 및 ETL 파이프라인을 위한 Airflow 활용
- 확장 가능한 Airflow 배포의 실제 사례 연구 탐색
요약 및 다음 단계
요건
- Apache Airflow의 기본 지식
- Python 프로그래밍 및 워크플로 오케스트레이션 개념에 대한 익숙함
- Linux 환경에서 애플리케이션 관리 및 배포 경험
청중
- 데이터 엔지니어
- DevOps전문가
- 소프트웨어 개발자
21 시간
회원 평가 (1)
강사는 참가자의 수준에 맞춰 교육을 조정하고 모든 질문에 응답했습니다. 그는 매우 소통적이었으며, 그와 상호 작용하는 것이 쉽웠습니다. 저는 실습 exercise를 많이 포함한 교육 형식을 정말로 고edReader. 전반적으로 매우 참여도가 높고 잘 구성된 세션였습니다.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
코스 - Apache Airflow: Building and Managing Data Pipelines
기계 번역됨
