문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
Apache Airflow 기초 복습
- DAG, 작업 단위, 연산자 등 핵심 개념 살펴보기
- Airflow의 아키텍처 및 주요 구성 요소 설명
- 일반적인 활용 사례와 워크플로우 유형 정리
워크플로우 성능 최적화 방법
- Airflow 파이프라인 내 병목 현상 확인하기
- 작업 단위 차원의 최적화 기법 적용하기
- 재시도 기능, 병렬 처리 및 동시 실행 활용하기
복잡한 의존 관계 관리 방안
- 동적으로 변화하는 워크플로우 의존 관계 정의하기
- 조건부 실행이나 분기형 워크플로우 다루는 방법
- 작업 그룹 및 하위 DAG 활용법 익히기
Apache Airflow 고급 기능 활용
- 사용자 정의 연산자와 훅 생성하기
- 외부 시스템 이벤트에 대응하는 센서 구현하기
- 타사 서비스 및 플러그인과의 통합 방안 탐색하기
Apache Airflow 배포 확장 전략
- 수직적, 수평적 확장을 위한 접근법 비교해보기
- 분산형 처리를 위한 Celery Executor 활용 방법
- 클라우드 환경에서의 안정적인 스케일링 모범 사례
워크플로우 모니터링 및 디버깅 기술
- 워크플로우 상태 감시를 위한 로깅 및 알림 설정하기
- Airflow UI와 CLI 도구 활용해 문제 진단하는 방법
- 일반적인 Airflow 배포 문제의 원인 파악 및 해결책 찾기
Apache Airflow 보안 관리 방안
- 사용자 인증과 접근 권한 제어 체계 구축하기
- 민감 정보와 환경 설정값 보호 전략 마련하기
- 워크플로우 작동 내역에 대한 감사 기록 남기기
기업 환경 적용 사례 및 모범 실천법
- 실제 운영 환경에 적합한 워크플로우 설계 방법
- 데이터 엔지니어링 및 ETL 파이프라인 구축을 위한 Airflow 활용 방안
- 성공적인 대규모 Airflow 배포 사례들 살펴보기
요약 및 향후 학습 방향 안내
요건
- Apache Airflow에 대한 기초 지식이 필요합니다
- Python 프로그래밍과 워크플로우 오케스트레이션 개념에 익숙해야 합니다
- Linux 환경에서 애플리케이션을 관리 및 배포한 경험이 있으면 좋습니다
수강 대상
- 데이터 엔지니어링 전문가들
- DevOps 담당자들
- 소프트웨어 개발자들
21 시간
회원 평가 (1)
강사는 참가자의 수준에 맞춰 교육을 조정하고 모든 질문에 응답했습니다. 그는 매우 소통적이었으며, 그와 상호 작용하는 것이 쉽웠습니다. 저는 실습 exercise를 많이 포함한 교육 형식을 정말로 고edReader. 전반적으로 매우 참여도가 높고 잘 구성된 세션였습니다.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
코스 - Apache Airflow: Building and Managing Data Pipelines
기계 번역됨
