문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
Apache Airflow 기초 개념 복습
- DAG, 연산자 및 실행 흐름 등 핵심 개념 설명
- Airflow 아키텍처와 구성 요소 이해하기
- 고급 활용 사례 및 워크플로우 파악
사용자 정의 연산자 개발하기
- Airflow 연산자의 구조 및 작동 방식 이해하기
- 특정 작업에 적합한 사용자 정의 연산자 개발하기
- 사용자 정의 연산자의 테스트 및 디버깅 방법
사용자 정의 훅과 센서 구현하기
- 외부 시스템과의 통합을 위한 훅 구현
- 외부 이벤트 발생 여부를 감지하는 센서 개발
- 사용자 정의 센서로 워크플로우 상호작용 기능 강화하기
Airflow 플러그인 개발 방법
- 플러그인 아키텍처에 대한 기본 지식 습득
- Airflow 기능 확장을 위한 플러그인 설계 방안
- 플러그인 관리 및 배포 시 유용한 베스트 프랙티스
외부 시스템과의 통합 방법
- 데이터베이스, API 및 클라우드 서비스와 Airflow 연동하기
- ETL 워크플로우 및 실시간 데이터 처리에 Airflow 활용법
- Airflow와 외부 시스템 간 의존성 관리 전략
고급 디버깅과 모니터링 기법
- 문제 해결을 위한 로그 및 지표 분석 방법
- 워크플로우 문제 발생 시 알림 설정 및 경보 체계 구축
- 외부 모니터링 도구와 Airflow 연동 방안
성능 최적화 및 확장 전략
- Celery 및 Kubernetes Executor를 활용한 Airflow 확장 방법
- 복잡한 워크플로우에서 리소스 활용도 극대화하기
- 고가용성과 장애 내구성을 갖춘 시스템 운영 전략
사례 연구 및 실제 적용 예시
- 데이터 엔지니어링 및 DevOps 분야의 고급 활용 사례 탐구
- 대규모 ETL 작업을 위한 사용자 정의 연산자 개발 사례 분석
- 기업 환경에서 워크플로우를 체계적으로 관리하는 방법론
요약 및 향후 학습 방향 제시
요건
- DAG, 연산자 및 실행 아키텍처 등 Apache Airflow 기초 지식에 대한 충분한 이해
- Python 프로그래밍 능력
- 데이터 시스템 통합 및 워크플로우 관리 경험
대상 수강생
- 데이터 엔지니어
- DevOps 엔지니어
- 소프트웨어 아키텍트
21 시간
회원 평가 (1)
강사는 참가자의 수준에 맞춰 교육을 조정하고 모든 질문에 응답했습니다. 그는 매우 소통적이었으며, 그와 상호 작용하는 것이 쉽웠습니다. 저는 실습 exercise를 많이 포함한 교육 형식을 정말로 고edReader. 전반적으로 매우 참여도가 높고 잘 구성된 세션였습니다.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
코스 - Apache Airflow: Building and Managing Data Pipelines
기계 번역됨
