Course Outline

Apache Airflow 기본 사항 검토

  • 핵심 개념: DAG, 작업 및 연산자
  • 에어플로우 아키텍처 및 구성 요소
  • 일반적인 사용 사례 및 워크플로 요약

워크플로 성능 최적화

  • Airflow 파이프라인의 병목 현상 식별
  • 작업 수준 최적화 기술
  • 작업 재시도, 병렬성 및 동시성 활용

복잡한 종속성 관리

  • 워크플로에서 동적 종속성 정의
  • 조건 및 분기 워크플로 처리
  • 작업 그룹 및 하위 DAG를 효과적으로 사용

Apache Airflow의 고급 기능

  • 사용자 정의 연산자 및 후크 생성
  • 외부 트리거를 위한 센서 구현
  • 타사 서비스 및 플러그인 통합

확장 Apache Airflow 배포

  • 수평 및 수직 확장 접근 방식
  • 분산 실행을 위한 Celery Executors 사용
  • 클라우드 환경에서의 확장을 위한 모범 사례

워크플로 모니터링 및 디버깅

  • 워크플로 모니터링을 위한 로깅 및 알림 구성
  • Airflow UI 및 CLI를 사용하여 문제 해결
  • Airflow 배포에서 일반적인 문제 식별 및 해결

보안 Apache Airflow

  • Airflow에서의 인증 및 액세스 제어
  • 민감한 데이터 및 환경 구성 보호
  • 워크플로에 대한 감사 추적 구현

기업Use Case 및 모범 사례

  • 생산 환경을 위한 강력한 워크플로 설계
  • 데이터 엔지니어링 및 ETL 파이프라인을 위한 Airflow 활용
  • 확장 가능한 Airflow 배포의 실제 사례 연구 탐색

요약 및 다음 단계

Requirements

  • Apache Airflow의 기본 지식
  • Python 프로그래밍 및 워크플로 오케스트레이션 개념에 대한 익숙함
  • Linux 환경에서 애플리케이션 관리 및 배포 경험

청중

  • 데이터 엔지니어
  • DevOps전문가
  • 소프트웨어 개발자
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories