Course Outline

Apache Airflow 기본 사항 요약

  • 핵심 개념: DAG, 연산자 및 실행 흐름
  • 에어플로우 아키텍처 및 구성 요소
  • 고급 사용 사례 및 워크플로 이해

사용자 정의 연산자 생성

  • Airflow 연산자의 해부학 이해
  • 특정 작업을 위한 사용자 정의 연산자 개발
  • 사용자 정의 연산자 테스트 및 디버깅

사용자 정의 후크 및 센서

  • 외부 시스템 통합을 위한 후크 구현
  • 외부 트리거 모니터링을 위한 센서 생성
  • 사용자 정의 센서로 워크플로 상호 작용성 향상

Airflow 플러그인 개발

  • 플러그인 아키텍처 이해
  • Airflow 기능을 확장하기 위한 플러그인 설계
  • 플러그인 관리 및 배포를 위한 모범 사례

외부 시스템과 공기 흐름 통합

  • Airflow를 데이터베이스, API 및 클라우드 서비스에 연결
  • ETL 워크플로 및 실시간 데이터 처리를 위한 Airflow 사용
  • Airflow와 외부 시스템 간 종속성 관리

고급 디버깅 및 모니터링

  • 문제 해결을 위한 Airflow 로그 및 메트릭 사용
  • 워크플로 문제에 대한 경고 및 알림 구성
  • Airflow를 사용하여 외부 모니터링 도구 활용

성능 및 Scala능력 최적화

  • Celery 및 Kubernetes Executor를 사용한 에어플로우 확장
  • 복잡한 워크플로에서 리소스 활용 최적화
  • 고가용성 및 내결함성을 위한 전략

사례 연구 및 실제 세계 응용 프로그램

  • 데이터 엔지니어링의 고급 사용 사례 탐색 및 DevOps
  • 사례 연구: 대규모 ETL을 위한 맞춤형 연산자 구현
  • 엔터프라이즈 수준 워크플로 관리를 위한 모범 사례

요약 및 다음 단계

Requirements

  • DAG, 연산자, 실행 아키텍처를 포함한 Apache Airflow 기본 사항에 대한 강력한 이해
  • Python 프로그래밍에 대한 능숙함
  • 데이터 시스템 통합 및 워크플로 오케스트레이션 경험

청중

  • 데이터 엔지니어
  • DevOps 엔지니어
  • 소프트웨어 아키텍트
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories