코스 개요
NiFi 및 데이터 플로우 기초
- 유통 중인 데이터 vs 정지된 데이터: 개념과 과제
- NiFi 아키텍처: 코어, 플로우 컨트롤러, 프로베넌스, 버uletin
- 핵심 구성 요소: 프로세서, 연결, 컨트롤러, 프로베넌스
빅데이터 맥락 및 통합
- 빅데이터 생태계에서의 NiFi 역할 (Hadoop, Kafka, 클라우드 저장소)
- HDFS, MapReduce 및 현대적 대체 수단 개요
- 사용 사례: 스트림 수신, 로그 전송, 이벤트 파이프라인
설치, 구성 및 클러스터 설정
- 단일 노드 및 클러스터 모드에서 NiFi 설치
- 클러스터 구성: 노드 역할, Zookeeper, 로드 밸런싱
- NiFi 배포 오케스트레이션: Ansible, Docker, 또는 Helm 사용
데이터 플로우 설계 및 관리
- 플로우 라우팅, 필터링, 분할, 병합
- 프로세서 구성 (InvokeHTTP, QueryRecord, PutDatabaseRecord 등)
- 스키마 처리, 정보 부가, 변환 작업 처리
- 오류 처리, 재시도 관계, 백프레셔
통합 시나리오
- 데이터베이스, 메시징 시스템, REST API 연결
- 분석 시스템 스트리밍: Kafka, Elasticsearch 또는 클라우드 저장소
- Splunk, Prometheus 또는 로그 파이프라인과의 통합
모니터링, 복구 및 프로베넌스
- NiFi UI, 메트릭, 프로베넌스 비주얼라이저 사용
- 자율 복구 및 적절한 실패 처리 설계
- 백업, 플로우 버전 관리, 변경 관리
성능 튜닝 및 최적화
- JVM, 힙, 스레드 풀, 클러스터링 매개변수 튜닝
- 병목 현상 완화를 위한 플로우 설계 최적화
- 리소스 격리, 플로우 우선순위 설정, 처리량 제어
모범 사례 및 거버넌스
- 플로우 문서화, 명명 규준, 모듈형 설계
- 보안: TLS, 인증, 접근 제어, 데이터 암호화
- 변경 제어, 버전 관리, 역할 기반 접근, 감사 추적
문제 해결 및 사고 대응
- 일반적 문제: 데드락, 메모리 누수, 프로세서 오류
- 로그 분석, 오류 진단 및 원인 조사
- 복구 전략 및 플로우 롤백
실습 랩: 현실적 데이터 파이프라인 구현
- 엔드투엔드 플로우 구축: 수신, 변환, 전달
- 오류 처리, 백프레셔, 확장성 구현
- 파이프라인 성능 테스트 및 튜닝
요약 및 다음 단계
요건
- Linux 커맨드 라인 경험
- 네트워크 및 데이터 시스템에 대한 기초 이해
- 데이터 스트리밍 또는 ETL 개념에 대한 노출
대상 독자
- 시스템 관리자
- 데이터 엔지니어
- 개발자
- DevOps 전문가
회원 평가 (7)
실습 연습. 이 클래스는 본래 5일 동안 진행되었어야 하지만, 3일간의 수업으로도 이미 NiFi를 사용하면서 가졌던 많은 질문들을 해결할 수 있었습니다.
James - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
강사의 진행 속도가 좋았다고 생각합니다. 그의 방식으로 학생 한 명도 뒤처지지 않게 했습니다. 경력 중 시스템 관리자나 인프라 관련 역할을 하지 않았거나, 이전 경력에서 그런 기술을 되살린 NEWBIES(초보자)들에 대해 매우 지원적이었습니다.
Pamdrea Ivory - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
실습 부분을 좋아합니다. 제공된 연습문제를 수행함으로써 정보를 더 잘 기억할 수 있었습니다. 또한 트레이너가 전체 클래스와 상호작용하는 능력 덕분에 자신 없는 부분에 대해 질문하기 편안했습니다.
Leila - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
NiFi 데이터 흐름을 구축하기 위한 사용 사례 및 예제. 우리는 일반적인 문제와 주의할 점들을 해결하는 데 초점을 맞추었습니다.
Nelson - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
구조가 마음에 들었습니다. 1일차에는 Nifi의 기초, 개념, 사용 사례 등을 다루었고, 2일차에는 1일차에서 배운 내용을 활용해 시나리오 요구사항을 충족하는 흐름을 구축하는 실습을 진행했습니다. 3일차에는 Nifi Registry와 버전 관리, 멀티 테넌시, 그리고 Q&A 세션을 진행했습니다.
Adam - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
그가 NiFi에 대해 자세히 설명하고 그 강력함을 전달하는 방식이 마음에 들었습니다. 기본적으로 어떤 인프라에서도 사용할 수 있으며 다양한 컴퓨터 언어를 활용할 수 있습니다. 또한 Truststore와 관련된 NiFi 인증서 갱신 문제를 해결할 수 있어 기뻤습니다.
Joachim Martin - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
일반 지식과 교육이 도구 면에서 제공하는 가능성에 대해 설명합니다.
Nalfis Tobar - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
