문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
NiFi와 데이터 흐름의 기초
- 움직이는 데이터 vs. 정적 데이터: 개념과 도전 과제
- NiFi 아키텍처: 코어, 흐름 컨트롤러, 출처, 그리고 공지
- 주요 구성 요소: 프로세서, 연결, 컨트롤러, 그리고 출처
빅데이터 컨텍스트와 통합
- 빅데이터 생태계(하둡, 카프카, 클라우드 스토리지)에서 NiFi의 역할
- HDFS, MapReduce, 그리고 현대적인 대안 개요
- 사용 사례: 스트림 인제스톤, 로그 전송, 이벤트 파이프라인
설치, 구성 및 클러스터 설정
- 단일 노드와 클러스터 모드에서 NiFi 설치
- 클러스터 구성: 노드 역할, Zookeeper, 그리고 로드 밸런싱
- Ansible, Docker, 또는 Helm을 사용하여 NiFi 배포 조정
데이터 흐름 설계 및 관리
- 루팅, 필터링, 분할, 병합 흐름
- 프로세서 구성 (InvokeHTTP, QueryRecord, PutDatabaseRecord 등)
- 스키마 처리, 보강, 변환 작업 처리
- 오류 처리, 재시도 관계, 그리고 백프레셔
통합 시나리오
- 데이터베이스, 메시징 시스템, REST API에 연결
- 분석 시스템으로 스트리밍: Kafka, Elasticsearch, 또는 클라우드 스토리지
- Splunk, Prometheus, 또는 로깅 파이프라인과 통합
모니터링, 복구 및 출처
- NiFi UI, 메트릭, 출처 시각화 사용
- 자율 복구 및 부드러운 실패 처리 설계
- 백업, 흐름 버전 관리, 변경 관리
성능 조정 및 최적화
- JVM, 힙, 스레드 풀, 클러스터링 매개변수 조정
- 병목 현상을 줄이기 위한 흐름 디자인 최적화
- 리소스 격리, 흐름 우선 순위, 그리고 처리량 제어
최고의 실천 방법 및 관리
- 흐름 문서화, 명명 표준, 모듈 디자인
- 보안: TLS, 인증, 접근 제어, 데이터 암호화
- 변경 관리, 버전 관리, 역할 기반 접근, 감사 추적
문제 해결 및 사건 대응
- 일반적인 문제: 데드락, 메모리 누수, 프로세서 오류
- 로그 분석, 오류 진단 및 원인 조사
- 복구 전략 및 흐름 롤백
실습 랩: 실제 데이터 파이프라인 구현
- 종단 간 흐름 구축: 인제스톤, 변환, 전달
- 오류 처리, 백프레셔 및 스케일링 구현
- 파이프라인 성능 테스트 및 조정
요약 및 다음 단계
요건
- Linux 명령줄 경험
- 네트워크 및 데이터 시스템에 대한 기본 이해
- 데이터 스트리밍 또는 ETL 개념에 대한 노출
대상
- 시스템 관리자
- 데이터 엔지니어
- 개발자
- DevOps 전문가
21 시간
회원 평가 (7)
실습 연습. 수업은 5일이었어야 했지만 3일 동안 NiFi를 사용하면서 제가 가지고 있던 많은 의문을 해소하는 데 도움이 되었습니다.
James - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
저는 트레이너의 속도가 좋다고 생각했습니다. 그는 자신의 접근 방식으로 학생을 하나도 놓치지 않았습니다. 그는 우리 경력 중에 시스템 관리자나 인프라 역할을 하지 않았거나 이전 경력 기간의 기술을 되살리지 못했을 수 있는 우리 NEWBIES에게 매우 많은 지원을 해주었습니다.
Pamdrea Ivory - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
저는 실습 섹션을 좋아합니다. 제공된 연습을 완료함으로써 정보를 더 잘 기억하는 데 도움이 되었습니다. 또한, 트레이너가 전체 수업에 참여하는 능력 덕분에 확신이 서지 않는 것에 대해 질문하는 데 편안함을 느꼈습니다.
Leila - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
NiFi 데이터 흐름을 구축하기 위한 사용 사례, 예. 우리는 일반적인 문제와 함정을 해결하는 데 노력했습니다.
Nelson - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
저는 그 구조를 좋아했습니다. 1일차에 Nifi의 기본, 개념, 사용 사례 등에 대해 깊이 파고들었습니다. 2일차에 시나리오 요구 사항을 충족하는 흐름을 구축하여 1일차 지식을 실천에 옮기게 되었습니다. 3일차에 Nifi 레지스트리와 버전 제어, 멀티테넌시를 살펴보고 Q&A를 살펴보게 되었습니다.
Adam - BHG Financial
코스 - Apache NiFi for Administrators
기계 번역됨
I like how he was able to elaborate about Nifi and how powerful it is. You can basically use it for any infrastructure and use many different computer languages. Also i was glad we were able to fix the Nifi cert renewal issue we were having with the Truststore.
Joachim Martin - BHG Financial
코스 - Apache NiFi for Administrators
general knowledge and the possibilities that the training offered in terms on the tool.
