Course Outline
모듈 1: Confluent Apache Kafka 아키텍처 및 클러스터 구성 소개
- Apache Kafka 및 Confluent 플랫폼이란?
- Kafka 브로커, 프로듀서, 컨슈머, 토픽의 기본
- 데이터 스트리밍 및 메시징 파이프라인에서 Kafka의 역할
- Confluent 확장 기능: REST Proxy, Schema Registry, Control Center
- Kafka 클러스터 아키텍처: 브로커, 파티션 및 복제
모듈 2: Zookeeper 퀘럼 구성
- Zookeeper란?
- Kafka 클러스터에서 Zookeeper의 역할
- Zookeeper 퀘럼 크기
- Zookeeper 구성
- 서버에 SSH 구현
- 실습: 팀 및 서비스로서 Zookeeper 구성
- Zookeeper 명령 줄 인터페이스(CLI) 사용
- 실습: Zookeeper 퀘럼 설정
- Zookeeper의 내부 파일 시스템
- Zookeeper 성능에 영향을 미치는 요소
- 데모: Zookeeper 관리 도구 및 Zoonavigator
모듈 3: Kafka 클러스터 구성
- Kafka 기본 사항
- Kafka 구성
- 실습: 단일 브로커에서 Kafka 구성
- 실습: Kafka 명령 실행
- 실습: Kafka 다중 브로커(클러스터) 설정
- 실습: Kafka 클러스터 테스트
- Kafka 클러스터에 연결할 수 있습니까?
- advertised.listeners 구성: 주요 설정
- 토픽 구성
- 토픽에서 메시지 수집 및 전달 설정
- 실습: Kafka 내구성 시연
- Kafka 성능: I/O, 네트워크, RAM, CPU, OS
- Kafka 성능: 기타 요소
- 실습: 브로커 구성 수정 방법
모듈 4: 고급 Kafka 구성
- Landoop Kafka Topics UI, Confluent REST Proxy, Confluent Schema Registry 구성
- 메시지 전송 및 수신(CLI, Java, Spring Framework)
- 메트릭 및 모니터링 도구(Confluent Control Center, Elasticsearch 등)
- 로그 파일 및 오프셋 관리
- 고가용성과 재해 복구
- 복제를 통한 고가용성 보장
- 성능 튜닝(프로듀서/컨슈머)
- 재해 복구 전략
- 페일오버 제어 및 데이터 복구
- 커넥터 설정
- Kafka Connect 구현
- Kafka 보안 기능
요약 및 다음 단계
Requirements
- Linux 기반 시스템 및 명령줄 도구 경험
- 분산 시스템 개념에 대한 이해
- 기본 네트워킹 및 시스템 구성 이해
대상
- DevOps 및 SRE 팀, Kafka 배포 관리
- Confluent 및 Zookeeper와 작업하는 시스템 관리자
- 확장 가능한 시스템에 대한 책임이 있는 Kafka 개발자 및 아키텍트
회원 평가 (5)
Sufficient hands on, trainer is knowledgable
Chris Tan
Course - A Practical Introduction to Stream Processing
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Course - Apache NiFi for Administrators
That I had it in the first place.
Peter Scales - CACI Ltd
Course - Apache NiFi for Developers
Recalling/reviewing keypoints of the topics discussed.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Course - Building Stream Processing Applications with Kafka Streams
Informative and had correct level of detail I believe.