Confluent Apache Kafka: 클러스터 운영 및 구성 교육 과정

Module 1: Confluent Apache Kafka 아키텍처 및 클러스터 구성 입문

• Apache Kafka와 Confluent Platform이란 무엇인가?
• Kafka 브로커, 프로듀서, 컨슈머 및 토픽의 기본 개념
• 데이터 스트리밍 및 메시징 파이프라인에서 Kafka의 역할
• Confluent 확장 기능: REST Proxy, Schema Registry, Control Center
• Kafka 클러스터 아키텍처: 브로커, 파티션, 복제

Module 2: Zookeeper 쿠럼 구성

• Zookeeper란 무엇인가?
• Kafka 클러스터에서 Zookeeper의 역할
• Zookeeper 쿠럼 크기 설정
• Zookeeper 구성 방법
• 서버에서 SSH 구현
• 실습: Zookeeper 구성 (팀 단위 및 서비스 형태로)
• Zookeeper 명령줄 인터페이스(CLI) 사용법
• 실습: Zookeeper 쿠럼 설정
• Zookeeper 내부 파일 시스템
• Zookeeper 성능에 영향을 미치는 요인
• 데모: Zookeeper 관리 도구 및 Zoonavigator 소개

Module 3: Kafka 클러스터 구성

• Kafka 기초
• Kafka 구성 사항
• 실습: 단일 브로커에서의 Kafka 구성
• 실습: Kafka 명령 실행
• 실습: Kafka 멀티 브로커(클러스터) 설정
• 실습: Kafka 클러스터 테스트
• Kafka 클러스터 연결 상태 확인
• Advertised.listeners 구성: 핵심 설정 값
• 토픽 구성
• 토픽 내 메시지 수신 및 전달 설정
• 실습: Kafka의 내재적 강건성(Reliability) 시연
• Kafka 성능: I/O, 네트워크, RAM, CPU, OS
• Kafka 성능: 기타 고려 사항
• 실습: 브로커 구성 수정 방법

Module 4: 고급 Kafka 구성

• Landoop Kafka Topics UI, Confluent REST Proxy, Confluent Schema Registry 구성
• 메시지 전송 및 수신 (CLI, Java, Spring Framework 활용)
• 메트릭 및 모니터링 도구 (Confluent Control Center, Elasticsearch 등)
• 로그 파일 및 오프셋 관리
• 고품질 가용성(HA) 및 재해 복구
• 복제를 통한 고품질 가용성 확보
• 성능 튜닝 (프로듀서/컨슈머)
• 재해 복구 전략
• 페일오버 제어 및 데이터 복구
• 커넥터 설정
• Kafka Connect 구현
• Kafka 보안 기능

요약 및 다음 단계