관리자를 위한 Kafka 교육 과정

Kafka 관리의 기초

• 최신 데이터 플랫폼 환경에서 Kafka가 어떤 역할을 하며, 운영자로서 어떤 업무를 담당하게 되는지 알아봅니다.
• 브로커, 토픽, 파티션, 오프셋, 컨슈머 그룹 등 운영자를 위한 핵심 개념을 다룹니다.
• 리더와 팔로워의 역할과 ISR(동기화된 복제본) 개념을 비롯한 복제 메커니즘의 기초를 학습합니다. 가용성과 안정성 사이의 균형에 대해서도 알아봅니다.
• 운영 절차에서 사용되는 용어와 Kafka 운영 시 반드시 파악해야 할 사항들을 설명합니다.

KRaft 모드와 클러스터 설계

• 컨트롤러, 메타데이터 쿼럼, 선출 과정 등 KRaft의 기본 원리와 운영 측면에서 어떤 의미를 가지는지 학습합니다.
• 처리량, 파티션 수, 데이터 보존 기간 및 향후 확장성을 고려한 클러스터 규모 계획 방법을 다룹니다.
• 컨트롤러를 별도로 배치할지 혹은 브로커와 통합 운영할지, 그리고 장애 도메인 고려사항 등 노드 역할 설계 방안을 알아봅니다.
• 실습: KRaft 메타데이터를 확인하고 쿼럼 상태를 검증하며 컨트롤러 로그를 해석하는 방법을 연습합니다.

설치, 구성 및 일상 운영

• 패키지 설치, tarball 활용, 컨테이너 기반 배포 등 다양한 Kafka 설치 방법과 기업 환경에서 표준화해야 할 사항들을 살펴봅니다.
• 브로커 리스너 설정, 복제 전략, 로그 디렉터리 관리 및 데이터 보존 규칙 등 안정적인 운영에 필요한 핵심 설정을 학습합니다.
• 서비스 시작 순서, 안전한 종료 절차, 그리고 구성 변경 시 검증 과정 등을 포함한 안전한 운영 가이드라인을 알아봅니다.
• 실습: 다중 노드 클러스터를 구축하고 브로커가 정상적으로 등록되었는지 확인하며 기본적인 데이터 송수신 기능도 검증합니다.

토픽, 파티션 및 데이터 배치 관리

• CLI 도구를 활용해 토픽을 생성하거나 구성 정보를 수정하고 삭제하는 방법 등 전체적인 라이프사이클 관리를 연습합니다.
• 실제 운영 환경에서 적절한 파티션 및 복제 인수 결정 방안과 피해야 할 설계 오류를 다룹니다.
• 파티션 재배치 시점을 판단하고 진행 과정을 안전하게 확인하는 절차를 학습합니다.
• 실습: 토픽 생성 후 파티션 재할당 작업을 수행하고, 브로커 장애 상황을 시뮬레이션한 뒤 복구 가능 여부도 검증해봅니다.

운영 환경에서의 Kafka 보안 설정

• 클라이언트와 브로커 간 통신에 TLS를 적용하는 방법, 신뢰 체인 구성 및 검증 절차 등을 다룹니다.
• SASL 인증 방식 선택 시 주의사항과 오설정 예방책에 대해 학습합니다.
• 관리자, 프로듀서, 컨슈머 각각에 필요한 최소 권한 원칙을 기반으로 ACL 정책을 수립합니다.
• 실습: TLS와 SASL 설정을 적용하고 클라이언트 접속 테스트를 진행하며 애플리케이션 역할에 맞게 ACL도 적용해봅니다.

모니터링, 신뢰성 확보 및 문제 해결

• 컨트롤러 상태, 복제 불일치 현상, 요청 지연 시간, 디스크와 네트워크 과부하 징후 등 필수적인 모니터링 항목을 알아봅니다.
• 브로커 로그 해석 방법과 JMX 익스포터를 활용한 메트릭 수집 및 시각화 도구 연동 방안을 학습합니다.
• 클러스터 점진적 재시작 절차, 구성 변경 안전성 확인법 및 디스크 가득 참 현상이나 ISR 문제 대응책 등 실무 가이드를 제공합니다.
• 실습: 최소한의 알림 규칙을 설정하고 클러스터 상태가 저하된 상황에서 원인 분석 및 정상 복구 단계까지 수행해봅니다.

업그레이드 계획과 재해복구 준비

• 버전 호환성 점검, 스테이징 환경 테스트 및 롤백 전략을 포함한 Kafka 업그레이드 절차를 다룹니다.
• 실제 백업 가능 항목과 불가능한 부분, 구성 설정 복원 기초 등 백업 및 복구 시 고려사항을 알아봅니다.
• 클러스터 간 데이터 동기화 방법과 재해복구 또는 마이그레이션 목적으로 MirrorMaker 2를 사용하는 시점도 설명합니다.
• 교육 마무리: 운영 체크리스트와 인수인계 문서 정리법, 그리고 실제 운영 단계로 진입하기 위한 다음 절차들을 제시합니다.