Building Data Pipelines with Apache Kafka 교육 과정

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 처리, 분석 등을 위해 Apache Kafka을 기존 데이터베이스 및 애플리케이션과 통합하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Kafka Connect를 사용하여 대량의 데이터를 데이터베이스에서 Kafka 토픽으로 가져옵니다.
• 애플리케이션 서버에서 생성된 로그 데이터를 Kafka 토픽으로 가져옵니다.
• Make 수집된 데이터를 스트림 처리할 수 있도록 합니다.
• Kafka 토픽에서 데이터를 보조 시스템으로 내보내어 저장 및 분석합니다.

참가자는 다음을 수행할 수 있습니다.

• Confluent Platform 설치 및 구성.
• Confluent의 관리 도구 및 서비스를 사용하여 Kafka를 더 쉽게 실행.
• 들어오는 스트림 데이터를 저장하고 처리.
• Kafka 클러스터 최적화 및 관리.
• 데이터 스트림 보안.

형식

• 상호작용 강의 및 토론.
• 다양한 연습 및 실습.
• 라이브 랩 환경에서의 실습 구현.

코스 사용자 정의 옵션

• 이 코스는 오픈 소스 버전의 Confluent, 즉 Confluent Open Source를 기반으로 합니다.
• 이 코스에 대한 맞춤형 교육을 요청하려면, 맞춤형 교육을 안배하려면 연락 주세요.

강사가 진행하는 이 대한민국 실시간 교육(현장 또는 원격)에서 참가자는 다양한 Stream Processing 프레임워크를 기존 빅 데이터 스토리지 시스템과 관련 소프트웨어 애플리케이션 및 마이크로서비스로 설정하고 통합하는 방법을 배우게 됩니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Spark Streaming 및 Kafka Streaming과 같은 다양한 Stream Processing 프레임워크를 설치하고 구성합니다.
• 업무에 가장 적합한 프레임워크를 이해하고 선택하세요.
• 연속적으로, 동시에, 기록별로 데이터를 처리합니다.
• Stream Processing 솔루션을 기존 데이터베이스, 데이터 웨어하우스, 데이터 레이크 등과 통합합니다.
• 가장 적합한 스트림 처리 라이브러리를 엔터프라이즈 애플리케이션 및 마이크로서비스와 통합합니다.

이 과정은 엔터프라이즈 설계자, 개발자, 시스템 관리자 및 높은 처리량의 분산 메시징 시스템을 이해하고 사용하려는 모든 사용자를 대상으로합니다. 보다 구체적인 요구 사항 (예 : 시스템 관리 측면)이있는 경우,이 과정은 요구 사항에 더 잘 맞출 수 있습니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 엔터프라이즈급 Kafka 클러스터를 설정, 배포, 관리 및 최적화하려는 시스템 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Kafka 클러스터를 설정하고 관리합니다.
• Kafka를 온프레미스에 배포하는 것과 클라우드에 배포하는 것의 장점과 단점을 평가하세요.
• 다양한 온프레미스 및 클라우드 환경 도구를 사용하여 Kafka를 배포하고 모니터링합니다.

대한민국(온사이트 또는 현장)에서 강사가 진행하는 라이브 교육은 Apache Kafka을(를) 사용하여 빅 데이터 애플리케이션을 개발하려는 중급 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

Kafka 생산자 및 소비자를 개발하여 Kafka에서 데이터를 보내고 읽습니다. Kafka Connect를 사용하여 Kafka를 외부 시스템과 통합합니다. Kafka Streams 및 ksqlDB로 스트리밍 애플리케이션을 작성합니다. 클라우드 기반 Kafka 배포를 위해 Kafka 클라이언트 애플리케이션을 Confluent Cloud와 통합합니다. 실습과 실제 사용 사례를 통해 실용적인 경험을 얻으십시오.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Python을 통해 데이터 스트리밍에서 Apache Kafka 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다.

이 교육이 끝나면 참가자는 Apache Kafka을 사용하여 Python 프로그래밍을 사용하여 연속 데이터 스트림의 상태를 모니터링하고 관리할 수 있습니다.

이 인스트럭터-리드, 라이브 트레이닝은 대한민국 (온라인 또는 현장에서) 네트워크 보안 조치를 Apache Kafka 애플리케이션에 구현하고자 하는 소프트웨어 테스터를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache Kafka를 클라우드 기반 서버에 배포합니다.
• 공격을 방지하기 위해 SSL 암호화를 구현합니다.
• 사용자 접근을 추적하고 제어하기 위해 ACL 인증을 추가합니다.
• 신빙할 수 있는 클라이언트가 SSL 및 SASL 인증으로 Kafka 클러스터에 접근할 수 있도록 합니다.

대한민국(온라인 또는 현장)에서 진행되는 이 강사 주도 라이브 교육은 Kafka의 기본 사항을 배우고 이를 Spring Boot과 통합하려는 중급 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 카프카와 그 아키텍처를 이해합니다.
• 기본적인 카프카 환경을 설치, 구성, 설정하는 방법을 알아보세요.
• Spring Boot와 Kafka를 통합합니다.

Kafka Streams는 카프카 (Cafka) 메시징 시스템으로 데이터를주고받는 마이크로 애플리케이션을 구축하기위한 클라이언트 측 라이브러리입니다. 전통적으로 Apache Kafka 는 메시지 생성자와 소비자 간의 데이터를 처리하기 위해 Apache Spark 또는 Apache Storm 에 의존했습니다. 응용 프로그램 내에서 Kafka Streams API를 호출하면 Kafka 내에서 직접 데이터를 처리 할 수 있으므로 처리를 위해 별도의 클러스터로 데이터를 전송할 필요가 없습니다.

강사가 진행하는이 실습에서는 Kafka Streams를 스트림 처리를 위해 Apache Kafka 와 데이터를주고받는 샘플 Java 응용 프로그램 세트에 Kafka Streams를 통합하는 방법을 배우게됩니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Kafka Streams의 기능과 다른 스트림 처리 프레임워크에 비해 장점을 이해합니다
• Kafka 클러스터 내에서 스트림 데이터를 직접 처리합니다
• Kafka와 Kafka Streams와 통합된 Java 또는 Scala 애플리케이션 또는 마이크로 서비스를 작성합니다
• 입력 Kafka 토픽을 출력 Kafka 토픽으로 변환하는 간결한 코드를 작성합니다
• 애플리케이션을 빌드, 패키징하고 배포합니다

청중

• 개발자

강의 형식

• 강의, 토론, 연습 및 많은 실습을 포함합니다

노트

• 이 강의를 위한 맞춤형 교육을 요청하려면 연락하여 조율하세요

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 효율적인 데이터 스트리밍 및 처리를 위해 Kafka 주제를 효과적으로 관리하는 방법을 배우고자 하는 초급부터 중급 시스템 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Kafka 주제 기본 사항 및 아키텍처를 이해합니다.
• Kafka 주제를 생성, 구성 및 관리합니다.
• 상태, 성능 및 가용성에 대해 Kafka 주제를 모니터링합니다.
• Kafka 주제에 대한 보안 조치를 구현합니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 코드를 작성하지 않고 Apache Kafka 스트림 처리를 구현하려는 개발자를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Confluent KSQL를 설치하고 구성합니다.
• SQL개의 명령만 사용하여 스트림 처리 파이프라인을 설정합니다(Java 또는 Python 코딩 없음).
• SQL에서 데이터 필터링, 변환, 집계, 조인, 윈도잉 및 세션화를 전체적으로 수행합니다.
• 스트리밍 ETL 및 실시간 분석을 위한 대화형 연속 쿼리를 설계하고 배포합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 SMACK 스택을 사용하여 빅 데이터 솔루션용 데이터 처리 플랫폼을 구축하려는 데이터 과학자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 빅데이터 처리를 위한 데이터 파이프라인 아키텍처를 구현합니다.
• Apache Mesos 및 Docker를 사용하여 클러스터 인프라를 개발합니다.
• Spark 및 Scala을 사용하여 데이터를 분석합니다.
• Apache Cassandra를 사용하여 구조화되지 않은 데이터를 관리하세요.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 실시간 데이터 처리 및 분석에 Spark Streaming 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다.

이 교육이 끝나면 참가자는 Spark Streaming을 사용하여 데이터베이스, 파일 시스템 및 라이브 대시보드에서 사용할 라이브 데이터 스트림을 처리할 수 있습니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Spring Cloud, Kafka, Docker, Kubernetes 및 Redis를 사용하여 기존 아키텍처를 동시성 마이크로서비스 기반 아키텍처로 전환하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 마이크로서비스 구축에 필요한 개발 환경을 설정합니다.
• Spring Cloud, Kafka, Redis, Docker 및 Kubernetes를 사용하여 동시성이 높은 마이크로서비스 생태계를 설계하고 구현합니다.
• 모놀리식 및 SOA 서비스를 마이크로서비스 기반 아키텍처로 전환합니다.
• 소프트웨어 개발, 테스트, 출시에 DevOps 접근 방식을 채택합니다.
• 프로덕션에서 마이크로서비스 간의 높은 동시성을 보장합니다.
• 마이크로서비스를 모니터링하고 복구 전략을 구현합니다.
• 성능 튜닝을 수행합니다.
• 마이크로서비스 아키텍처의 미래 동향에 대해 알아보세요.