Stream Processing Training in 대한민국

이 강사 주도 라이브 교육 (온사이트 또는 원격)은 confluent (Kafka 배포)를 사용 하 여 응용 프로그램에 대 한 실시간 데이터 처리 플랫폼을 빌드하고 관리 하려는 엔지니어를 대상으로 합니다. 참가자는 다음을 수행할 수 있습니다.

• 설치 및 구성
• 는 Kafka를 보다 쉽게 실행 하기 위해 confluent & #39;의 관리 도구 및 서비스를 사용 합니다.
• 들어오는 스트림 데이터를 저장 하 고 처리 합니다.
• 카프카 클러스터를 최적화 하 고 관리 합니다.
• 보안 데이터 스트림

형식

• 대화식 강의 및 토론
운동과 연습을 많이
• .
• 라이브 랩 환경에서 실습을 구현 합니다.

코스 사용자 정의 옵션

• 이 과정은 confluent의 오픈 소스 버전을 기반으로: confluent 오픈 소스.
• 이 과정에 대 한 맞춤형 교육을 요청 하려면 당사에 연락 하 여 준비 하십시오.

강사가 진행하는 이 대한민국 실시간 교육(현장 또는 원격)에서 참가자는 다양한 Stream Processing 프레임워크를 기존 빅 데이터 스토리지 시스템과 관련 소프트웨어 애플리케이션 및 마이크로서비스로 설정하고 통합하는 방법을 배우게 됩니다. 이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Spark Streaming 및 Kafka Streaming과 같은 다양한 Stream Processing 프레임워크를 설치하고 구성합니다.
• 업무에 가장 적합한 프레임워크를 이해하고 선택하세요.
• 연속적으로, 동시에, 기록별로 데이터를 처리합니다.
• Stream Processing 솔루션을 기존 데이터베이스, 데이터 웨어하우스, 데이터 레이크 등과 통합합니다.
• 가장 적합한 스트림 처리 라이브러리를 엔터프라이즈 애플리케이션 및 마이크로서비스와 통합합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Python을 통해 데이터 스트리밍에서 Apache Kafka 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다. 이 교육이 끝나면 참가자는 Apache Kafka을 사용하여 Python 프로그래밍을 사용하여 연속 데이터 스트림의 상태를 모니터링하고 관리할 수 있습니다.

Kafka Streams는 카프카 (Cafka) 메시징 시스템으로 데이터를주고받는 마이크로 애플리케이션을 구축하기위한 클라이언트 측 라이브러리입니다. 전통적으로 Apache Kafka 는 메시지 생성자와 소비자 간의 데이터를 처리하기 위해 Apache Spark 또는 Apache Storm 에 의존했습니다. 응용 프로그램 내에서 Kafka Streams API를 호출하면 Kafka 내에서 직접 데이터를 처리 할 수 있으므로 처리를 위해 별도의 클러스터로 데이터를 전송할 필요가 없습니다. 강사가 진행하는이 실습에서는 Kafka Streams를 스트림 처리를 위해 Apache Kafka 와 데이터를주고받는 샘플 Java 응용 프로그램 세트에 Kafka Streams를 통합하는 방법을 배우게됩니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• 다른 스트림 처리 프레임 워크에 비해 Kafka Streams 기능 및 이점 이해
• 카프카 클러스터 내에서 스트림 데이터를 직접 처리합니다.
• Kafka 및 Kafka Streams와 통합되는 Java 또는 Scala 응용 프로그램 또는 마이크로 서비스 작성
• 입력 카프카 항목을 출력 카프카 항목으로 변환하는 간결한 코드 작성
• 응용 프로그램 빌드, 패키지 및 배포

청중

• 개발자

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

노트

• 이 과정에 대한 맞춤식 교육을 요청하려면 Google에 문의하여 협의하십시오.

Apache Samza는 스트림 프로세싱을위한 오픈 소스 거의 실시간의 비동기 계산 프레임 워크입니다. 메시징에는 Apache Kafka 를, 내결함성, 프로세서 격리, 보안 및 리소스 관리에는 Apache Hadoop YARN을 사용합니다. 강사가 진행하는이 실습에서는 메시징 시스템 및 분산 스트림 처리의 기본 원리를 소개하고 샘플 Samza 기반 프로젝트 작성 및 작업 실행을 통해 참가자를 안내합니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Samza를 사용하면 메시지를 생성하고 소비하는 데 필요한 코드를 단순화 할 수 있습니다.
• 응용 프로그램에서 메시지 처리 분리.
• Samza를 사용하여 실시간에 가까운 비동기 계산을 구현하십시오.
• 스트림 처리를 사용하여 메시징 시스템에서보다 높은 수준의 추상화를 제공합니다.

청중

• 개발자

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 실시간 데이터 처리 및 분석에 Spark Streaming 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다. 이 교육이 끝나면 참가자는 Spark Streaming을 사용하여 데이터베이스, 파일 시스템 및 라이브 대시보드에서 사용할 라이브 데이터 스트림을 처리할 수 있습니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 코드를 작성하지 않고 Apache Kafka 스트림 처리를 구현하려는 개발자를 대상으로 합니다. 이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Confluent KSQL를 설치하고 구성합니다.
• SQL개의 명령만 사용하여 스트림 처리 파이프라인을 설정합니다(Java 또는 Python 코딩 없음).
• SQL에서 데이터 필터링, 변환, 집계, 조인, 윈도잉 및 세션화를 전체적으로 수행합니다.
• 스트리밍 ETL 및 실시간 분석을 위한 대화형 연속 쿼리를 설계하고 배포합니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 샘플 인메모리 컴퓨팅 프로젝트를 만드는 과정을 거치면서 지속적이고 순수한 인메모리 저장소의 원리를 배우고자 하는 개발자를 대상으로 합니다. 이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 순수 분산형 메모리 내 데이터베이스뿐 아니라 메모리 내, 디스크 내 지속성을 위해 Ignite를 사용하세요.
• 관계형 데이터베이스에 데이터를 다시 동기화하지 않고도 지속성을 확보합니다.
• Ignite를 사용하여 SQL 및 분산 조인을 수행합니다.
• RAM을 저장소로 사용하여 데이터를 CPU에 더 가깝게 이동하여 성능을 향상시킵니다.
• 수평적 확장성을 확보하기 위해 클러스터 전반에 데이터 세트를 분산합니다.
• Ignite를 RDBMS, NoSQL, Hadoop 및 머신 러닝 프로세서와 통합합니다.

Apache Beam은 병렬 데이터 처리 파이프라인을 정의하고 실행하기 위한 오픈 소스 통합 프로그래밍 모델입니다. 이 모델의 장점은 일괄 및 스트리밍 파이프라인을 모두 실행할 수 있는 기능이며, 실행은 Beam에서 지원하는 분산 처리 백엔드 중 하나인 Apache Apex, Apache Flink, Apache Spark, Google Cloud Dataflow에서 수행됩니다. Apache Beam은 다양한 저장 매체와 데이터 소스 간에 데이터를 이동하고, 데이터를 더 바람직한 형식으로 변환하고, 데이터를 새 시스템에 로드하는 것과 같은 ETL(추출, 변환 및 로드) 작업에 유용합니다. 강사가 진행하는 이 실시간 교육(현장 또는 원격)에서 참가자는 Java 또는 Python 애플리케이션에서 Apache Beam SDK를 구현하는 방법을 배우게 됩니다. 이 애플리케이션은 독립적이고 병렬적인 처리를 위해 큰 데이터 세트를 더 작은 청크로 분해하기 위한 데이터 처리 파이프라인을 정의합니다. 이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Apache Beam을 설치하고 구성합니다.
• Java 또는 Python 애플리케이션 내에서 일괄 처리와 스트림 처리를 모두 수행하기 위해 단일 프로그래밍 모델을 사용합니다.
• 여러 환경에서 파이프라인을 실행합니다.

과정 형식

• 일부 강의, 일부 토론, 연습 및 집중적인 실습

메모

• 이 과정은 추후에 Scala 제공될 예정입니다. 자세한 내용은 문의해주시기 바랍니다.

Apache Apex은 스트림 및 일괄 처리를 통합하는 YARN 네이티브 플랫폼입니다. 확장 가능하고, 성능이 우수하고, 내결함성이 뛰어나고, 상태가 유지되고, 안전하고, 분산되며, 쉽게 작동할 수 있는 방식으로 이동 중인 빅데이터를 처리합니다. 강사가 진행하는 이 실시간 교육에서는 Apache Apex의 통합 스트림 처리 아키텍처를 소개하고 참가자에게 Hadoop에서 Apex를 사용하여 분산 애플리케이션을 만드는 과정을 안내합니다. 이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 소스 및 싱크에 대한 커넥터, 일반적인 데이터 변환 등 데이터 처리 파이프라인 개념을 이해합니다.
• Apex 애플리케이션 빌드, 확장 및 최적화
• 실시간 데이터 스트림을 안정적으로 그리고 최소 지연 시간으로 처리합니다.
• Apex Core와 Apex Malhar 라이브러리를 사용하여 빠른 애플리케이션 개발을 가능하게 하세요
• Apex API를 사용하여 기존 Java 코드를 작성하고 재사용합니다.
• Apex를 처리 엔진으로 다른 애플리케이션에 통합
• Apex 애플리케이션 조정, 테스트 및 확장

과정 형식

• 대화형 강의 및 토론.
• 연습과 실습이 많아요.
• 라이브 랩 환경에서의 실습 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤형 교육을 요청하려면 당사에 연락하여 준비하세요.

Apache Storm은 실시간 비즈니스 인텔리전스를 활성화하는 데 사용되는 분산형 실시간 계산 엔진입니다. 이를 통해 애플리케이션이 무제한 데이터 스트림(스트림 처리라고도 함)을 안정적으로 처리할 수 있습니다. "Hadoop은 일괄 처리를 위한 것이고, Storm은 실시간 처리를 위한 것입니다!" 강사가 진행하는 이 실시간 교육에서 참가자는 Apache Storm을 설치하고 구성하는 방법과 실시간으로 빅데이터를 처리하기 위한 Apache Storm 애플리케이션을 개발하고 배포하는 방법을 배웁니다. 이 교육에 포함된 주제 중 일부는 다음과 같습니다.

• Hadoop의 맥락에서 Apache Storm
• 무제한 데이터 작업
• 연속 계산
• 실시간 분석
• 분산 RPC 및 ETL 처리

지금 이 과정을 신청하세요! 청중

• 소프트웨어 및 ETL 개발자
• 메인프레임 전문가
• 데이터 과학자
• 빅데이터 분석가
• Hadoop전문가

과정 형식

• 일부 강의, 일부 토론, 연습 및 집중적인 실습

대한민국(현장 또는 원격)에서 강사가 진행하는 이 실시간 교육에서 참가자는 실시간 랩 환경에서 Apache NiFi을 배포하고 관리하는 방법을 배웁니다. 이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Apachi NiFi를 설치하고 구성합니다.
• 데이터베이스와 빅데이터 레이크를 포함한 다양한 분산 데이터 소스에서 데이터를 수집, 변환 및 관리합니다.
• 데이터 흐름을 자동화합니다.
• 스트리밍 분석을 활성화합니다.
• 데이터 수집에 다양한 접근 방식을 적용합니다.
• Big Data을 비즈니스 통찰력으로 변환합니다.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 Apache NiFi을 사용하여 다양한 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 학습하게 됩니다. 이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• NiFi의 아키텍처와 데이터 흐름 개념을 이해합니다.
• NiFi와 타사 API를 사용하여 확장 기능을 개발합니다.
• Apache Nifi 프로세서를 자체적으로 맞춤 개발합니다.
• 다양하고 흔하지 않은 파일 형식과 데이터 소스에서 실시간 데이터를 수집하고 처리합니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)에서는 분산 스트림 및 일괄 데이터 처리의 원리와 접근 방식을 소개하고 참가자에게 Apache Flink에서 실시간 데이터 스트리밍 애플리케이션을 만드는 방법을 안내합니다. 이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 데이터 분석 애플리케이션을 개발하기 위한 환경을 설정합니다.
• Apache Flink의 그래프 처리 라이브러리(Gelly)가 어떻게 작동하는지 이해해 보세요.
• Flink 기반의 내결함성 데이터 스트리밍 애플리케이션을 패키징, 실행 및 모니터링합니다.
• 다양한 업무량을 관리합니다.
• 고급 분석을 수행합니다.
• 다중 노드 Flink 클러스터를 설정합니다.
• 성과를 측정하고 최적화합니다.
• 다양한 Big Data 시스템과 Flink를 통합합니다.
• Flink의 기능을 다른 빅데이터 처리 프레임워크의 기능과 비교해보세요.