Stream processing 교육 | Stream Processing 교육

이 강사 주도 라이브 교육 (온사이트 또는 원격)은 confluent (Kafka 배포)를 사용 하 여 응용 프로그램에 대 한 실시간 데이터 처리 플랫폼을 빌드하고 관리 하려는 엔지니어를 대상으로 합니다. 이 교육을 참가자는 다음을 수행할 수 있습니다.

• 설치 및 구성
• 는 Kafka를 보다 쉽게 실행 하기 위해 confluent & #39;의 관리 도구 및 서비스를 사용 합니다.
• 들어오는 스트림 데이터를 저장 하 고 처리 합니다.
• 카프카 클러스터를 최적화 하 고 관리 합니다.
• 보안 데이터 스트림

코스의 형식

• 대화식 강의 및 토론
운동과 연습을 많이
• .
• 라이브 랩 환경에서 실습을 구현 합니다.

코스 사용자 정의 옵션

• 이 과정은 confluent의 오픈 소스 버전을 기반으로: confluent 오픈 소스.
• 이 과정에 대 한 맞춤형 교육을 요청 하려면 당사에 연락 하 여 준비 하십시오.

Stream Processing 은 "동작중인 데이터"의 실시간 처리, 즉 수신되는 데이터에 대한 계산을 수행하는 것을 의미합니다. 이러한 데이터는 센서 이벤트, 웹 사이트 사용자 활동, 금융 거래, 신용 카드 스 와이프, 클릭 스트림 등과 같은 데이터 소스에서 연속 스트림으로 읽습니다. Stream Processing 프레임 워크는 많은 양의 들어오는 데이터를 읽고 거의 즉시 귀중한 통찰력을 제공합니다. 이 강사가 진행하는 실시간 교육 (현장 또는 원격)에서 참가자는 기존의 대용량 데이터 저장 시스템 및 관련 소프트웨어 응용 프로그램 및 마이크로 서비스와 서로 다른 Stream Processing 프레임 워크를 설정하고 통합하는 방법을 배우게됩니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Spark Streaming 및 Kafka Streaming과 같은 다양한 Stream Processing 프레임 워크를 설치하고 구성하십시오.
• 작업에 가장 적합한 프레임 워크를 이해하고 선택하십시오.
• 연속적으로, 동시에, 그리고 레코드별로 프로세스.
• Stream Processing 솔루션을 기존 데이터베이스, 데이터웨어 하우스, 데이터 레이크 등과 통합합니다.
• 가장 적합한 스트림 처리 라이브러리를 엔터프라이즈 응용 프로그램 및 마이크로 서비스와 통합하십시오.

청중

• 개발자
• 소프트웨어 아키텍트

코스 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

노트

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

Apache Kafka 오픈소스 스트림 처리 플랫폼은 실시간 데이터 분석을 처리하기위한 빠르고 신뢰할 수 있고 낮은 연속성 플랫폼을 제공합니다. Apache Kafka 사용 가능한 프로그래밍 언어와 통합될 수 있습니다 Python. 이 강사가 이끄는 라이브 훈련 (온라인 또는 온라인)은 데이터 엔지니어, 데이터 과학자 및 데이터 스트리밍에서 Apache Kafka 기능을 사용하고자하는 프로그래머를 대상으로합니다 Python. 이 훈련이 끝나면 참가자들은 Python 프로그래밍을 사용하여 지속적인 데이터 스트림에서 조건을 모니터링하고 관리할 수 있습니다. 코스의 형식

인터랙티브 강의 및 토론 많은 연습과 연습이 있습니다. 라이브 실험실 환경에서 핸드-온 구현.

코스 Customization 옵션

이 과정에 대한 사용자 지정 훈련을 요청하려면 저희에게 연락하여 배치하십시오.

Kafka Streams는 카프카 (Cafka) 메시징 시스템으로 데이터를주고받는 마이크로 애플리케이션을 구축하기위한 클라이언트 측 라이브러리입니다. 전통적으로 Apache Kafka 는 메시지 생성자와 소비자 간의 데이터를 처리하기 위해 Apache Spark 또는 Apache Storm 에 의존했습니다. 응용 프로그램 내에서 Kafka Streams API를 호출하면 Kafka 내에서 직접 데이터를 처리 할 수 있으므로 처리를 위해 별도의 클러스터로 데이터를 전송할 필요가 없습니다. 강사가 진행하는이 실습에서는 Kafka Streams를 스트림 처리를 위해 Apache Kafka 와 데이터를주고받는 샘플 Java 응용 프로그램 세트에 Kafka Streams를 통합하는 방법을 배우게됩니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• 다른 스트림 처리 프레임 워크에 비해 Kafka Streams 기능 및 이점 이해
• 카프카 클러스터 내에서 스트림 데이터를 직접 처리합니다.
• Kafka 및 Kafka Streams와 통합되는 Java 또는 Scala 응용 프로그램 또는 마이크로 서비스 작성
• 입력 카프카 항목을 출력 카프카 항목으로 변환하는 간결한 코드 작성
• 응용 프로그램 빌드, 패키지 및 배포

청중

• 개발자

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

노트

• 이 과정에 대한 맞춤식 교육을 요청하려면 Google에 문의하여 협의하십시오.

이 강사가 진행하는 실시간 교육에서 참가자는 실시간 스트리밍 응용 프로그램을 개발할 때 MapR Stream Architecture의 핵심 개념을 학습합니다. 이 교육이 끝나면 참가자는 실시간 스트림 데이터 처리를 위해 제작자 및 소비자 응용 프로그램을 만들 수 있습니다. 청중

• 개발자
• 관리자

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

노트

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

Apache Samza는 스트림 프로세싱을위한 오픈 소스 거의 실시간의 비동기 계산 프레임 워크입니다. 메시징에는 Apache Kafka 를, 내결함성, 프로세서 격리, 보안 및 리소스 관리에는 Apache Hadoop YARN을 사용합니다. 강사가 진행하는이 실습에서는 메시징 시스템 및 분산 스트림 처리의 기본 원리를 소개하고 샘플 Samza 기반 프로젝트 작성 및 작업 실행을 통해 참가자를 안내합니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Samza를 사용하면 메시지를 생성하고 소비하는 데 필요한 코드를 단순화 할 수 있습니다.
• 응용 프로그램에서 메시지 처리 분리.
• Samza를 사용하여 실시간에 가까운 비동기 계산을 구현하십시오.
• 스트림 처리를 사용하여 메시징 시스템에서보다 높은 수준의 추상화를 제공합니다.

청중

• 개발자

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

Tigon은 HDFS 및 HBase를 기반으로 지속성을 위해 실시간, 저음역, 고화질, 원시 YARN, 스트림 처리 프레임 워크 인 오픈 소스입니다 Tigon 응용 프로그램은 네트워크 침입 탐지 및 분석, 소셜 미디어 시장 분석, 위치 분석 및 사용자에게 실시간 추천과 같은 사용 사례를 다룹니다 이 강사진 라이브 교육에서는 샘플 응용 프로그램 작성을 통해 참가자를 안내하면서 실시간 및 일괄 처리 혼합에 대한 Tigon의 접근 방식을 소개합니다 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다 대용량 데이터를 처리하기위한 강력한 스트림 처리 응용 프로그램 작성 트위터 및 웹 서버 로그와 같은 스트림 소스 처리 신속한 합류, 필터링 및 스트림 집계에 Tigon 사용 청중 개발자 코스 형식 파트 강의, 파트 토론, 연습 및 무거운 핸드 슨 연습 .

Apache Flink는 확장 가능한 스트림 및 일괄 데이터 처리를 위한 오픈 소스 프레임워크입니다.이 강사가 진행하는 실시간 교육(온라인 또는 현장)에서는 분산 스트림 및 일괄 데이터 처리 뒤에 있는 원칙과 접근 방식을 소개하고 Apache Flink에서 실시간 데이터 스트리밍 애플리케이션을 만드는 과정을 참가자에게 안내합니다.이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

데이터 분석 애플리케이션 개발을 위한 환경을 설정합니다. Apache Flink의 그래프 처리 라이브러리(Gelly) 작동 방식을 이해합니다. Flink 기반의 내결함성 데이터 스트리밍 애플리케이션을 패키징, 실행 및 모니터링합니다. 다양한 워크로드를 관리하세요. 고급 분석을 수행합니다. 다중 노드 Flink 클러스터를 설정합니다. 성능을 측정하고 최적화합니다. Flink를 다양한 Big Data 시스템과 통합합니다. Flink 기능을 다른 빅데이터 처리 프레임워크의 기능과 비교해 보세요.

코스의 형식

대화형 강의 및 토론. 많은 연습과 연습. 라이브 랩 환경에서 직접 구현합니다.

코스 맞춤화 옵션

이 과정에 대한 맞춤형 교육을 요청하려면 당사에 연락하여 예약하시기 바랍니다.

Apache NiFi (Hortonworks DataFlow)는 시스템간에 데이터를 이동, 추적 및 자동화 할 수있는 실시간 통합 데이터 물류 및 간단한 이벤트 처리 플랫폼입니다. 그것은 흐름 기반 프로그래밍을 사용하여 작성되며 실시간으로 데이터 흐름을 관리하기위한 웹 기반 사용자 인터페이스를 제공합니다. 이 강사가 진행하는 실시간 교육 (현장 또는 원격)에서 참가자는 실제 실험 환경에서 Apache NiFi 를 배포 및 관리하는 방법을 학습합니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Apachi NiFi를 설치하고 구성하십시오.
• 데이터베이스 및 대형 데이터 호수를 포함하여 분산 된 분산 데이터 소스의 데이터를 제공, 변환 및 관리합니다.
• 데이터 흐름을 자동화하십시오.
• 스트리밍 분석 사용
• 데이터 처리를위한 다양한 접근 방식을 적용합니다.
• Big Data 를 비즈니스 통찰력으로 변환하십시오.

코스 형식

• 대화 형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 실제 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

Apache NiFi (Hortonworks DataFlow)는 시스템간에 데이터를 이동, 추적 및 자동화 할 수있는 실시간 통합 데이터 물류 및 간단한 이벤트 처리 플랫폼입니다. 그것은 흐름 기반 프로그래밍을 사용하여 작성되며 실시간으로 데이터 흐름을 관리하기위한 웹 기반 사용자 인터페이스를 제공합니다. 강사가 진행하는이 실습에서 참가자는 Apache NiFi 사용하여 여러 가지 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 학습합니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• NiFi의 아키텍처 및 데이터 흐름 개념을 이해합니다.
• NiFi 및 제 3 자 API를 사용하여 확장 기능을 개발하십시오.
• 사용자 정의 자신의 아파치 Nifi 프로세서를 개발할 수 있습니다.
• 서로 다른 파일 형식 및 데이터 소스의 실시간 데이터를 수집하고 처리합니다.

코스 형식

• 대화 형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 실제 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

Apache Storm 실시간 비즈니스 지식을 가능하게 하는 데 사용되는 분산된 실시간 컴퓨팅 엔진입니다. 그것은 응용 프로그램이 무제한 데이터 흐름을 신뢰할 수 있게 처리할 수 있도록 해줍니다 (예 : 흐름 처리) "Storm은 실제 시간 처리에 관한 것입니다 Hadoop 배치 처리에 관한 것입니다!" 이 강사가 이끄는 라이브 훈련에서 참가자들은 Apache Storm 설치 및 구성 방법을 배우고 실시간으로 큰 데이터를 처리하기위한 Apache Storm 애플리케이션을 개발하고 배치합니다. 이 훈련에 포함 된 주제 중 일부는 다음과 같습니다 :

[중고] [중고] [중고] [중고] [중고] [중고] [중고] [중고] [중고] 무제한 데이터를 사용하는 방법 지속적인 계산 실시간 분석 분산 RPC 및 ETL 처리

이 코스를 지금 요청하십시오! 관객

소프트웨어 및 ETL 개발자 메인 프레임 전문가 데이터 과학자 Big Data 분석가 [ 0 ] 전문가

코스의 형식

     부분 강의, 부분 토론, 연습 및 무거운 연습

Apache Apex 는 스트림 및 일괄 처리를 통합하는 YARN 기본 플랫폼입니다. 확장 성, 성능, 내결함성, 상태 저장, 보안, 분산 및 간편한 작동 방식으로 큰 데이터 이동을 처리합니다. 강사가 진행하는이 실시간 교육에서는 Apache Apex 의 통합 스트림 처리 아키텍처를 소개하고 Hadoop Apex를 사용하여 분산 응용 프로그램을 만드는 과정을 안내합니다. 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• 원본 및 싱크 커넥터, 일반적인 데이터 변환 등과 같은 데이터 처리 파이프 라인 개념을 이해합니다.
• Apex 애플리케이션 구축, 확장 및 최적화
• 최소한의 대기 시간으로 안정적으로 실시간 데이터 스트림을 처리합니다.
• Apex Core 및 Apex Malhar 라이브러리를 사용하여 신속한 응용 프로그램 개발 가능
• Apex API를 사용하여 기존 Java 코드 작성 및 재사용
• Apex를 처리 엔진으로 다른 응용 프로그램에 통합
• Apex 애플리케이션 조정, 테스트 및 확장

코스 형식

• 대화 형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 실제 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

Apache Beam은 병렬 데이터 처리 파이프 라인을 정의하고 실행하기위한 개방형 소스 통합 프로그래밍 모델입니다 Apache Apex, Apache Flink, Apache Spark 및 Google Cloud Dataflow와 같이 Beam의 지원되는 분산 처리 백엔드 중 하나에서 실행되는 배치 및 스트리밍 파이프 라인을 모두 실행할 수있는 능력에 있습니다 Apache Beam은 다른 저장 매체와 데이터 소스간에 데이터를 이동하고, 데이터를보다 바람직한 형식으로 변환하고, 새로운 시스템으로 데이터를로드하는 것과 같은 ETL (Extract, Transform 및 Load) 태스크에 유용합니다 이 강사가 진행된 실시간 교육 (현장 또는 원격)에서 참여자는 독립적 인 병렬 처리를 위해 큰 데이터 세트를 더 작은 청크로 분해하기위한 데이터 처리 파이프 라인을 정의하는 Java 또는 Python 응용 프로그램에서 Apache Beam SDK를 구현하는 방법을 학습합니다 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다 Apache Beam을 설치하고 구성하십시오 단일 프로그래밍 모델을 사용하여 Java 또는 Python 응용 프로그램에서 일괄 처리와 스트림 처리를 모두 수행 할 수 있습니다 여러 환경에서 파이프 라인을 실행하십시오 청중 개발자 코스 형식 파트 강의, 파트 토론, 연습 및 무거운 핸드 슨 연습 노트 이 과정은 앞으로 스칼라에서 사용할 수 있습니다 협의를 위해 저희에게 연락하십시오 .

Apache Ignite는 속도, 확장성 및 가용성을 향상시키기 위해 애플리케이션과 데이터 계층 사이에 위치하는 인메모리 컴퓨팅 플랫폼입니다.이 강사가 진행하는 실시간 교육(온라인 또는 현장)은 샘플 인메모리 컴퓨팅 프로젝트 생성을 단계별로 진행하면서 지속적이고 순수한 인메모리 스토리지의 기본 원칙을 배우고자 하는 개발자를 대상으로 합니다.이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

인메모리, 온디스크 지속성 및 순수 분산 인메모리 데이터베이스를 위해 Ignite를 사용하세요. 데이터를 관계형 데이터베이스에 다시 동기화하지 않고도 지속성을 확보할 수 있습니다. Ignite를 사용하여 SQL 및 분산 조인을 수행합니다. RAM을 스토리지로 사용하여 데이터를 CPU에 더 가깝게 이동하여 성능을 향상시킵니다. 수평적 확장성을 달성하기 위해 클러스터 전체에 데이터 세트를 분산시킵니다. Ignite를 RDBMS, NoSQL, Hadoop 및 기계 학습 프로세서와 통합합니다.

코스의 형식

대화형 강의 및 토론. 많은 연습과 연습. 라이브 랩 환경에서 직접 구현합니다.

코스 맞춤화 옵션

이 과정에 대한 맞춤형 교육을 요청하려면 당사에 연락하여 예약하시기 바랍니다.

Confluent KSQL is a stream processing framework built on top of Apache Kafka. It enables real-time data processing using SQL operations. This instructor-led, live training (online or onsite) is aimed at developers who wish to implement Apache Kafka stream processing without writing code. By the end of this training, participants will be able to:

• Install and configure Confluent KSQL.
• Set up a stream processing pipeline using only SQL commands (no Java or Python coding).
• Carry out data filtering, transformations, aggregations, joins, windowing, and sessionization entirely in SQL.
• Design and deploy interactive, continuous queries for streaming ETL and real-time analytics.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Spark 스트리밍은 사용자가 지원되는 출처에서 실시간 데이터를 처리 할 수있는 확장 가능한 오픈 소스 스트리밍 처리 시스템입니다. Spark Streaming 데이터 스트림의 오류 관용 처리를 가능하게 합니다. 이 강사가 이끄는 라이브 훈련 (온라인 또는 온라인)은 데이터 엔지니어, 데이터 과학자 및 실시간 데이터를 처리하고 분석하는 데 Spark Streaming 기능을 사용하고자하는 프로그래머를 대상으로합니다. 이 훈련이 끝나면 참가자들은 데이터베이스, 파일 시스템 및 라이브 다스보드에서 사용할 수 있는 라이브 데이터 스트림을 처리할 수 있습니다. 코스의 형식

인터랙티브 강의 및 토론 많은 연습과 연습이 있습니다. 라이브 실험실 환경에서 핸드-온 구현.

코스 Customization 옵션

이 과정에 대한 사용자 지정 훈련을 요청하려면 저희에게 연락하여 배치하십시오.