A Practical Introduction to Stream Processing 교육 과정

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 실시간 데이터 처리 및 분석에 Spark Streaming 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다.

이 교육이 끝나면 참가자는 Spark Streaming을 사용하여 데이터베이스, 파일 시스템 및 라이브 대시보드에서 사용할 라이브 데이터 스트림을 처리할 수 있습니다.

대한민국(온라인 또는 현장)에서 진행되는 이 강사 주도 라이브 교육은 코드를 작성하지 않고 Apache Kafka 스트림 처리를 구현하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Confluent KSQL를 설치하고 구성합니다.
• SQL 명령만 사용하여 스트림 처리 파이프라인을 설정합니다(Java 또는 Python 코딩 없음).
• 데이터 필터링, 변환, 집계, 조인, 윈도우화 및 세션화를 모두 SQL에서 수행합니다.
• 스트리밍 ETL 및 실시간 분석을 위한 대화형 연속 쿼리를 설계하고 배포합니다.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam은 병렬 데이터 처리 파이프 라인을 정의하고 실행하기위한 개방형 소스 통합 프로그래밍 모델입니다 Apache Apex, Apache Flink, Apache Spark 및 Google Cloud Dataflow와 같이 Beam의 지원되는 분산 처리 백엔드 중 하나에서 실행되는 배치 및 스트리밍 파이프 라인을 모두 실행할 수있는 능력에 있습니다 Apache Beam은 다른 저장 매체와 데이터 소스간에 데이터를 이동하고, 데이터를보다 바람직한 형식으로 변환하고, 새로운 시스템으로 데이터를로드하는 것과 같은 ETL (Extract, Transform 및 Load) 태스크에 유용합니다 이 강사가 진행된 실시간 교육 (현장 또는 원격)에서 참여자는 독립적 인 병렬 처리를 위해 큰 데이터 세트를 더 작은 청크로 분해하기위한 데이터 처리 파이프 라인을 정의하는 Java 또는 Python 응용 프로그램에서 Apache Beam SDK를 구현하는 방법을 학습합니다 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다 Apache Beam을 설치하고 구성하십시오 단일 프로그래밍 모델을 사용하여 Java 또는 Python 응용 프로그램에서 일괄 처리와 스트림 처리를 모두 수행 할 수 있습니다 여러 환경에서 파이프 라인을 실행하십시오 청중 개발자 코스 형식 파트 강의, 파트 토론, 연습 및 무거운 핸드 슨 연습 노트 이 과정은 앞으로 스칼라에서 사용할 수 있습니다 협의를 위해 저희에게 연락하십시오 .

Apache Apex 는 스트림 및 일괄 처리를 통합하는 YARN 기본 플랫폼입니다. 확장 성, 성능, 내결함성, 상태 저장, 보안, 분산 및 간편한 작동 방식으로 큰 데이터 이동을 처리합니다.

강사가 진행하는이 실시간 교육에서는 Apache Apex 의 통합 스트림 처리 아키텍처를 소개하고 Hadoop Apex를 사용하여 분산 응용 프로그램을 만드는 과정을 안내합니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• 원본 및 싱크 커넥터, 일반적인 데이터 변환 등과 같은 데이터 처리 파이프 라인 개념을 이해합니다.
• Apex 애플리케이션 구축, 확장 및 최적화
• 최소한의 대기 시간으로 안정적으로 실시간 데이터 스트림을 처리합니다.
• Apex Core 및 Apex Malhar 라이브러리를 사용하여 신속한 응용 프로그램 개발 가능
• Apex API를 사용하여 기존 Java 코드 작성 및 재사용
• Apex를 처리 엔진으로 다른 응용 프로그램에 통합
• Apex 애플리케이션 조정, 테스트 및 확장

코스 형식

• 대화 형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 실제 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

Apache Storm 실시간 비즈니스 지식을 가능하게 하는 데 사용되는 분산된 실시간 컴퓨팅 엔진입니다. 그것은 응용 프로그램이 무제한 데이터 흐름을 신뢰할 수 있게 처리할 수 있도록 해줍니다 (예 : 흐름 처리)

"Storm은 실제 시간 처리에 관한 것입니다 Hadoop 배치 처리에 관한 것입니다!"

이 강사가 이끄는 라이브 훈련에서 참가자들은 Apache Storm 설치 및 구성 방법을 배우고 실시간으로 큰 데이터를 처리하기위한 Apache Storm 애플리케이션을 개발하고 배치합니다.

이 훈련에 포함 된 주제 중 일부는 다음과 같습니다 :

• [중고] [중고] [중고] [중고] [중고] [중고] [중고] [중고] [중고]
• 무제한 데이터를 사용하는 방법
• 지속적인 계산
• 실시간 분석
• 분산 RPC 및 ETL 처리

이 코스를 지금 요청하십시오!

관객

• 소프트웨어 및 ETL 개발자
• 메인 프레임 전문가
• 데이터 과학자
• Big Data 분석가
• [ 0 ] 전문가

코스의 형식

• 부분 강의, 부분 토론, 연습 및 무거운 연습

이 강사가 진행하는 실시간 교육인 대한민국(현장 또는 원격)에서 참가자는 실시간 랩 환경에서 Apache NiFi을(를) 배포하고 관리하는 방법을 배우게 됩니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache NiFi를 설치하고 구성합니다.
• 데이터베이스 및 빅 데이터 레이크를 포함하여 서로 다른 분산 데이터 소스에서 데이터를 소싱, 변환 및 관리합니다.
• 데이터 흐름을 자동화합니다.
• 스트리밍 분석을 활성화합니다.
• 데이터 수집을 위해 다양한 접근 방식을 적용합니다.
• Big Data을 비즈니스 통찰력으로 전환하세요.

대한민국의 강사가 진행하는 실시간 교육에서 참가자는 Apache NiFi을 사용하여 다양한 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 배우게 됩니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• NiFi의 아키텍처 및 데이터 흐름 개념을 이해합니다.
• NiFi 및 타사 API를 사용하여 확장 기능을 개발합니다.
• 자체 Apache Nifi 프로세서를 맞춤 개발합니다.
• 서로 다르고 일반적이지 않은 파일 형식과 데이터 소스에서 실시간 데이터를 수집하고 처리합니다.

대한민국(온라인 또는 현장)에서 진행되는 이 강사 주도 라이브 교육은 분산 스트림 및 일괄 데이터 처리 뒤에 있는 원칙과 접근 방식을 소개하고 Apache Flink에서 실시간 데이터 스트리밍 애플리케이션을 만드는 과정을 참가자에게 안내합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

데이터 분석 애플리케이션 개발을 위한 환경을 설정합니다. Apache Flink의 그래프 처리 라이브러리(Gelly) 작동 방식을 이해합니다. Flink 기반의 내결함성 데이터 스트리밍 애플리케이션을 패키징, 실행 및 모니터링합니다. 다양한 워크로드를 관리하세요. 고급 분석을 수행합니다. 다중 노드 Flink 클러스터를 설정합니다. 성능을 측정하고 최적화합니다. Flink를 다양한 Big Data 시스템과 통합합니다. Flink 기능을 다른 빅데이터 처리 프레임워크의 기능과 비교해 보세요.

이 강사가 진행하는 대한민국 실시간 교육에서 참가자는 실습을 하면서 Python와 Spark를 함께 사용하여 빅 데이터를 분석하는 방법을 배웁니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python와 함께 Spark를 사용하여 빅 데이터를 분석하는 방법을 알아보세요.
• 실제 사례를 모방한 연습을 해보세요.
• PySpark를 사용하여 빅데이터 분석을 위한 다양한 도구와 기술을 사용하세요.

대한민국의 강사가 진행하는 실시간 교육에서 참가자는 그래프 데이터 처리를 위한 기술 제공 및 구현 접근 방식에 대해 배우게 됩니다. 목표는 실제 개체와 그 특성 및 관계를 식별한 다음 이러한 관계를 모델링하고 Graph Computing(그래프 분석이라고도 함) 접근 방식을 사용하여 데이터로 처리하는 것입니다. 광범위한 개요부터 시작하여 일련의 사례 연구, 실습 및 라이브 배포를 단계별로 진행하면서 특정 도구에 대한 범위를 좁힙니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 그래프 데이터가 유지되고 탐색되는 방식을 이해합니다.
• 주어진 작업에 가장 적합한 프레임워크를 선택하세요(그래프 데이터베이스부터 일괄 처리 프레임워크까지).
• Hadoop, Spark, GraphX 및 Pregel을 구현하여 여러 시스템에서 병렬로 그래프 컴퓨팅을 수행합니다.
• 그래프, 프로세스, 순회 측면에서 실제 빅데이터 문제를 확인하세요.

MLlib는 Spark의 기계 학습 (ML) 라이브러리입니다. 그 목표는 실용적인 기계 학습을 확장 가능하고 쉽게 만들어주는 것입니다. 분류, 회귀, 클러스터링, 협업 필터링, 차원 감소, 하위 레벨 최적화 프리미티브 및 상위 레벨 파이프 라인 API 등 일반적인 학습 알고리즘과 유틸리티로 구성됩니다.

두 개의 패키지로 나뉩니다.

• spark.mllib는 RDD 위에 구축 된 원래 API를 포함합니다.

• spark.ml은 ML 파이프 라인을 구성하기 위해 DataFrames 위에 구축 된 고급 API를 제공합니다.

청중

이 과정은 Apache Spark 용 내장 라이브러리를 활용하고자하는 엔지니어 및 개발자를 대상으로합니다.

코스의 형식

• 대화형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 직접 구현합니다.

코스 맞춤화 옵션

• 이 과정에 대한 맞춤형 교육을 요청하려면 당사에 연락하여 예약하시기 바랍니다.

Apache Samza는 스트림 프로세싱을위한 오픈 소스 거의 실시간의 비동기 계산 프레임 워크입니다. 메시징에는 Apache Kafka 를, 내결함성, 프로세서 격리, 보안 및 리소스 관리에는 Apache Hadoop YARN을 사용합니다.

강사가 진행하는이 실습에서는 메시징 시스템 및 분산 스트림 처리의 기본 원리를 소개하고 샘플 Samza 기반 프로젝트 작성 및 작업 실행을 통해 참가자를 안내합니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Samza를 사용하면 메시지를 생성하고 소비하는 데 필요한 코드를 단순화 할 수 있습니다.
• 응용 프로그램에서 메시지 처리 분리.
• Samza를 사용하여 실시간에 가까운 비동기 계산을 구현하십시오.
• 스트림 처리를 사용하여 메시징 시스템에서보다 높은 수준의 추상화를 제공합니다.

청중

• 개발자

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

Kafka Streams는 카프카 (Cafka) 메시징 시스템으로 데이터를주고받는 마이크로 애플리케이션을 구축하기위한 클라이언트 측 라이브러리입니다. 전통적으로 Apache Kafka 는 메시지 생성자와 소비자 간의 데이터를 처리하기 위해 Apache Spark 또는 Apache Storm 에 의존했습니다. 응용 프로그램 내에서 Kafka Streams API를 호출하면 Kafka 내에서 직접 데이터를 처리 할 수 있으므로 처리를 위해 별도의 클러스터로 데이터를 전송할 필요가 없습니다.

강사가 진행하는이 실습에서는 Kafka Streams를 스트림 처리를 위해 Apache Kafka 와 데이터를주고받는 샘플 Java 응용 프로그램 세트에 Kafka Streams를 통합하는 방법을 배우게됩니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• 다른 스트림 처리 프레임 워크에 비해 Kafka Streams 기능 및 이점 이해
• 카프카 클러스터 내에서 스트림 데이터를 직접 처리합니다.
• Kafka 및 Kafka Streams와 통합되는 Java 또는 Scala 응용 프로그램 또는 마이크로 서비스 작성
• 입력 카프카 항목을 출력 카프카 항목으로 변환하는 간결한 코드 작성
• 응용 프로그램 빌드, 패키지 및 배포

청중

• 개발자

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

노트

• 이 과정에 대한 맞춤식 교육을 요청하려면 Google에 문의하여 협의하십시오.