Apache Kafka for Python Programmers 교육 과정

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 실시간 데이터 처리 및 분석에 Spark Streaming 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다.

이 교육이 끝나면 참가자는 Spark Streaming을 사용하여 데이터베이스, 파일 시스템 및 라이브 대시보드에서 사용할 라이브 데이터 스트림을 처리할 수 있습니다.

대한민국(온라인 또는 현장)에서 진행되는 이 강사 주도 라이브 교육은 코드를 작성하지 않고 Apache Kafka 스트림 처리를 구현하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Confluent KSQL를 설치하고 구성합니다.
• SQL 명령만 사용하여 스트림 처리 파이프라인을 설정합니다(Java 또는 Python 코딩 없음).
• 데이터 필터링, 변환, 집계, 조인, 윈도우화 및 세션화를 모두 SQL에서 수행합니다.
• 스트리밍 ETL 및 실시간 분석을 위한 대화형 연속 쿼리를 설계하고 배포합니다.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam은 병렬 데이터 처리 파이프 라인을 정의하고 실행하기위한 개방형 소스 통합 프로그래밍 모델입니다 Apache Apex, Apache Flink, Apache Spark 및 Google Cloud Dataflow와 같이 Beam의 지원되는 분산 처리 백엔드 중 하나에서 실행되는 배치 및 스트리밍 파이프 라인을 모두 실행할 수있는 능력에 있습니다 Apache Beam은 다른 저장 매체와 데이터 소스간에 데이터를 이동하고, 데이터를보다 바람직한 형식으로 변환하고, 새로운 시스템으로 데이터를로드하는 것과 같은 ETL (Extract, Transform 및 Load) 태스크에 유용합니다 이 강사가 진행된 실시간 교육 (현장 또는 원격)에서 참여자는 독립적 인 병렬 처리를 위해 큰 데이터 세트를 더 작은 청크로 분해하기위한 데이터 처리 파이프 라인을 정의하는 Java 또는 Python 응용 프로그램에서 Apache Beam SDK를 구현하는 방법을 학습합니다 이 훈련이 끝나면 참가자는 다음을 할 수 있습니다 Apache Beam을 설치하고 구성하십시오 단일 프로그래밍 모델을 사용하여 Java 또는 Python 응용 프로그램에서 일괄 처리와 스트림 처리를 모두 수행 할 수 있습니다 여러 환경에서 파이프 라인을 실행하십시오 청중 개발자 코스 형식 파트 강의, 파트 토론, 연습 및 무거운 핸드 슨 연습 노트 이 과정은 앞으로 스칼라에서 사용할 수 있습니다 협의를 위해 저희에게 연락하십시오 .

Apache Apex 는 스트림 및 일괄 처리를 통합하는 YARN 기본 플랫폼입니다. 확장 성, 성능, 내결함성, 상태 저장, 보안, 분산 및 간편한 작동 방식으로 큰 데이터 이동을 처리합니다.

강사가 진행하는이 실시간 교육에서는 Apache Apex 의 통합 스트림 처리 아키텍처를 소개하고 Hadoop Apex를 사용하여 분산 응용 프로그램을 만드는 과정을 안내합니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• 원본 및 싱크 커넥터, 일반적인 데이터 변환 등과 같은 데이터 처리 파이프 라인 개념을 이해합니다.
• Apex 애플리케이션 구축, 확장 및 최적화
• 최소한의 대기 시간으로 안정적으로 실시간 데이터 스트림을 처리합니다.
• Apex Core 및 Apex Malhar 라이브러리를 사용하여 신속한 응용 프로그램 개발 가능
• Apex API를 사용하여 기존 Java 코드 작성 및 재사용
• Apex를 처리 엔진으로 다른 응용 프로그램에 통합
• Apex 애플리케이션 조정, 테스트 및 확장

코스 형식

• 대화 형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 실제 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

Apache Storm 실시간 비즈니스 지식을 가능하게 하는 데 사용되는 분산된 실시간 컴퓨팅 엔진입니다. 그것은 응용 프로그램이 무제한 데이터 흐름을 신뢰할 수 있게 처리할 수 있도록 해줍니다 (예 : 흐름 처리)

"Storm은 실제 시간 처리에 관한 것입니다 Hadoop 배치 처리에 관한 것입니다!"

이 강사가 이끄는 라이브 훈련에서 참가자들은 Apache Storm 설치 및 구성 방법을 배우고 실시간으로 큰 데이터를 처리하기위한 Apache Storm 애플리케이션을 개발하고 배치합니다.

이 훈련에 포함 된 주제 중 일부는 다음과 같습니다 :

• [중고] [중고] [중고] [중고] [중고] [중고] [중고] [중고] [중고]
• 무제한 데이터를 사용하는 방법
• 지속적인 계산
• 실시간 분석
• 분산 RPC 및 ETL 처리

이 코스를 지금 요청하십시오!

관객

• 소프트웨어 및 ETL 개발자
• 메인 프레임 전문가
• 데이터 과학자
• Big Data 분석가
• [ 0 ] 전문가

코스의 형식

• 부분 강의, 부분 토론, 연습 및 무거운 연습

이 강사가 진행하는 실시간 교육인 대한민국(현장 또는 원격)에서 참가자는 실시간 랩 환경에서 Apache NiFi을(를) 배포하고 관리하는 방법을 배우게 됩니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache NiFi를 설치하고 구성합니다.
• 데이터베이스 및 빅 데이터 레이크를 포함하여 서로 다른 분산 데이터 소스에서 데이터를 소싱, 변환 및 관리합니다.
• 데이터 흐름을 자동화합니다.
• 스트리밍 분석을 활성화합니다.
• 데이터 수집을 위해 다양한 접근 방식을 적용합니다.
• Big Data을 비즈니스 통찰력으로 전환하세요.

대한민국의 강사가 진행하는 실시간 교육에서 참가자는 Apache NiFi을 사용하여 다양한 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 배우게 됩니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• NiFi의 아키텍처 및 데이터 흐름 개념을 이해합니다.
• NiFi 및 타사 API를 사용하여 확장 기능을 개발합니다.
• 자체 Apache Nifi 프로세서를 맞춤 개발합니다.
• 서로 다르고 일반적이지 않은 파일 형식과 데이터 소스에서 실시간 데이터를 수집하고 처리합니다.

대한민국(온라인 또는 현장)에서 진행되는 이 강사 주도 라이브 교육은 분산 스트림 및 일괄 데이터 처리 뒤에 있는 원칙과 접근 방식을 소개하고 Apache Flink에서 실시간 데이터 스트리밍 애플리케이션을 만드는 과정을 참가자에게 안내합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

데이터 분석 애플리케이션 개발을 위한 환경을 설정합니다. Apache Flink의 그래프 처리 라이브러리(Gelly) 작동 방식을 이해합니다. Flink 기반의 내결함성 데이터 스트리밍 애플리케이션을 패키징, 실행 및 모니터링합니다. 다양한 워크로드를 관리하세요. 고급 분석을 수행합니다. 다중 노드 Flink 클러스터를 설정합니다. 성능을 측정하고 최적화합니다. Flink를 다양한 Big Data 시스템과 통합합니다. Flink 기능을 다른 빅데이터 처리 프레임워크의 기능과 비교해 보세요.

Pandas은 구조화된(표 형식, 다차원, 잠재적으로 이질적) 데이터 및 시계열 데이터 작업을 위한 데이터 구조를 제공하는 Python 패키지입니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Pandas을 사용하여 기계 학습을 통한 예측 분석을 수행하려는 데이터 과학자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python에서 데이터 랭글링을 수행합니다.
• 머신러닝을 위한 ETL 작업을 수행합니다.
• Pandas로 데이터 시각화 만들기

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Modin을 사용하여 더 빠른 데이터 분석을 위해 Pandas를 사용하여 병렬 계산을 구축하고 구현하려는 데이터 과학자 및 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Modin을 사용하여 대규모로 Pandas 워크플로우 개발을 시작하는 데 필요한 환경을 설정하십시오.
• Modin의 기능, 아키텍처 및 장점을 이해합니다.
• Modin, Dask 및 Ray의 차이점을 알아보세요.
• Modin을 사용하면 Pandas 작업을 더 빠르게 수행할 수 있습니다.
• 전체 Pandas API 및 기능을 구현합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Dask를 Python 생태계와 함께 사용하여 대규모 데이터 세트를 구축, 확장 및 분석하려는 데이터 과학자 및 소프트웨어 엔지니어를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Dask와 Python으로 빅데이터 처리 구축을 시작할 수 있는 환경을 설정합니다.
• Dask에서 사용할 수 있는 기능, 라이브러리, 도구 및 API를 살펴보세요.
• Dask가 Python에서 병렬 컴퓨팅을 어떻게 가속화하는지 이해하세요.
• Dask를 사용하여 Python 생태계(Numpy, SciPy 및 Pandas)를 확장하는 방법을 알아보세요.
• 대규모 데이터 세트를 처리할 때 높은 성능을 유지하려면 Dask 환경을 최적화하세요.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Python과 함께 FastAPI를 사용하여 RESTful API를 더 쉽고 빠르게 구축, 테스트 및 배포하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python 및 FastAPI를 사용하여 API를 개발하는 데 필요한 개발 환경을 설정합니다.
• FastAPI 라이브러리를 사용하여 더 빠르고 쉽게 API를 만드세요.
• Pydantic 및 OpenAPI를 기반으로 데이터 모델 및 스키마를 생성하는 방법을 알아보세요.
• SQLAlchemy를 사용하여 API를 데이터베이스에 연결합니다.
• FastAPI 도구를 사용하여 API에 보안 및 인증을 구현합니다.
• 컨테이너 이미지를 구축하고 웹 API를 클라우드 서버에 배포합니다.

이 강사가 진행하는 실시간 교육(온라인 또는 현장)은 FARM(FastAPI, React 및 MongoDB) 스택을 사용하여 확장 가능한 동적 고성능 웹 애플리케이션을 구축하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

FastAPI, React 및 MongoDB를 통합하는 데 필요한 개발 환경을 설정합니다. FARM 스택의 주요 개념, 기능 및 이점을 이해합니다. FastAPI를 사용하여 REST API를 구축하는 방법을 알아보세요. React를 사용하여 대화형 애플리케이션을 디자인하는 방법을 알아보세요. FARM 스택을 사용하여 애플리케이션(프런트엔드 및 백엔드)을 개발, 테스트 및 배포합니다.