Apache Spark Streaming with Scala 교육 과정

이 강사가 진행하는 대한민국 실시간 교육에서 참가자는 실습을 하면서 Python와 Spark를 함께 사용하여 빅 데이터를 분석하는 방법을 배웁니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python와 함께 Spark를 사용하여 빅 데이터를 분석하는 방법을 알아보세요.
• 실제 사례를 모방한 연습을 해보세요.
• PySpark를 사용하여 빅데이터 분석을 위한 다양한 도구와 기술을 사용하세요.

대한민국의 강사가 진행하는 실시간 교육에서 참가자는 그래프 데이터 처리를 위한 기술 제공 및 구현 접근 방식에 대해 배우게 됩니다. 목표는 실제 개체와 그 특성 및 관계를 식별한 다음 이러한 관계를 모델링하고 Graph Computing(그래프 분석이라고도 함) 접근 방식을 사용하여 데이터로 처리하는 것입니다. 광범위한 개요부터 시작하여 일련의 사례 연구, 실습 및 라이브 배포를 단계별로 진행하면서 특정 도구에 대한 범위를 좁힙니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 그래프 데이터가 유지되고 탐색되는 방식을 이해합니다.
• 주어진 작업에 가장 적합한 프레임워크를 선택하세요(그래프 데이터베이스부터 일괄 처리 프레임워크까지).
• Hadoop, Spark, GraphX 및 Pregel을 구현하여 여러 시스템에서 병렬로 그래프 컴퓨팅을 수행합니다.
• 그래프, 프로세스, 순회 측면에서 실제 빅데이터 문제를 확인하세요.

MLlib는 Spark의 기계 학습 (ML) 라이브러리입니다. 그 목표는 실용적인 기계 학습을 확장 가능하고 쉽게 만들어주는 것입니다. 분류, 회귀, 클러스터링, 협업 필터링, 차원 감소, 하위 레벨 최적화 프리미티브 및 상위 레벨 파이프 라인 API 등 일반적인 학습 알고리즘과 유틸리티로 구성됩니다.

두 개의 패키지로 나뉩니다.

• spark.mllib는 RDD 위에 구축 된 원래 API를 포함합니다.

• spark.ml은 ML 파이프 라인을 구성하기 위해 DataFrames 위에 구축 된 고급 API를 제공합니다.

청중

이 과정은 Apache Spark 용 내장 라이브러리를 활용하고자하는 엔지니어 및 개발자를 대상으로합니다.

코스의 형식

• 대화형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 직접 구현합니다.

코스 맞춤화 옵션

• 이 과정에 대한 맞춤형 교육을 요청하려면 당사에 연락하여 예약하시기 바랍니다.

이 교육은 Scala 언어에 대한 기회를 제공하고 프로그래밍 패러다임의 구문을 익히며 우주 어플리케이션을 목표로합니다.

이 과정의 목표는 실제로 Machine Learning 방법을 적용하는 데 기본적인 능력을 제공하는 것입니다. Scala 프로그래밍 언어와 다양한 라이브러리를 사용하고 다수의 실제 예제를 기반으로이 과정은 Machine Learning 의 가장 중요한 빌딩 블록을 사용하는 방법, 데이터 모델링 결정을 내리는 방법, 알고리즘의 출력을 해석하는 방법 및 결과를 확인하십시오.

우리의 목표는 Machine Learning 툴박스의 가장 기본적인 도구를 자신있게 이해하고 사용하는 기술을 제공하고 Data Science 애플리케이션의 일반적인 함정을 피하는 것입니다.

Scala 는 카레, 형식 유추, 불변성, 게으른 평가 및 패턴 일치를 포함한 기능적 프로그래밍 기능을 갖춘 간결하고 객체 지향적 인 언어입니다. Scala 코드는 JVM에서 실행되며 Java 일부 단점을 해결하도록 설계되었습니다.

이 강사 주도의 실습 교육 참가자는 유형 기능을 포함한 Scala 의 고급 기능을 사용하여 객체 기능 방식을 사용하여 더 나은 코드를 작성하는 방법을 배웁니다.

이 교육이 끝나면 참가자는 다음을 수행 할 수 있습니다.

• Scala 타입 시스템을 최대한 활용
• 기능적으로 예외 처리
• Scala 하여 라이브러리 및 DSL 생성
• 패턴 일치를 위해 Scala 의 고급 기능 사용

과정의 형식

• 강의, 강의, 연습 및 실습

Scala 는 커링, 타입 유추, 불변성, 지연 평가 및 패턴 매칭을 포함한 함수 프로그래밍 기능을 갖춘 간결하고 객체 지향적 인 언어입니다.

강사가 진행하는 실습 교육 참가자는 Scala 의 고급 기능을 사용하여 쓰기, 읽기, 테스트 및 변경이 쉬운 잘 구성된 소프트웨어를 개발하는 방법을 배웁니다. 이 교육의 초점은 실제 사례 연구와 실험을 사용하여 실습과 활동을위한 참고 자료로 기능 프로그래밍에 중점을 둡니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• 고급 함수 프로그래밍 기법 구현
• 복잡한 유형 서명 이해하기
• 유형 및 대체를 통한 코드 이해
• 기능적으로 예외 처리
• Scala 라이브러리 및 DSL 만들기
• 패턴 매칭을위한 Scala 의 고급 기능 사용

과정 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실무 연습

이 훈련 결과는 초보자에서 중간 / 고급 수준에 참가자를 가져 오기 위해 설계되었습니다 Akka 프레임 워크의 이해와 지식.

전체 과정은 수동으로 진행되며, 대부분 코치에 의해 시작되며 점차적으로 코드를 생산하는 참가자 (그리고 코치에 의해 작성 된 구현 / 솔루션을 다운로드)를 향해 이동합니다.

참가자는 Scala에 대한 사전 지식이 없을 것으로 예상되며, 코치는 사용 된 Scala 코드와 관련된 모든 흥미를 설명하고 명확히하는 데 필요한 시간을 취할 것입니다.

목표:

이 과정은 Apache Spark 를 소개합니다. 학생들은 Spark가 Big Data 생태계에 어떻게 적용되는지, 그리고 데이터 분석에 Spark를 사용하는 방법을 배우게됩니다. 이 과정은 대화식 데이터 분석, Spark 내부, Spark API, Spark SQL , Spark 스트리밍, 기계 학습 및 graphX를위한 Spark 셸을 다룹니다.

오디언스 :

개발자 / 데이터 분석가

대한민국(온라인 또는 현장)에서 진행되는 이 강사 주도 라이브 교육에서는 Hortonworks Data Platform (HDP)을 소개하고 참가자에게 Spark + Hadoop 솔루션 배포 과정을 안내합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

Hortonworks를 사용하여 Hadoop을 대규모로 안정적으로 실행하세요. Spark의 민첩한 분석 워크플로로 Hadoop의 보안, 거버넌스, 운영 기능을 통합하세요. Hortonworks를 사용하여 Spark 프로젝트의 각 구성 요소를 조사, 검증, 인증 및 지원하세요. 구조화된 데이터, 구조화되지 않은 데이터, 이동 중인 데이터, 정지된 데이터 등 다양한 유형의 데이터를 처리합니다.

Magellan은 대규모 데이터에 대한 지리 공간 분석을 위한 오픈 소스 배포 실행 엔진입니다. Apache Spark 위에서 구현, 그것은 Spark SQL를 확장하고 지리 공간 분석에 대한 상대적 추상력을 제공합니다.

이 강사가 이끄는 라이브 훈련은 지질 공간 분석을 구현하기위한 개념과 접근 방식을 소개하고 참가자들은 Spark에서 Magellan을 사용하여 예측 분석 응용 프로그램을 만들 수 있습니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다 :

• 효율적으로 쿼리, 퍼스 및 스케일에 지리 공간 데이터 세트에 합류
• 비즈니스 인텔리전스 및 예측 분석 응용 프로그램에서 지구 공간 데이터 구현
• 공간 컨텍스트를 사용하여 모바일 장치, 센서, 로그 및 노트북의 능력을 확장합니다.

코스의 형식

• 인터랙티브 강의 및 토론
• 많은 연습과 연습이 있습니다.
• 라이브 실험실 환경에서 핸드-온 구현.

코스 Customization 옵션

• 이 과정에 대한 사용자 지정 훈련을 요청하려면 저희에게 연락하여 배치하십시오.

Spark SQL 은 구조화 된 데이터와 구조화되지 않은 데이터로 작업하는 Apache Spark 의 모듈입니다. Spark SQL 은 수행되는 계산뿐 아니라 데이터의 구조에 대한 정보를 제공합니다. 이 정보는 최적화를 수행하는 데 사용될 수 있습니다. Spark SQL 두 가지 일반적인 용도는 다음과 같습니다.
- SQL 쿼리를 실행합니다.
- 기존 Hive 설치에서 데이터를 읽습니다.

이 강사가 진행하는 실습 (현장 또는 원격)에서 참가자는 Spark SQL 사용하여 다양한 유형의 데이터 세트를 분석하는 방법을 학습합니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Spark SQL 설치하고 구성하십시오.
• Spark SQL 사용하여 데이터 분석을 수행하십시오.
• 서로 다른 형식의 데이터 집합을 쿼리합니다.
• 데이터 및 쿼리 결과를 시각화합니다.

코스 형식

• 대화 형 강의 및 토론.
• 많은 연습과 연습.
• 라이브 랩 환경에서 실제 구현.

코스 사용자 정의 옵션

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

강사가 진행하는 이 대한민국 실시간 교육(현장 또는 원격)에서 참가자는 다양한 Stream Processing 프레임워크를 기존 빅 데이터 스토리지 시스템과 관련 소프트웨어 애플리케이션 및 마이크로서비스로 설정하고 통합하는 방법을 배우게 됩니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Spark Streaming 및 Kafka Streaming과 같은 다양한 Stream Processing 프레임워크를 설치하고 구성합니다.
• 업무에 가장 적합한 프레임워크를 이해하고 선택하세요.
• 연속적으로, 동시에, 기록별로 데이터를 처리합니다.
• Stream Processing 솔루션을 기존 데이터베이스, 데이터 웨어하우스, 데이터 레이크 등과 통합합니다.
• 가장 적합한 스트림 처리 라이브러리를 엔터프라이즈 애플리케이션 및 마이크로서비스와 통합합니다.

빅 데이터 분석은 상관 관계, 숨겨진 패턴 및 기타 유용한 통찰력을 발굴하기 위해 대량의 다양한 데이터 세트를 검사하는 프로세스를 필요로합니다.

보건 산업은 복잡한 이기종 의학 및 임상 데이터를 가지고 있습니다. 건강 데이터에 큰 데이터 분석을 적용하면 건강 관리 제공 개선에 대한 통찰력을 얻는 데 큰 잠재력이 있습니다. 그러나 이러한 데이터 세트의 엄청난 양은 임상 환경에 대한 분석 및 실제 응용에 큰 문제를 제기합니다.

이 강사 주도의 실시간 교육 (원격)에서는 참가자가 실습 랩 연습을 단계별로 수행하면서 건강에 큰 데이터 분석을 수행하는 방법을 배웁니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Hadoop MapReduce 및 Spark와 같은 대규모 데이터 분석 도구 설치 및 구성
• 의료 데이터의 특성 이해
• 큰 데이터 기술을 적용하여 의료 데이터 처리
• 건강 응용 프로그램의 맥락에서 큰 데이터 시스템과 알고리즘 연구

청중

• 개발자
• 데이터 과학자

코스 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실습.

노트

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.