현지의 강사 Apache Spark 교육 과정은 Spark가 Big Data 생태계에 어떻게 적용되는지, 그리고 데이터 분석을 위해 Spark를 사용하는 방법을 손으로 직접 연습함으로써 실증적으로 보여줍니다 Apache Spark 교육은 "현장 실습"또는 "원격 실습"으로 제공됩니다 현장 실습은 고객 구내에서 현지에서 실시 할 수 있습니다 대한민국 또는 NobleProg 기업 교육 센터에서 대한민국 원격 라이브 교육은 대화 형 원격 데스크톱을 통해 수행됩니다 NobleProg 지역 교육 제공자.
Machine Translated
회원 평가
★★★★★
★★★★★
리처드는 매우 조용하고 체계적이며 분석적 통찰력을 가지고 있습니다. 물론 이러한 종류의 과정을 제시하는 데 필요한 자질
Kieran Mac Kenna
Course: Spark for Developers
Machine Translated
우리는 전체 환경에 대해 더 많이 알고 있습니다
John Kidd
Course: Spark for Developers
Machine Translated
트레이너는 수업을 재미 있고 재미있게 만들어 하루 종일 훈련에 도움이되도록했습니다
Ryan Speelman
Course: Spark for Developers
Machine Translated
트레이너는 유머와 실생활의 결합으로 탁월한 스타일을 가졌으므로 피사체를 가까이에서 볼 수있게되었습니다. 나는 미래에이 교수를 강력히 추천 할 것이다
Course: Spark for Developers
Machine Translated
Ernesto는 Spark을 사용하는 데 대한 높은 수준의 개념을 설명하고 훌륭한 모듈입니다
Michael Nemerouf
Course: Spark for Developers
Machine Translated
이것은 제가 지금까지 해본 연습 프로그래밍 과정 중 가장 좋은 실습 중 하나입니다.
Laura Kahn
Course: Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Machine Translated
이것은 내가 13 년 경력으로 쌓은 최고의 온라인 교육 중 하나입니다. 앞으로도 힘써주세요
Course: Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Machine Translated
리차드는 강의 계획서에없는 것에 관해 준 관련 질문을하고 싶을 때 매우 기꺼이 우회했습니다. 설명은 분명했고 그는 우리에게 준 조언에 대해주의를 기울였다.
ARM Limited
Course: Spark for Developers
Machine Translated
나는 아주 많이 좋아 VM
교사는 주제 뿐만 아니라 다른 주제에 대 한 매우 지식이 있었다, 그는 매우 친절 하 고 친절 했다
나는 두바이의 시설을 좋아 했다.
Safar Alqahtani - Elm Information Security
Course: Big Data Analytics in Health
Machine Translated
연습 작업
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Course: Python and Spark for Big Data (PySpark)
Machine Translated
Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.
ICE International Copyright Enterprise Germany GmbH
Course: Spark for Developers
Ajay는 매우 친절하고 도움이되었으며 자신이 논의한 주제에 대해 잘 알고있었습니다.
Biniam Guulay - ICE International Copyright Enterprise Germany GmbH
Course: Spark for Developers
Machine Translated
The lab exercises. Applying the theory from the first day in subsequent days.
Dell
Course: A Practical Introduction to Stream Processing
* Organization
* Trainer's expertise with the subject
ENGIE- 101 Arch Street
Course: Python and Spark for Big Data (PySpark)
The trainer was passionate and well-known what he said I appreciate his help and answers all our questions and suggested cases.
Course: A Practical Introduction to Stream Processing
트레이너는 유머와 실생활의 결합으로 탁월한 스타일을 가졌으므로 피사체를 가까이에서 볼 수있게되었습니다. 나는 미래에이 교수를 강력히 추천 할 것이다
Course: Spark for Developers
Machine Translated
이것은 내가 13 년 경력으로 쌓은 최고의 온라인 교육 중 하나입니다. 앞으로도 힘써주세요
Course: Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Machine Translated
The trainer was passionate and well-known what he said I appreciate his help and answers all our questions and suggested cases.
Course: A Practical Introduction to Stream Processing
This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.
Alluxio is an open-source virtual distributed storage system that unifies disparate storage systems and enables applications to interact with data at memory speed. It is used by companies such as Intel, Baidu and Alibaba.
In this instructor-led, live training, participants will learn how to use Alluxio to bridge different computation frameworks with storage systems and efficiently manage multi-petabyte scale data as they step through the creation of an application with Alluxio.
By the end of this training, participants will be able to:
- Develop an application with Alluxio - Connect big data systems and applications while preserving one namespace - Efficiently extract value from big data in any storage format - Improve workload performance - Deploy and manage Alluxio standalone or clustered
Audience
- Data scientist - Developer - System administrator
Format of the course
- Part lecture, part discussion, exercises and heavy hands-on practice
빅 데이터 분석은 상관 관계, 숨겨진 패턴 및 기타 유용한 통찰력을 발굴하기 위해 대량의 다양한 데이터 세트를 검사하는 프로세스를 필요로합니다.
보건 산업은 복잡한 이기종 의학 및 임상 데이터를 가지고 있습니다. 건강 데이터에 큰 데이터 분석을 적용하면 건강 관리 제공 개선에 대한 통찰력을 얻는 데 큰 잠재력이 있습니다. 그러나 이러한 데이터 세트의 엄청난 양은 임상 환경에 대한 분석 및 실제 응용에 큰 문제를 제기합니다.
이 강사 주도의 실시간 교육 (원격)에서는 참가자가 실습 랩 연습을 단계별로 수행하면서 건강에 큰 데이터 분석을 수행하는 방법을 배웁니다.
이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.
- Hadoop MapReduce 및 Spark와 같은 대규모 데이터 분석 도구 설치 및 구성 - 의료 데이터의 특성 이해 - 큰 데이터 기술을 적용하여 의료 데이터 처리 - 건강 응용 프로그램의 맥락에서 큰 데이터 시스템과 알고리즘 연구
많은 실제 문제는 그래프로 설명 할 수 있습니다. 예를 들어, 웹 그래프, 소셜 네트워크 그래프, 기차 네트워크 그래프 및 언어 그래프가 있습니다. 이 그래프는 매우 큰 경향이 있습니다. 이를 처리하려면 특수한 도구와 프로세스 세트가 필요합니다. 이러한 도구와 프로세스를 Graph Computing (그래프 분석이라고도 함)이라고합니다.
이 강사 주도형 라이브 교육에서 참가자는 그래프 데이터 처리를위한 기술 제공 및 구현 방법에 대해 배우게됩니다. 목표는 실제 객체, 해당 특성 및 관계를 식별 한 다음 Graph Computing 관계 (그래프 분석이라고도 함) 접근 방식을 사용하여 이러한 관계를 모델링하고 데이터로 처리하는 것입니다. 광범위한 사례부터 시작하여 일련의 사례 연구, 실습 및 라이브 배포를 통해 특정 도구를 좁 힙니다.
이 교육이 끝나면 참가자는 다음을 수행 할 수 있습니다.
- 그래프 데이터가 유지되고 통과하는 방법을 이해합니다. - 그래프 데이터베이스에서 배치 처리 프레임 워크에 이르기까지 주어진 작업에 가장 적합한 프레임 워크를 선택하십시오. - Hadoop , Spark, GraphX 및 Pregel을 구현하여 여러 컴퓨터에서 동시에 그래프 컴퓨팅을 수행합니다. - 그래프, 프로세스 및 순회 측면에서 실제 빅 데이터 문제를 봅니다.
Hortonworks Data Platform (HDP) 은 오픈 소스 Apache Hadoop 지원 플랫폼으로 Apache Hadoop 에코 시스템에서 큰 데이터 솔루션을 개발하기위한 안정적인 토대를 제공합니다.
이 강사가 진행하는 실시간 교육 (현장 또는 원격)은 Hortonworks Data Platform (HDP) 소개하고 Spark + Hadoop 솔루션의 배포를 통해 참가자들을 안내합니다.
이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.
- Hortonworks를 사용하면 대규모로 Hadoop 을 안정적으로 실행할 수 있습니다. - Spark의 민첩한 분석 워크 플로우로 Hadoop 의 보안, 거버넌스 및 운영 기능을 통합하십시오. - Hortonworks를 사용하여 Spark 프로젝트의 각 구성 요소를 조사, 검증, 인증 및 지원하십시오. - 구조화 된, 구조화되지 않은, 동작중인, at-rest 등 다양한 유형의 데이터를 처리합니다.
Stream Processing 은 "동작중인 데이터"의 실시간 처리, 즉 수신되는 데이터에 대한 계산을 수행하는 것을 의미합니다. 이러한 데이터는 센서 이벤트, 웹 사이트 사용자 활동, 금융 거래, 신용 카드 스 와이프, 클릭 스트림 등과 같은 데이터 소스에서 연속 스트림으로 읽습니다. Stream Processing 프레임 워크는 많은 양의 들어오는 데이터를 읽고 거의 즉시 귀중한 통찰력을 제공합니다.
이 강사가 진행하는 실시간 교육 (현장 또는 원격)에서 참가자는 기존의 대용량 데이터 저장 시스템 및 관련 소프트웨어 응용 프로그램 및 마이크로 서비스와 서로 다른 Stream Processing 프레임 워크를 설정하고 통합하는 방법을 배우게됩니다.
이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.
- Spark Streaming 및 Kafka Streaming과 같은 다양한 Stream Processing 프레임 워크를 설치하고 구성하십시오. - 작업에 가장 적합한 프레임 워크를 이해하고 선택하십시오. - 연속적으로, 동시에, 그리고 레코드별로 프로세스. - Stream Processing 솔루션을 기존 데이터베이스, 데이터웨어 하우스, 데이터 레이크 등과 통합합니다. - 가장 적합한 스트림 처리 라이브러리를 엔터프라이즈 응용 프로그램 및 마이크로 서비스와 통합하십시오.
Apache Spark 의 학습 곡선은 처음에 천천히 증가하고 있습니다. 첫 번째 수익을 얻으려면 많은 노력이 필요합니다. 이 과정은 첫 힘든 부분을 뛰어 넘는 것을 목표로합니다. 이 과정을 수강 한 참가자는 Apache Spark 의 기본 사항을 이해하고, RDD를 DataFrame과 명확하게 구분하고, Python 및 Scala API를 배우며, 실행 프로그램 및 작업 등을 이해합니다. 또한 우수 사례에 따라 강의에 중점을 둡니다. 클라우드 배포, Databricks 및 AWS. 학생들은 또한 AWS의 최신 Spark 서비스 중 하나 인 AWS EMR과 AWS Glue의 차이점을 이해합니다.
이 과정은 Apache Spark 를 소개합니다. 학생들은 Spark가 Big Data 생태계에 어떻게 적용되는지, 그리고 데이터 분석에 Spark를 사용하는 방법을 배우게됩니다. 이 과정은 대화식 데이터 분석, Spark 내부, Spark API, Spark SQL , Spark 스트리밍, 기계 학습 및 graphX를위한 Spark 셸을 다룹니다.
Spark SQL 은 구조화 된 데이터와 구조화되지 않은 데이터로 작업하는 Apache Spark 의 모듈입니다. Spark SQL 은 수행되는 계산뿐 아니라 데이터의 구조에 대한 정보를 제공합니다. 이 정보는 최적화를 수행하는 데 사용될 수 있습니다. Spark SQL 두 가지 일반적인 용도는 다음과 같습니다. - SQL 쿼리를 실행합니다. - 기존 Hive 설치에서 데이터를 읽습니다.
이 강사가 진행하는 실습 (현장 또는 원격)에서 참가자는 Spark SQL 사용하여 다양한 유형의 데이터 세트를 분석하는 방법을 학습합니다.
이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.
- Spark SQL 설치하고 구성하십시오. - Spark SQL 사용하여 데이터 분석을 수행하십시오. - 서로 다른 형식의 데이터 집합을 쿼리합니다. - 데이터 및 쿼리 결과를 시각화합니다.
MLlib는 Spark의 기계 학습 (ML) 라이브러리입니다. 그 목표는 실용적인 기계 학습을 확장 가능하고 쉽게 만들어주는 것입니다. 분류, 회귀, 클러스터링, 협업 필터링, 차원 감소, 하위 레벨 최적화 프리미티브 및 상위 레벨 파이프 라인 API 등 일반적인 학습 알고리즘과 유틸리티로 구성됩니다.
두 개의 패키지로 나뉩니다.
-
spark.mllib는 RDD 위에 구축 된 원래 API를 포함합니다.
-
spark.ml은 ML 파이프 라인을 구성하기 위해 DataFrames 위에 구축 된 고급 API를 제공합니다.
청중
이 과정은 Apache Spark 용 내장 라이브러리를 활용하고자하는 엔지니어 및 개발자를 대상으로합니다.
.png "aeronautical radio, incorporated (arinc)")
_ireland.gif "environmental protection agency (epa) ireland")
.jpg "european southern observatory (eso)")
