Python, Spark, and Hadoop for Big Data 교육 과정

대상:

이 코스는 분산 시스템 환경에서 대규모 데이터를 저장하고 처리하는 솔루션을 찾고 있는 IT 전문가를 대상으로 합니다.

전제 조건:

Hadoop 클러스터 관리에 대한 심도 있는 지식이 필요합니다.

이 온라인 또는 현장에서 진행되는 강사 지도형 라이브 교육은 중간 수준의 데이터 과학자 및 엔지니어가 빅데이터 처리 및 분석을 위해 Google Colab과 Apache Spark을 사용하고자 할 때 대상입니다.

이 교육을 마친 후 참가자는 다음과 같은 능력을 갖출 것입니다.

• Google Colab과 Spark를 사용하여 빅데이터 환경을 설정합니다.
• Apache Spark로 대용량 데이터를 효율적으로 처리하고 분석합니다.
• 협업 환경에서 빅데이터를 시각화합니다.
• Apache Spark을 클라우드 기반 도구와 통합합니다.

빅 데이터 분석은 상관 관계, 숨겨진 패턴 및 기타 유용한 통찰력을 발굴하기 위해 대량의 다양한 데이터 세트를 검사하는 프로세스를 필요로합니다.

보건 산업은 복잡한 이기종 의학 및 임상 데이터를 가지고 있습니다. 건강 데이터에 큰 데이터 분석을 적용하면 건강 관리 제공 개선에 대한 통찰력을 얻는 데 큰 잠재력이 있습니다. 그러나 이러한 데이터 세트의 엄청난 양은 임상 환경에 대한 분석 및 실제 응용에 큰 문제를 제기합니다.

이 강사 주도의 실시간 교육 (원격)에서는 참가자가 실습 랩 연습을 단계별로 수행하면서 건강에 큰 데이터 분석을 수행하는 방법을 배웁니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Hadoop MapReduce 및 Spark와 같은 대규모 데이터 분석 도구 설치 및 구성
• 의료 데이터의 특성 이해
• 큰 데이터 기술을 적용하여 의료 데이터 처리
• 건강 응용 프로그램의 맥락에서 큰 데이터 시스템과 알고리즘 연구

청중

• 개발자
• 데이터 과학자

코스 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실습.

노트

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

이 코스는 분산 시스템 환경에서 대규모 데이터 세트를 저장하고 처리하는 솔루션을 찾고 있는 IT 전문가를 위한 것입니다.

코스 목표:

Hadoop 클러스터 관리 관련 지식 습득

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 조직 내에서 Hadoop 클러스터를 설정, 배포 및 관리하는 방법을 배우려는 시스템 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache Hadoop을 설치하고 구성합니다.
• Hadoop 생태계의 네 가지 주요 구성 요소인 HDFS, MapReduce, YARN 및 Hadoop Common을 이해합니다.
• HDFS(Hadoop 분산 파일 시스템)를 사용하여 클러스터를 수백 또는 수천 개의 노드로 확장합니다.
• 온프레미스 Spark 배포를 위한 스토리지 엔진으로 작동하도록 HDFS를 설정합니다.
• Redis, Elasticsearch, Couchbase, Aerospike 등과 같은 Amazon S3 및 NoSQL 데이터베이스 시스템과 같은 대체 스토리지 솔루션에 액세스하도록 Spark를 설정하십시오.
• Apache Hadoop 클러스터 프로비저닝, 관리, 모니터링 및 보안과 같은 관리 작업을 수행합니다.

이 인스트럭터 주도, 라이브 교육은 대한민국 (현장 또는 원격)에서 다양한 스트림 처리 프레임워크를 기존의 빅데이터 저장 시스템과 관련 소프트웨어 애플리케이션 및 마이크로 서비스에 설정하고 통합하는 방법을 학습할 수 있습니다.

이 교육을 마친 후 참가자들은 다음과 같은 능력을 갖추게 됩니다:

• Spark Streaming과 Kafka Streaming을 포함한 다양한 스트림 처리 프레임워크를 설치하고 구성할 수 있습니다.
• 가장 적합한 프레임워크를 선택할 수 있습니다.
• 데이터를 지속적으로, 동시에, 그리고 기록별로 처리하는 방법을 학습합니다.
• 스트림 처리 솔루션을 기존 데이터베이스, 데이터 웨어하우스, 데이터 레이크 등과 통합합니다.
• 적합한 스트림 처리 라이브러리를 기업 애플리케이션 및 마이크로 서비스와 통합합니다.

이 강사 주도형 라이브 교육은 온라인 또는 현장에서 제공되며, 빅데이터 솔루션을 위한 데이터 처리 플랫폼을 구축하기 위해 SMACK 스택을 활용하고자 하는 데이터 과학자들을 대상으로 합니다.

이 교육을 마친 후 참가자들은 다음과 같은 능력을 갖출 것입니다:

• 빅데이터 처리를 위한 데이터 파이프라인 아키텍처를 구현할 수 있습니다.
• Apache Mesos와 Docker를 사용하여 클러스터 인프라를 개발할 수 있습니다.
• Spark와 Scala를 사용하여 데이터를 분석할 수 있습니다.
• Apache Cassandra를 사용하여 비구조화된 데이터를 관리할 수 있습니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 매우 많은 양의 데이터를 처리하기 위해 Apache Spark 시스템을 설정하고 배포하려는 엔지니어를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache Spark를 설치하고 구성합니다.
• 매우 큰 데이터 세트를 신속하게 처리하고 분석합니다.
• Apache Spark와 Hadoop MapReduce의 차이점과 언제 어느 것을 사용해야 하는지 이해합니다.
• Apache Spark를 다른 기계 학습 도구와 통합합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Spark 클러스터를 배포, 유지 관리 및 최적화하려는 초급 및 중급 시스템 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 다양한 환경에서 Apache Spark을 설치하고 구성합니다.
• 클러스터 리소스를 관리하고 Spark 애플리케이션을 모니터링합니다.
• Spark 클러스터의 성능을 최적화합니다.
• 보안 조치를 구현하고 고가용성을 보장합니다.
• 일반적인 Spark 문제를 디버그하고 해결합니다.

Apache Spark의 학습 곡선은 초기에 천천히 증가하며, 처음의 성과를 얻기 위해 많은 노력이 필요합니다. 이 과정은 첫 번째 어려운 부분을 넘어가는 것을 목표로 합니다. 이 과정을 수강한 후 참가자들은 Apache Spark의 기본 사항을 이해하게 될 것입니다. 또한 RDD와 DataFrame을 명확하게 구분할 수 있으며, Python과 Scala API를 배우고, 실행자와 작업 등의 개념을 이해할 것입니다. 또한 최상의 실습을 따라, 이 과정은 클라우드 배포, Databricks 및 AWS에 강한 초점을 맞추고 있습니다. 학생들은 또한 AWS의 최신 Spark 서비스인 AWS EMR과 AWS Glue의 차이점을 이해할 것입니다.

대상:

데이터 엔지니어, DevOps, 데이터 과학자

목표:

이 과정은 Apache Spark를 소개합니다. 학생들은 Spark가 빅데이터 생태계에 어떻게 포함되는지, 그리고 Spark를 데이터 분석에 어떻게 사용하는지 배웁니다. 이 과정은 상호작용형 데이터 분석을 위한 Spark 셸, Spark 내부, Spark API, Spark SQL, Spark 스트리밍, 머신러닝 및 graphX를 다루고 있습니다.

대상:

개발자 / 데이터 분석가

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 Apache Spark을 기반으로 구축된 Spark NLP을 사용하여 자연어 텍스트 처리 모델과 파이프라인을 개발, 구현 및 확장하려는 데이터 과학자와 개발자를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Spark NLP을 사용하여 NLP 파이프라인 구축을 시작하기 위해 필요한 개발 환경을 설정하세요.
• Spark NLP을 사용하는 기능, 아키텍처 및 이점을 이해합니다.
• Spark NLP에서 사용 가능한 사전 학습된 모델을 사용하여 텍스트 처리를 구현합니다.
• 생산 등급 프로젝트를 위한 모델을 빌드, 학습 및 확장하는 방법Spark NLP을 알아보세요.
• 실제 사용 사례(임상 데이터, 고객 행동 통찰력 등)에 분류, 추론, 감정 분석을 적용합니다.

이 강사가 진행하는 대한민국 실시간 교육에서 참가자는 실습을 하면서 Python와 Spark를 함께 사용하여 빅 데이터를 분석하는 방법을 배웁니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python와 함께 Spark를 사용하여 Big Data을 분석하는 방법을 알아보세요.
• 실제 사례를 모방한 연습을 해보세요.
• PySpark을 사용하여 빅데이터 분석을 위한 다양한 도구와 기술을 사용합니다.

Spark SQL은 Apache Spark가 구조화된 데이터와 비구조화된 데이터를 처리하기 위한 모듈입니다. Spark SQL은 데이터의 구조와 계산 과정에 대한 정보를 제공하여 최적화를 수행할 수 있습니다. Spark SQL의 두 가지 주요 사용 사례는 다음과 같습니다:

- SQL 쿼리를 실행하는 것.

- 기존 Hive 설치에서 데이터를 읽어오는 것.

이 온라인 또는 오프라인 강의에서, 참가자들은 Spark SQL을 사용하여 다양한 유형의 데이터 세트를 분석하는 방법을 배웁니다.

이 교육을 통해 참가자들은 다음을 할 수 있게 됩니다:

• Spark SQL을 설치하고 구성합니다.


• Spark SQL을 사용하여 데이터 분석을 수행합니다.


• 여러 형식의 데이터 세트를 쿼리합니다.


• 데이터와 쿼리 결과를 시각화합니다.

과정 형식

• 대화형 강의와 토론.


• 다양한 연습과 문제.


• 실습 환경에서의 직접 구현.

과정 커스터마이징 옵션

• 이 강의를 위한 맞춤형 교육을 요청하려면 문의하여 조치를 취하세요.

Stratio는 빅 데이터, AI, 그리고 가버넌스를 하나의 솔루션으로 통합하는 데이터 중심의 플랫폼입니다. Rocket과 Intelligence 모듈은 기업 환경에서 빠르게 데이터를 탐색, 변환하고 고급 분석을 수행할 수 있게 합니다.

이 강사는 온라인 또는 현장에서 진행되는 실습 중심의 라이브 강의로, PySpark를 활용하여 Rocket과 Intelligence 모듈을 효과적으로 사용하는 중급 데이터 전문가를 대상으로 합니다. 이 강의는 루프 구조, 사용자 정의 함수, 그리고 고급 데이터 논리에 중점을 둡니다.

이 교육을 마치면 참가자는 다음과 같은 능력을 갖추게 됩니다:

• Rocket과 Intelligence 모듈을 사용하여 Stratio 플랫폼을 탐색하고 작업할 수 있습니다.
• 데이터 수집, 변환, 분석의 맥락에서 PySpark를 적용할 수 있습니다.
• 루프와 조건 논리를 사용하여 데이터 워크플로우와 피처 엔지니어링 작업을 제어할 수 있습니다.
• PySpark에서 재사용 가능한 데이터 작업을 위한 사용자 정의 함수(UDF)를 만들고 관리할 수 있습니다.

강의 형식

• 상호작용적인 강의와 토론.
• 많은 연습과 실습.
• 라이브-랩 환경에서의 실습 구현.

강의 커스터마이징 옵션

• 이 강의를 위한 맞춤형 교육을 요청하려면 연락 주시기 바랍니다.