부산 Hadoop 과정

부산에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Spark Hadoop 및 Python를 사용하고 통합하여 크고 복잡한 데이터 세트를 처리, 분석 및 변환하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Spark, Hadoop, Python를 사용하여 빅데이터 처리를 시작하는 데 필요한 환경을 설정합니다.
• Spark 및 Hadoop의 기능, 핵심 구성 요소 및 아키텍처를 이해합니다.
• 빅 데이터 처리를 위해 Spark, Hadoop 및 Python를 통합하는 방법을 알아보세요.
• Spark 에코시스템(Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka 및 Flume)의 도구를 살펴보세요.
• Netflix, YouTube, Amazon, Spotify 및 Google과 유사한 협업 필터링 추천 시스템을 구축하세요.
• Apache Mahout을 사용하여 기계 학습 알고리즘을 확장합니다.

이 과정은 사용하는 방법에 대해 설명 Hive SQL 언어를 (일명 : Hive HQL, SQL 에 Hive , Hive QL)에서 데이터를 추출하는 사람들을위한 Hive

대상:

이 코스는 분산 시스템 환경에서 대규모 데이터를 저장하고 처리하는 솔루션을 찾고 있는 IT 전문가를 대상으로 합니다.

전제 조건:

Hadoop 클러스터 관리에 대한 심도 있는 지식이 필요합니다.

빅 데이터 분석은 상관 관계, 숨겨진 패턴 및 기타 유용한 통찰력을 발굴하기 위해 대량의 다양한 데이터 세트를 검사하는 프로세스를 필요로합니다.

보건 산업은 복잡한 이기종 의학 및 임상 데이터를 가지고 있습니다. 건강 데이터에 큰 데이터 분석을 적용하면 건강 관리 제공 개선에 대한 통찰력을 얻는 데 큰 잠재력이 있습니다. 그러나 이러한 데이터 세트의 엄청난 양은 임상 환경에 대한 분석 및 실제 응용에 큰 문제를 제기합니다.

이 강사 주도의 실시간 교육 (원격)에서는 참가자가 실습 랩 연습을 단계별로 수행하면서 건강에 큰 데이터 분석을 수행하는 방법을 배웁니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Hadoop MapReduce 및 Spark와 같은 대규모 데이터 분석 도구 설치 및 구성
• 의료 데이터의 특성 이해
• 큰 데이터 기술을 적용하여 의료 데이터 처리
• 건강 응용 프로그램의 맥락에서 큰 데이터 시스템과 알고리즘 연구

청중

• 개발자
• 데이터 과학자

코스 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실습.

노트

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

이 코스는 분산 시스템 환경에서 대규모 데이터 세트를 저장하고 처리하는 솔루션을 찾고 있는 IT 전문가를 위한 것입니다.

코스 목표:

Hadoop 클러스터 관리 관련 지식 습득

아파치 하둡은 서버 클러스터에서 데이터를 처리하는 가장 인기 있는 프레임워크입니다. 이 3일(선택 사항으로 4일) 과정에서는 하둡과 그 생태계의 비즈니스 이점과 사용 사례, 클러스터 배포 및 확장을 계획하는 방법, 하둡을 설치, 유지, 모니터링, 문제 해결 및 최적화하는 방법에 대해 배우게 됩니다. 또한 클러스터 대량 데이터 로드 연습, 다양한 하둡 배포판에 대한 이해, 하둡 생태계 도구를 설치 및 관리하는 연습을 할 수 있습니다. 이 과정은 커버로스를 사용하여 클러스터를 보호하는 논의로 마무리됩니다.

“… 자료는 매우 잘 준비되어 있었고 철저히 다루어졌습니다. 라보는 매우 도움이 되고 잘 조직되어 있었습니다.”
— 앤드류 응우옌, 프린시팔 통합 DW 엔지니어, 온라인

대상

하둡 관리자

형식

강의와 실습 라보, 강의 약 60%, 라보 약 40%.

아파치 Hadoop은 서버 클러스터에서 데이터를 처리하는 가장 인기 있는 프레임워크입니다. 이 과정은 개발자에게 HDFS, MapReduce, Pig, Hive, HBase를 포함한 Hadoop 생태계의 다양한 구성 요소에 대해 소개합니다.

Apache Hadoop은 서버 클러스터에서 데이터를 처리하기 위해 가장 인기 있는 프레임워크 중 하나입니다. 이 과정은 HDFS의 데이터 관리, 고급 Pig, Hive, 그리고 HBase에 대해 깊이 있게 탐구합니다. 이러한 고급 프로그래밍 기법은 경험 많은 Hadoop 개발자에게 유용할 것입니다.

대상: 개발자

기간: 3일

형식: 강의(50%)와 실습(50%)

대상:

이 코스는 빅 데이터/하둡 기술의 신비를 해제하고 이해하기 어렵지 않다는 것을 보여주기 위한 것입니다.

부산에서 진행되는 이 실시간 교육(온라인 또는 현장)은 조직 내에서 Hadoop 클러스터를 설정, 배포 및 관리하는 방법을 배우려는 시스템 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache Hadoop을 설치하고 구성합니다.
• Hadoop 생태계의 네 가지 주요 구성 요소인 HDFS, MapReduce, YARN 및 Hadoop Common을 이해합니다.
• HDFS(Hadoop 분산 파일 시스템)를 사용하여 클러스터를 수백 또는 수천 개의 노드로 확장합니다.
• 온프레미스 Spark 배포를 위한 스토리지 엔진으로 작동하도록 HDFS를 설정합니다.
• Redis, Elasticsearch, Couchbase, Aerospike 등과 같은 Amazon S3 및 NoSQL 데이터베이스 시스템과 같은 대체 스토리지 솔루션에 액세스하도록 Spark를 설정하십시오.
• Apache Hadoop 클러스터 프로비저닝, 관리, 모니터링 및 보안과 같은 관리 작업을 수행합니다.

이 과정에서는 Hadoop 위에 SQL Store가없는 HBase를 소개합니다. 이 과정은 HBase를 사용하여 응용 프로그램을 개발할 개발자와 HBase 클러스터를 관리 할 관리자를 대상으로합니다.

우리는 HBase에서 HBase 아키텍처와 데이터 모델링 및 애플리케이션 개발을 통해 개발자를 안내 할 것입니다. 또한 HBase와 함께 MapReduce를 사용하는 방법과 성능 최적화와 관련된 몇 가지 관리 항목에 대해서도 설명합니다. 이 과정은 실습을 통해 많은 실습을 제공합니다.

소요 시간 : 3 일

대상 : 개발자 및 관리자

부산에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)에서는 Hortonworks Data Platform (HDP)을 소개하고 참가자에게 Spark + Hadoop 솔루션 배포 과정을 안내합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Hortonworks를 사용하여 대규모로 Hadoop을 안정적으로 실행하세요.
• Spark의 민첩한 분석 워크플로우를 통해 Hadoop의 보안, 거버넌스 및 운영 기능을 통합합니다.
• Hortonworks를 사용하여 Spark 프로젝트의 각 구성 요소를 조사, 검증, 인증하고 지원합니다.
• 구조화된 데이터, 구조화되지 않은 데이터, 전송 중 데이터, 저장 중 데이터를 포함한 다양한 유형의 데이터를 처리합니다.

ClouderaImpala는 ApacheHadoop 클러스터를 위한 오픈 소스 대규모 병렬 처리(MPP)SQL 쿼리 엔진입니다.

Impala을 사용하면 사용자는 데이터 이동이나 변환을 요구하지 않고도 Hadoop 분산 파일 시스템 및 Apache Hbase에 저장된 데이터에 대한 저지연 SQL 쿼리를 실행할 수 있습니다.

청중

본 과정은 Business 인텔리전스 또는 SQL 도구를 통해 Hadoop에 저장된 데이터에 대한 분석을 수행하는 분석가 및 데이터 과학자를 대상으로 합니다.

이 과정을 마친 후 대의원들은 다음을 수행할 수 있습니다.

• Impala을 사용하여 Hadoop 클러스터에서 의미 있는 정보를 추출합니다.
• Impala SQL 방언으로 Business 지능을 촉진하기 위한 특정 프로그램을 작성하십시오.
• 문제 해결 Impala.

부산(현장 또는 원격)에서 강사가 진행하는 이 실시간 교육에서 참가자는 실시간 랩 환경에서 Apache NiFi을 배포하고 관리하는 방법을 배웁니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Apachi NiFi를 설치하고 구성합니다.
• 데이터베이스와 빅데이터 레이크를 포함한 다양한 분산 데이터 소스에서 데이터를 수집, 변환 및 관리합니다.
• 데이터 흐름을 자동화합니다.
• 스트리밍 분석을 활성화합니다.
• 데이터 수집에 다양한 접근 방식을 적용합니다.
• Big Data을 비즈니스 통찰력으로 변환합니다.

부산에서 강사가 진행하는 이 실시간 교육에서 참가자는 Apache NiFi을 사용하여 다양한 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 학습하게 됩니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• NiFi의 아키텍처와 데이터 흐름 개념을 이해합니다.
• NiFi와 타사 API를 사용하여 확장 기능을 개발합니다.
• Apache Nifi 프로세서를 자체적으로 맞춤 개발합니다.
• 다양하고 흔하지 않은 파일 형식과 데이터 소스에서 실시간 데이터를 수집하고 처리합니다.