대한민국 빅 데이터 과정

이 온라인 또는 현장에서 진행되는 강사 지도형 라이브 교육은 중간 수준의 데이터 과학자 및 엔지니어가 빅데이터 처리 및 분석을 위해 Google Colab과 Apache Spark을 사용하고자 할 때 대상입니다.

이 교육을 마친 후 참가자는 다음과 같은 능력을 갖출 것입니다.

• Google Colab과 Spark를 사용하여 빅데이터 환경을 설정합니다.
• Apache Spark로 대용량 데이터를 효율적으로 처리하고 분석합니다.
• 협업 환경에서 빅데이터를 시각화합니다.
• Apache Spark을 클라우드 기반 도구와 통합합니다.

Stratio는 빅 데이터, AI, 그리고 가버넌스를 하나의 솔루션으로 통합하는 데이터 중심의 플랫폼입니다. Rocket과 Intelligence 모듈은 기업 환경에서 빠르게 데이터를 탐색, 변환하고 고급 분석을 수행할 수 있게 합니다.

이 강사는 온라인 또는 현장에서 진행되는 실습 중심의 라이브 강의로, PySpark를 활용하여 Rocket과 Intelligence 모듈을 효과적으로 사용하는 중급 데이터 전문가를 대상으로 합니다. 이 강의는 루프 구조, 사용자 정의 함수, 그리고 고급 데이터 논리에 중점을 둡니다.

이 교육을 마치면 참가자는 다음과 같은 능력을 갖추게 됩니다:

• Rocket과 Intelligence 모듈을 사용하여 Stratio 플랫폼을 탐색하고 작업할 수 있습니다.
• 데이터 수집, 변환, 분석의 맥락에서 PySpark를 적용할 수 있습니다.
• 루프와 조건 논리를 사용하여 데이터 워크플로우와 피처 엔지니어링 작업을 제어할 수 있습니다.
• PySpark에서 재사용 가능한 데이터 작업을 위한 사용자 정의 함수(UDF)를 만들고 관리할 수 있습니다.

강의 형식

• 상호작용적인 강의와 토론.
• 많은 연습과 실습.
• 라이브-랩 환경에서의 실습 구현.

강의 커스터마이징 옵션

• 이 강의를 위한 맞춤형 교육을 요청하려면 연락 주시기 바랍니다.

데이터 웨어하우징은 분석, 보고 및 의사 결정 지원을 위한 중앙 데이터 저장소의 설계, 구축 및 운영을 위한 실천입니다.

이 강사 주도의 라이브 교육(온라인 또는 현장)은 차원 데이터를 모델링하고, 견고한 ETL 파이프라인을 구축하며, 분석 작업 부하를 최적화하기를 원하는 중급 데이터 전문가를 대상으로 합니다.

이 교육을 마친 후 참가자는 다음을 할 수 있게 됩니다:

• 핵심 데이터 웨어하우징 개념과 아키텍처를 설명합니다.
• 차원 모델을 설계하고, 스타 스키마와 스노우플레이크 스키마 중 하나를 선택합니다.
• ETL 및 ELT 파이프라인을 신뢰성 있게 구축하고 조정합니다.
• OLTP 대 OLAP 작업 부하를 구분하고, 분석을 위한 최적화를 수행합니다.

강좌 형식

• 상호작용 강의 및 토론.
• 많은 연습 및 문제 해결.
• 라이브-랩 환경에서 직접 구현.

강좌 맞춤화 옵션

• 이 강좌를 위한 맞춤형 교육을 요청하려면, 연락 주시기 바랍니다.

대한민국에서 강사가 진행하는 이 실시간 교육을 완료하는 참가자는 Big Data 및 관련 기술, 방법론, 도구에 대한 실제적이고 현실적인 이해를 얻게 됩니다.

참가자들은 실습을 통해 이 지식을 실천할 기회를 갖게 됩니다. 그룹 상호작용과 강사 피드백은 수업의 중요한 구성 요소를 구성합니다.

이 과정은 Big Data의 기본 개념 소개로 시작한 다음 Data Analysis을 수행하는 데 사용되는 프로그래밍 언어 및 방법론으로 진행됩니다. 마지막으로 Big Data 저장, 분산 처리 및 Scala 기능을 가능하게 하는 도구와 인프라에 대해 논의합니다.

Greenplum은 분석 및 대규모 데이터 환경에 맞춰 설계된 오픈 소스 대용량 병렬 처리(MPP) 데이터 플랫폼입니다.

이 강사는 중급자에서 고급자 수준의 기술 사용자에게 Greenplum의 내부 구조를 이해하고, 최적화된 데이터 모델을 구성하며, 분산 환경에서 고성능 SQL을 적용하는 방법을 학습할 수 있도록 설계된 온라인 또는 현장 강의입니다.

이 강의를 통해 참가자들은 다음을 할 수 있게 됩니다:

• Greenplum의 공유-없음 아키텍처와 병렬화 모델을 이해합니다.
• 쿼리 성능을 최적화하기 위한 분산 테이블 구조와 파티션을 설계합니다.
• 인덱싱 전략, 저장 형식, 물리적 설계 기법을 사용합니다.
• EXPLAIN 계획서를 해석하고, 최적의 쿼리 실행을 위해 모범 사례를 적용합니다.

강의 형식

• 상호작용 강의 및 토론
• 다양한 연습 문제
• 라이브-랩 환경에서 실습

강의 맞춤화 옵션

• 이 강의에 맞춘 맞춤형 교육을 요청하려면, 문의하여 안내를 받으십시오.

Greenplum은 PostgreSQL 기반의 대규모 병렬 데이터 플랫폼으로, 고급 분석과 대규모 데이터 웨어하우징을 위해 설계된 오픈 소스입니다.

이 강의는 중간 수준의 관리자가 Greenplum 환경을 효과적으로 설치, 구성 및 관리할 수 있도록 지원하며, 시스템 업데이트 및 라이브러리 관리를 포함합니다.

이 강의를 마친 후, 참가자는 다음을 할 수 있게 됩니다.

• 생산 준비 완료 Greenplum 클러스터 설치 및 구성
• 시스템 업데이트 관리 및 안전하게 패치 적용
• 분석 및 확장을 위한 Greenplum 라이브러리 관리
• Greenplum 시스템 문제 해결 및 모니터링

강의 형식

• 상호작용형 강의 및 토론
• 통제된 실습 환경에서 Greenplum 사용
• 클러스터 설정, 업그레이드 워크플로우 및 시스템 확장에 중점을 둔 가이드된 연습

강의 맞춤화 옵션

• 환경 또는 데이터 플랫폼에 맞춘 이 강의의 맞춤형 교육을 요청하려면, 맞춤화를 위해 문의해 주세요.

이 강사 주도 온라인 또는 현장 실습 훈련은 데이터 처리 워크플로우를 최적화하고, 데이터 무결성을 보장하며, 현대적인 빅 데이터 애플리케이션의 복잡성을 처리할 수 있는 견고한 데이터 레이크하우스 솔루션을 구현하려는 고급 데이터 전문가를 대상으로 합니다.

이 훈련을 마친 후, 참가자들은 다음을 할 수 있습니다:

• Iceberg의 아키텍처, 메타데이터 관리 및 파일 레이아웃에 대한 심도 있는 이해를 얻습니다.
• 다양한 환경에서 최적의 성능을 위한 Iceberg 구성 및 여러 데이터 처리 엔진과의 통합을 수행합니다.
• 대형 Iceberg 테이블을 관리하고, 복잡한 스키마 변경 사항을 수행하며, 파티션 진화를 처리합니다.
• 대규모 데이터셋에 대한 쿼리 성능 및 데이터 스캔 효율성을 최적화하는 기법을 마스터합니다.
• 데이터 일관성을 보장하고, 분산 환경에서 트랜잭션 보장을 관리하며, 실패를 처리하기 위한 메커니즘을 구현합니다.

이 강사는 온라인 또는 현장에서 실시되는 이 인스트럭터-리드 라이브 트레이닝은 대용량 데이터셋을 효과적으로 관리하고 데이터 무결성을 보장하며 데이터 처리 워크플로를 최적화하기 위해 Apache Iceberg를 활용하려는 초급 데이터 전문가를 대상으로 합니다.

이 트레이닝을 마치면 참가자들은 다음을 할 수 있게 됩니다.

• Apache Iceberg의 아키텍처, 기능, 장점에 대한 철저한 이해를 얻을 수 있습니다.
• 테이블 형식, 파티셔닝, 스키마 진화 및 시간 여행 기능에 대해 배울 수 있습니다.
• 다양한 환경에서 Apache Iceberg를 설치하고 구성할 수 있습니다.
• Iceberg 테이블을 생성, 관리 및 조작할 수 있습니다.
• 다른 테이블 형식에서 Iceberg로 데이터를 이동하는 과정을 이해할 수 있습니다.

이 강사 주도, 라이브 트레이닝 (온라인 또는 현장)은 중간 수준의 IT 전문가가 조직 내에서 대규모 데이터셋의 데이터 마이그레이션을 효과적으로 관리하고 분석하기 위해 데이터 아키텍처, 거버넌스, 클라우드 컴퓨팅 및 빅 데이터 기술을 향상시키기를 원하는 분들을 대상으로 합니다.

이 트레이닝을 통해 참가자들은 다음을 할 수 있게 됩니다:

• 다양한 데이터 아키텍처의 기초 개념과 구성 요소 이해.
• 규제 환경에서의 데이터 거버넌스 원칙과 그 중요성에 대한 포괄적인 이해.
• Dama와 Togaf와 같은 데이터 거버넌스 프레임워크 구현 및 관리.
• 효율적인 데이터 저장, 처리 및 관리를 위한 클라우드 플랫폼 활용.

이 강사는 온라인 또는 현장에서 제공하는 교육을 통해 Azure Data Lake Storage Gen2를 활용하여 효과적인 데이터 분석 솔루션을 학습하고자 하는 중급 데이터 엔지니어들을 대상으로 합니다.

이 교육을 마치면 참가자들은 다음을 수행할 수 있게 됩니다:

• Azure Data Lake Storage Gen2의 아키텍처와 주요 기능에 대해 이해합니다.
• 비용과 성능을 최적화하기 위해 데이터 저장 및 접근을 최적화합니다.
• 분석 및 데이터 처리를 위해 Azure Data Lake Storage Gen2를 다른 Azure 서비스와 통합합니다.
• Azure Data Lake Storage Gen2 API를 사용하여 솔루션을 개발합니다.
• 일반적인 문제를 해결하고 저장 전략을 최적화합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Spark Hadoop 및 Python를 사용하고 통합하여 크고 복잡한 데이터 세트를 처리, 분석 및 변환하려는 개발자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Spark, Hadoop, Python를 사용하여 빅데이터 처리를 시작하는 데 필요한 환경을 설정합니다.
• Spark 및 Hadoop의 기능, 핵심 구성 요소 및 아키텍처를 이해합니다.
• 빅 데이터 처리를 위해 Spark, Hadoop 및 Python를 통합하는 방법을 알아보세요.
• Spark 에코시스템(Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka 및 Flume)의 도구를 살펴보세요.
• Netflix, YouTube, Amazon, Spotify 및 Google과 유사한 협업 필터링 추천 시스템을 구축하세요.
• Apache Mahout을 사용하여 기계 학습 알고리즘을 확장합니다.

Big Data와 고급 분석은 대규모, 복잡한 데이터셋을 분석하여 실질적인 통찰력과 전략적 의사결정에 사용하기 위해 고급 기술과 도구를 적용하는 것입니다.

이 강사는 온라인 또는 현장 교육을 통해 고급 데이터 전문가들이 예측, 처방, 실시간 분석을 위한 최신 분석 방법과 빅데이터 기술을 활용하는 방법을 배울 수 있도록 합니다.

이 교육을 마치면 참가자들은 다음을 수행할 수 있게 됩니다:

• 구조화된 및 비구조화된 데이터를 위한 대규모 데이터 처리 파이프라인을 설계 및 구현합니다.
• 매시브 데이터셋에 고급 머신러닝 및 딥러닝 기술을 적용합니다.
• 실시간 분석 및 데이터 스트리밍을 위한 분산 컴퓨팅 프레임워크를 활용합니다.
• 빅데이터 분석을 비즈니스 인텔리전스 및 의사결정 시스템에 통합합니다.

강의 형식

• 대화형 강의 및 토론.
• 다양한 연습과 실습.
• 실제 랩 환경에서의 직접적인 구현.

강의 맞춤화 옵션

• 이 강의를 맞춤화하려면, 양해를 구하기 위해 문의하십시오.

이 온라인 또는 오프라인에서 진행되는 강사 주도의 라이브 트레이닝은 중간 수준의 IT 전문가들이 IBM DataStage를 관리자와 개발자의 관점에서 종합적으로 이해하여 작업 환경에서 이 도구를 효과적으로 활용할 수 있도록 돕습니다.

이 트레이닝을 통해 참가자는 다음을 할 수 있게 됩니다.

• DataStage의 핵심 개념을 이해합니다.
• DataStage 환경을 효과적으로 설치, 구성 및 관리하는 방법을 배웁니다.
• 다양한 데이터 소스에 연결하고 데이터베이스, 플랫 파일, 외부 소스에서 데이터를 효율적으로 추출합니다.
• 효과적인 데이터 로딩 기술을 구현합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Spark 클러스터를 배포, 유지 관리 및 최적화하려는 초급 및 중급 시스템 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 다양한 환경에서 Apache Spark을 설치하고 구성합니다.
• 클러스터 리소스를 관리하고 Spark 애플리케이션을 모니터링합니다.
• Spark 클러스터의 성능을 최적화합니다.
• 보안 조치를 구현하고 고가용성을 보장합니다.
• 일반적인 Spark 문제를 디버그하고 해결합니다.

대한민국에서 강사가 진행하는 실시간 교육을 이수하는 참가자는 Big Data과 관련 기술, 방법론 및 도구에 대한 실용적이고 실제적인 이해를 얻게 됩니다.

참가자들은 실습을 통해 이러한 지식을 실제로 적용할 수 있는 기회를 갖게 됩니다. 그룹 상호 작용과 강사 피드백은 수업의 중요한 구성 요소입니다.

이 과정은 빅 데이터의 기본 개념 소개로 시작하여 데이터 분석을 수행하는 데 사용되는 프로그래밍 언어와 방법론으로 진행됩니다. 마지막으로 빅 데이터 스토리지, 분산 처리 및 Scala 기능을 가능하게 하는 도구와 인프라에 대해 논의합니다.

이 강사가 진행하는 대한민국 실시간 교육에서 참가자는 실습을 하면서 Python와 Spark를 함께 사용하여 빅 데이터를 분석하는 방법을 배웁니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python와 함께 Spark를 사용하여 Big Data을 분석하는 방법을 알아보세요.
• 실제 사례를 모방한 연습을 해보세요.
• PySpark을 사용하여 빅데이터 분석을 위한 다양한 도구와 기술을 사용합니다.

대상:

이 코스는 분산 시스템 환경에서 대규모 데이터를 저장하고 처리하는 솔루션을 찾고 있는 IT 전문가를 대상으로 합니다.

전제 조건:

Hadoop 클러스터 관리에 대한 심도 있는 지식이 필요합니다.

기술의 발전과 정보량의 증가로 인해 정부를 포함한 다양한 산업에서 비즈니스 운영 방식이 변화하고 있습니다. 모바일 기기와 애플리케이션, 스마트 센서 및 장치, 클라우드 컴퓨팅 솔루션, 시민 대면 포털의 급속한 성장으로 인해 정부 데이터 생성 및 디지털 아카이빙률이 증가하고 있습니다. 디지털 정보가 확장되고 복잡해짐에 따라 정보 관리, 처리, 저장, 보안 및 폐기도 복잡해지고 있습니다. 새로운 캡처, 검색, 발견 및 분석 도구를 통해 조직은 비정형 데이터에서 통찰력을 얻고 있습니다. 정부는 정보가 전략적 자산이라는 점을 인식하고 있으며, 구조화된 데이터와 비정형 데이터 모두를 보호, 활용, 분석하여 임무를 더 잘 수행하고 임무 요구 사항을 충족해야 합니다. 정부 리더들이 데이터 주도 조직을 발전시켜 임무를 성공적으로 수행하기 위해 노력하는 동안, 이벤트, 사람, 프로세스 및 정보 간의 의존 관계를 상관관계화하는 기초 작업을 진행하고 있습니다.

고가치 정부 솔루션은 다음과 같은 가장 혁신적인 기술의 조합에서 창출될 것입니다:

• 모바일 기기와 애플리케이션
• 클라우드 서비스
• 소셜 비즈니스 기술 및 네트워킹
• 빅데이터와 분석

IDC는 2020년까지 IT 산업이 약 5조 달러에 달할 것이며, 이는 현재보다 약 1.7조 달러 증가한 규모라고 예측하고 있습니다. 이 산업의 80% 성장은 3rd 플랫폼 기술에 의해 주도될 것이며, 이러한 기술은 디지털 정보의 복잡성을 해결하기 위한 장기적인 핵심 도구가 될 것입니다. 빅데이터는 지능형 산업 솔루션의 하나이며, 대규모 데이터(관련되지 않은 데이터, 구조화된 데이터, 비구조화된 데이터)의 패턴을 분석하여 더 나은 결정을 내리는 데 도움이 됩니다.

그러나 이러한 업적을 달성하기 위해서는 단순히 대량의 데이터를 모으는 것 이상의 노력이 필요합니다. “이러한 대규모 빅데이터를 이해하려면 다양한 정보의 넓은 범위를 분석하고 유용한 지식을 추출할 수 있는 최첨단 도구와 기술이 필요합니다.”라고 화이트하우스 과학기술정책국(Tom Kalil과 Fen Zhao)의 Tom Kalil과 Fen Zhao는 OSTP 블로그 게시물에 썼다.

화이트하우스는 2012년에 국가 빅데이터 연구 개발 이니셔티브를 설립하여 기관이 빅데이터 분석에 필요한 기술과 도구를 찾을 수 있도록 지원했습니다. 이 이니셔티브에는 빅데이터 폭발을 최대한 활용하고 이를 분석하기 위한 도구를 개발하기 위한 2억 달러 이상이 포함되어 있었습니다.

빅데이터가 제시하는 문제는 그 가능성에 비해 거의 마찬가지입니다. 데이터 효율적으로 저장하는 것은 이러한 문제 중 하나입니다. 항상 예산이 제한적이기 때문에 기관은 메가바이트당 저장 비용을 최소화하고 사용자가 필요할 때 데이터를 쉽게 접근할 수 있도록 유지해야 합니다. 대량의 데이터를 백업하는 것은 이러한 도전 과제를 더욱 강화합니다.

데이터를 효과적으로 분석하는 것은 또 다른 주요 도전 과제입니다. 많은 기관은 상업용 도구를 사용하여 데이터를 분석하고, 이를 통해 운영 효율성을 높일 수 있는 동향을 파악합니다. (최근 MeriTalk 조사에 따르면 연방 IT 임원이 빅데이터가 기관이 5천억 달러 이상을 절약하면서도 임무를 완수할 수 있을 것이라고 믿습니다.).

맞춤형 빅데이터 도구도 기관이 데이터를 분석하는 데 필요한 요구를 충족시키는 데 도움이 됩니다. 예를 들어, 오크리지를 국립 연구소의 계산 데이터 분석 그룹은 피라냐 데이터 분석 시스템을 다른 기관에 제공했습니다. 이 시스템은 의료 연구자에게 대동맥류를 조기에 발견할 수 있도록 경고하는 링크를 찾는 데 도움이 되었습니다. 또한, 더 평범한 작업, 예를 들어 이력서를 검토하여 채용 관리자와 일자리를 찾는 사람과 연결하는 데도 사용됩니다.

1일차 - 빅데이터의 주요 주제 영역에 대한 고수준 개요를 제공합니다. 이 모듈은 각 섹션별로 동반되는 실습과 함께 나뉩니다.

2일차 - 빅데이터 환경에서의 분석 방법 및 도구와 관련된 다양한 주제를 탐구합니다. 구현 또는 프로그래밍 세부 사항에 들어가지는 않으며, 대신 개념 수준에서 설명하여 빅데이터 솔루션이 제공하는 일반적인 분석 기능과 특성에 대한 포괄적인 이해를 개발하는 데 중점을 둡니다.

3일차 - 빅데이터 솔루션 플랫폼 아키텍처와 관련된 기본적이고 필수적인 주제 영역에 대한 개요를 제공합니다. 빅데이터 솔루션 플랫폼 개발에 필요한 빅데이터 메커니즘과 데이터 처리 플랫폼을 조립하는 데 사용할 수 있는 아키텍처 옵션을 다룹니다. 또한, 빅데이터 솔루션 플랫폼이 일반적으로 사용되는 방법을 이해하는 데 도움이 되는 일반적인 시나리오도 제시됩니다.

4일차 - 3일차에서 다루는 내용을 바탕으로 빅데이터 솔루션 플랫폼 아키텍처와 관련된 고급 주제를 탐구합니다. 특히, 빅데이터 솔루션 플랫폼을 구성하는 다양한 아키텍처 계층이 소개되고 논의됩니다. 데이터 소스, 데이터 수집, 데이터 저장, 데이터 처리 및 보안이 포함됩니다.

5일차 - 3일차와 4일차에서 다루는 주제에 대한 지식을 적용하는 능력을 테스트하기 위해 설계된 다양한 연습과 문제를 다룹니다.

빅 데이터 분석은 상관 관계, 숨겨진 패턴 및 기타 유용한 통찰력을 발굴하기 위해 대량의 다양한 데이터 세트를 검사하는 프로세스를 필요로합니다.

보건 산업은 복잡한 이기종 의학 및 임상 데이터를 가지고 있습니다. 건강 데이터에 큰 데이터 분석을 적용하면 건강 관리 제공 개선에 대한 통찰력을 얻는 데 큰 잠재력이 있습니다. 그러나 이러한 데이터 세트의 엄청난 양은 임상 환경에 대한 분석 및 실제 응용에 큰 문제를 제기합니다.

이 강사 주도의 실시간 교육 (원격)에서는 참가자가 실습 랩 연습을 단계별로 수행하면서 건강에 큰 데이터 분석을 수행하는 방법을 배웁니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Hadoop MapReduce 및 Spark와 같은 대규모 데이터 분석 도구 설치 및 구성
• 의료 데이터의 특성 이해
• 큰 데이터 기술을 적용하여 의료 데이터 처리
• 건강 응용 프로그램의 맥락에서 큰 데이터 시스템과 알고리즘 연구

청중

• 개발자
• 데이터 과학자

코스 형식

• 파트 강의, 파트 토론, 연습 및 무거운 실습.

노트

• 이 과정에 대한 맞춤 교육을 요청하려면 Google에 문의하여 준비하십시오.

대한민국에서 강사가 주도하는 이 라이브 교육에서 참가자는 Big Data 기술에 접근하는 사고방식, 기존 프로세스 및 정책에 미치는 영향을 평가하는 방법, 범죄 활동을 식별하고 범죄를 예방하기 위해 이러한 기술을 구현하는 방법을 배웁니다. 전 세계 법 집행 기관의 사례 연구를 검토하여 채택 방식, 과제 및 결과에 대한 통찰력을 얻습니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 조사 중에 스토리를 조각해내기 위해 Big Data 기술을 기존 데이터 수집 프로세스와 결합합니다.
• 데이터 분석을 위한 산업용 빅데이터 저장 및 처리 솔루션을 구현합니다.
• 범죄 수사에 데이터 중심적 접근 방식을 적용하는 데 가장 적합한 도구와 프로세스를 도입하기 위한 제안을 준비하세요.

빅데이터는 대량의 데이터를 저장하고 처리하기 위한 솔루션을 의미하는 용어입니다. 이 빅데이터 솔루션은 Google에서 처음 개발되었으며, 이후 다양한 오픈 소스 프로젝트를 영감을 주었습니다. R은 금융 산업에서 인기가 높은 프로그래밍 언어입니다.

전통적인 저장 기술이 필요로 하는 데이터를 처리하지 못할 때, 수백 가지의 대안이 있습니다. 이 강좌는 참가자들이 빅데이터를 저장하고 분석하는 대안들이 무엇이며, 그 장단점이 무엇인지 안내합니다.

이 강좌는 주로 솔루션의 논의와 발표에 초점을 맞추고 있지만, 수요에 따라 실습 연습도 가능합니다.

과정은 데이터 과학자 스킬 세트 (Domain : Data and Technology)의 일부입니다.

이 강의실 기반 교육 세션에서는 Big Data을 살펴봅니다. 대표단은 관련 빅 데이터 도구를 사용하여 컴퓨터 기반 사례와 사례 연구 연습을 수행합니다.

청중

액세스 권한이있는 데이터를 이해하려고하거나 Twitter, Linked in 등의 인터넷에서 사용할 수있는 구조화되지 않은 데이터를 분석하려는 경우이 과정은 사용자를위한 것입니다.

대부분의 의사 결정자와 수집 할 가치가있는 데이터와 분석 할 가치가있는 데이터를 선택해야하는 사람들을 대상으로합니다.

솔루션을 구성하는 사람들을 대상으로하는 것이 아니기 때문에 사람들은 큰 그림의 이점을 누릴 수 있습니다.

배달 모드

과정 중에 대표자는 주로 오픈 소스 기술의 실례를 제시합니다.

단기 강연은 참가자의 발표와 간단한 연습으로 이어진다.

사용 된 컨텐츠 및 소프트웨어

사용 된 모든 소프트웨어는 코스가 실행될 때마다 업데이트되므로 가능한 최신 버전을 확인합니다.

여기에는 데이터 획득, 형식 지정, 처리 및 분석, 기계 학습을 통한 의사 결정 프로세스 자동화 방법을 설명하는 프로세스가 포함됩니다.

빅 데이터는 너무 방대하고 복잡한 데이터 세트로 전통적인 데이터 처리 응용 프로그램 소프트웨어가 처리하기에 부적합합니다. 큰 데이터 문제로는 데이터 캡처, 데이터 저장, 데이터 분석, 검색, 공유, 전송, 시각화, 쿼리, 업데이트 및 정보 프라이버시가 있습니다.

이 코스는 분산 시스템 환경에서 대규모 데이터 세트를 저장하고 처리하는 솔루션을 찾고 있는 IT 전문가를 위한 것입니다.

코스 목표:

Hadoop 클러스터 관리 관련 지식 습득

아파치 하둡은 서버 클러스터에서 데이터를 처리하는 가장 인기 있는 프레임워크입니다. 이 3일(선택 사항으로 4일) 과정에서는 하둡과 그 생태계의 비즈니스 이점과 사용 사례, 클러스터 배포 및 확장을 계획하는 방법, 하둡을 설치, 유지, 모니터링, 문제 해결 및 최적화하는 방법에 대해 배우게 됩니다. 또한 클러스터 대량 데이터 로드 연습, 다양한 하둡 배포판에 대한 이해, 하둡 생태계 도구를 설치 및 관리하는 연습을 할 수 있습니다. 이 과정은 커버로스를 사용하여 클러스터를 보호하는 논의로 마무리됩니다.

“… 자료는 매우 잘 준비되어 있었고 철저히 다루어졌습니다. 라보는 매우 도움이 되고 잘 조직되어 있었습니다.”
— 앤드류 응우옌, 프린시팔 통합 DW 엔지니어, 온라인

대상

하둡 관리자

형식

강의와 실습 라보, 강의 약 60%, 라보 약 40%.

아파치 Hadoop은 서버 클러스터에서 데이터를 처리하는 가장 인기 있는 프레임워크입니다. 이 과정은 개발자에게 HDFS, MapReduce, Pig, Hive, HBase를 포함한 Hadoop 생태계의 다양한 구성 요소에 대해 소개합니다.

Apache Hadoop은 서버 클러스터에서 데이터를 처리하기 위해 가장 인기 있는 프레임워크 중 하나입니다. 이 과정은 HDFS의 데이터 관리, 고급 Pig, Hive, 그리고 HBase에 대해 깊이 있게 탐구합니다. 이러한 고급 프로그래밍 기법은 경험 많은 Hadoop 개발자에게 유용할 것입니다.

대상: 개발자

기간: 3일

형식: 강의(50%)와 실습(50%)

대상:

이 코스는 빅 데이터/하둡 기술의 신비를 해제하고 이해하기 어렵지 않다는 것을 보여주기 위한 것입니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 조직 내에서 Hadoop 클러스터를 설정, 배포 및 관리하는 방법을 배우려는 시스템 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache Hadoop을 설치하고 구성합니다.
• Hadoop 생태계의 네 가지 주요 구성 요소인 HDFS, MapReduce, YARN 및 Hadoop Common을 이해합니다.
• HDFS(Hadoop 분산 파일 시스템)를 사용하여 클러스터를 수백 또는 수천 개의 노드로 확장합니다.
• 온프레미스 Spark 배포를 위한 스토리지 엔진으로 작동하도록 HDFS를 설정합니다.
• Redis, Elasticsearch, Couchbase, Aerospike 등과 같은 Amazon S3 및 NoSQL 데이터베이스 시스템과 같은 대체 스토리지 솔루션에 액세스하도록 Spark를 설정하십시오.
• Apache Hadoop 클러스터 프로비저닝, 관리, 모니터링 및 보안과 같은 관리 작업을 수행합니다.

이 강좌는 Hadoop 위에서 동작하는 NoSQL 저장소인 HBase를 소개합니다. 이 강좌는 HBase를 사용하여 애플리케이션을 개발할 개발자들과 HBase 클러스터를 관리할 관리자들을 대상으로 합니다.

이 강좌에서는 HBase의 아키텍처와 데이터 모델링, 그리고 HBase 기반 애플리케이션 개발을 개발자를 위한 단계별로 안내합니다. 또한 HBase와 MapReduce를 함께 사용하는 방법과 성능 최적화와 관련된 관리 주제를 다룹니다. 이 강좌는 많은 실습을 포함하여 매우 실습 중심입니다.

기간 : 3일

대상 : 개발자 & 관리자

이 인스트럭터 주도, 라이브 교육은 대한민국 (현장 또는 원격)에서 다양한 스트림 처리 프레임워크를 기존의 빅데이터 저장 시스템과 관련 소프트웨어 애플리케이션 및 마이크로 서비스에 설정하고 통합하는 방법을 학습할 수 있습니다.

이 교육을 마친 후 참가자들은 다음과 같은 능력을 갖추게 됩니다:

• Spark Streaming과 Kafka Streaming을 포함한 다양한 스트림 처리 프레임워크를 설치하고 구성할 수 있습니다.
• 가장 적합한 프레임워크를 선택할 수 있습니다.
• 데이터를 지속적으로, 동시에, 그리고 기록별로 처리하는 방법을 학습합니다.
• 스트림 처리 솔루션을 기존 데이터베이스, 데이터 웨어하우스, 데이터 레이크 등과 통합합니다.
• 적합한 스트림 처리 라이브러리를 기업 애플리케이션 및 마이크로 서비스와 통합합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 빅데이터 활용을 극대화하면서 머신러닝 전략을 구현하는 방법을 배우려는 기술 인력을 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행하게 됩니다.

• 머신러닝의 발전과 추세를 이해하세요.
• 다양한 산업 분야에서 머신러닝이 어떻게 사용되고 있는지 알아보세요.
• 조직 내에서 머신러닝을 구현하는 데 사용할 수 있는 도구, 기술 및 서비스를 숙지하세요.
• 머신러닝을 사용하여 데이터 마이닝 및 분석을 향상하는 방법을 이해합니다.
• 데이터 미들 백엔드가 무엇인지, 기업에서는 이를 어떻게 사용하고 있는지 알아보세요.
• 산업 전반에 걸쳐 빅 데이터와 지능형 애플리케이션이 수행하는 역할을 이해합니다.

• Apache NiFi 클러스터를 설치, 구성 및 유지보수합니다.
• 다양한 소스 및 싱크에서 데이터 흐름을 설계 및 관리합니다.
• 플로우 자동화, 라우팅 및 변환 로직을 구현합니다.
• 성능을 최적화하고, 운영을 모니터링하며, 문제를 해결합니다.

강의 형식

• 실세계 아키텍처 토론을 포함한 상호작용형 강의입니다.
• 플로우를 구축, 배포 및 관리하는 실습.
• 실제 실험 환경에서 시나리오 기반 연습.

강의 커스터마이징 옵션

• 이 강의를 커스터마이징하려면, 문의하여 주십시오.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 Apache NiFi을 사용하여 다양한 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 학습하게 됩니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• NiFi의 아키텍처와 데이터 흐름 개념을 이해합니다.
• NiFi와 타사 API를 사용하여 확장 기능을 개발합니다.
• Apache Nifi 프로세서를 자체적으로 맞춤 개발합니다.
• 다양하고 흔하지 않은 파일 형식과 데이터 소스에서 실시간 데이터를 수집하고 처리합니다.

이 강사 주도형 라이브 교육은 온라인 또는 현장에서 제공되며, 빅데이터 솔루션을 위한 데이터 처리 플랫폼을 구축하기 위해 SMACK 스택을 활용하고자 하는 데이터 과학자들을 대상으로 합니다.

이 교육을 마친 후 참가자들은 다음과 같은 능력을 갖출 것입니다:

• 빅데이터 처리를 위한 데이터 파이프라인 아키텍처를 구현할 수 있습니다.
• Apache Mesos와 Docker를 사용하여 클러스터 인프라를 개발할 수 있습니다.
• Spark와 Scala를 사용하여 데이터를 분석할 수 있습니다.
• Apache Cassandra를 사용하여 비구조화된 데이터를 관리할 수 있습니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 매우 많은 양의 데이터를 처리하기 위해 Apache Spark 시스템을 설정하고 배포하려는 엔지니어를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache Spark를 설치하고 구성합니다.
• 매우 큰 데이터 세트를 신속하게 처리하고 분석합니다.
• Apache Spark와 Hadoop MapReduce의 차이점과 언제 어느 것을 사용해야 하는지 이해합니다.
• Apache Spark를 다른 기계 학습 도구와 통합합니다.

Apache Spark의 학습 곡선은 초기에 천천히 증가하며, 처음의 성과를 얻기 위해 많은 노력이 필요합니다. 이 과정은 첫 번째 어려운 부분을 넘어가는 것을 목표로 합니다. 이 과정을 수강한 후 참가자들은 Apache Spark의 기본 사항을 이해하게 될 것입니다. 또한 RDD와 DataFrame을 명확하게 구분할 수 있으며, Python과 Scala API를 배우고, 실행자와 작업 등의 개념을 이해할 것입니다. 또한 최상의 실습을 따라, 이 과정은 클라우드 배포, Databricks 및 AWS에 강한 초점을 맞추고 있습니다. 학생들은 또한 AWS의 최신 Spark 서비스인 AWS EMR과 AWS Glue의 차이점을 이해할 것입니다.

대상:

데이터 엔지니어, DevOps, 데이터 과학자

목표:

이 과정은 Apache Spark를 소개합니다. 학생들은 Spark가 빅데이터 생태계에 어떻게 포함되는지, 그리고 Spark를 데이터 분석에 어떻게 사용하는지 배웁니다. 이 과정은 상호작용형 데이터 분석을 위한 Spark 셸, Spark 내부, Spark API, Spark SQL, Spark 스트리밍, 머신러닝 및 graphX를 다루고 있습니다.

대상:

개발자 / 데이터 분석가

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 Apache Spark을 기반으로 구축된 Spark NLP을 사용하여 자연어 텍스트 처리 모델과 파이프라인을 개발, 구현 및 확장하려는 데이터 과학자와 개발자를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Spark NLP을 사용하여 NLP 파이프라인 구축을 시작하기 위해 필요한 개발 환경을 설정하세요.
• Spark NLP을 사용하는 기능, 아키텍처 및 이점을 이해합니다.
• Spark NLP에서 사용 가능한 사전 학습된 모델을 사용하여 텍스트 처리를 구현합니다.
• 생산 등급 프로젝트를 위한 모델을 빌드, 학습 및 확장하는 방법Spark NLP을 알아보세요.
• 실제 사용 사례(임상 데이터, 고객 행동 통찰력 등)에 분류, 추론, 감정 분석을 적용합니다.

Spark SQL은 Apache Spark가 구조화된 데이터와 비구조화된 데이터를 처리하기 위한 모듈입니다. Spark SQL은 데이터의 구조와 계산 과정에 대한 정보를 제공하여 최적화를 수행할 수 있습니다. Spark SQL의 두 가지 주요 사용 사례는 다음과 같습니다:

- SQL 쿼리를 실행하는 것.

- 기존 Hive 설치에서 데이터를 읽어오는 것.

이 온라인 또는 오프라인 강의에서, 참가자들은 Spark SQL을 사용하여 다양한 유형의 데이터 세트를 분석하는 방법을 배웁니다.

이 교육을 통해 참가자들은 다음을 할 수 있게 됩니다:

• Spark SQL을 설치하고 구성합니다.


• Spark SQL을 사용하여 데이터 분석을 수행합니다.


• 여러 형식의 데이터 세트를 쿼리합니다.


• 데이터와 쿼리 결과를 시각화합니다.

과정 형식

• 대화형 강의와 토론.


• 다양한 연습과 문제.


• 실습 환경에서의 직접 구현.

과정 커스터마이징 옵션

• 이 강의를 위한 맞춤형 교육을 요청하려면 문의하여 조치를 취하세요.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Talend 빅 데이터용 Open Studio를 배포하여 빅 데이터를 읽고 처리하는 프로세스를 단순화하려는 기술 인력을 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Talend 빅 데이터용 Open Studio를 설치하고 구성합니다.
• Cloudera, HortonWorks, MapR, Amazon EMR 및 Apache와 같은 빅 데이터 시스템과 연결하세요.
• Open Studio의 빅 데이터 구성 요소와 커넥터를 이해하고 설정합니다.
• MapReduce 코드를 자동으로 생성하도록 매개변수를 구성합니다.
• Open Studio의 드래그 앤 드롭 인터페이스를 사용하여 Hadoop 작업을 실행하세요.
• 빅 데이터 파이프라인 프로토타입.
• 빅데이터 통합 프로젝트를 자동화하세요.