대한민국 빅 데이터 과정

대한민국에서 온라인 또는 현장으로 진행되는 이 강사 주도형 실습 교육은 Google Colab과 Apache Spark를 이용해 빅데이터 처리 및 분석을 배우고자 하는 중급 수준의 데이터 과학자와 엔지니어들을 위한 과정입니다.

교육 종료 시 참가자들은 다음 역량을 갖추게 됩니다:

• Google Colab과 Spark를 활용하여 빅데이터 처리 환경을 구축할 수 있습니다.
• Apache Spark를 이용해 대규모 데이터 세트를 효율적으로 처리하고 분석할 수 있습니다.
• 협업 환경에서 빅데이터 시각화 작업을 수행할 수 있습니다.
• Apache Spark와 클라우드 기반 도구들을 통합하여 활용할 수 있습니다.

스트라티오는 빅데이터, AI, 데이터 거버넌스를 하나의 플랫폼에 통합한 데이터 중심 솔루션입니다. 특히 로켓 및 인텔리전스 모듈을 통해 기업 환경에서 신속한 데이터 탐색, 변환 및 고급 분석이 가능합니다.

본 교육은 강사가 직접 진행하는 실시간 훈련 과정으로서 온라인 또는 현장에서 이루어지며, 중급 수준의 데이터 전문가들을 대상으로 합니다. 참가자들은 PySpark를 활용해 스트라티오 내 로켓 및 인텔리전스 모듈을 효과적으로 활용하는 방법을 배우게 되는데, 특히 반복 구조와 사용자 정의 함수, 고급 데이터 논리 설계에 초점을 맞춥니다.

교육이 끝날 무렵에는 다음과 같은 역량을 갖추게 됩니다:

• 스트라티오 플랫폼에서 로켓 및 인텔리전스 모듈을 활용해 작업하는 방법
• 데이터 수집, 변환 및 분석 과정에 PySpark를 적절히 적용하는 법
• 반복문과 조건부 논리를 이용해 데이터 처리 흐름과 특징 추출 작업을 제어하는 방법
• PySpark 환경에서 재사용 가능한 데이터 연산을 위해 사용자 정의 함수(UDF)를 생성하고 관리하는 기술

강좌 형식

• 상호작용형 강의 및 토론 세션
• 풍부한 연습 문제와 실제 적용 기회 제공
• 실시간 실험실 환경에서 직접 구현해보는 과정

강좌 맞춤형 설정 옵션

• 본 강좌를 고객 요구에 맞게 커스터마이징하길 원하시는 경우, 문의해주시면 적절히 조율해드리겠습니다.

데이터 웨어하우징이란 분석, 보고서 작성, 의사결정을 지원하기 위한 중앙 집중식 데이터 저장소를 설계하고 구축하며 운영하는 과정입니다.

이 강의는 온라인 또는 현장에서 진행되는 실습 위주의 교육으로, 차원 모델링을 익히고 안정적인 ETL 파이프라인을 구축하며 분석 워크로드를 최적화하고자 하는 중급 수준의 데이터 전문가들을 대상으로 합니다.

교육 과정을 마치면 참가자들은 다음과 같은 역량을 갖추게 됩니다:

• 핵심적인 데이터 웨어하우징 개념 및 아키텍처를 설명할 수 있습니다.
• 차원 모델을 설계하고 스타 스키마와 스노우플레이크 스키마 중 적절한 것을 선택할 수 있습니다.
• 안정적으로 작동하는 ETL 및 ELT 파이프라인을 구축하고 관리할 수 있습니다.
• OLTP와 OLAP 워크로드의 차이를 이해하고 분석 성능을 최적화할 수 있습니다.

강좌 운영 방식

• 상호작용형 강의와 토론이 이루어집니다.
• 다양한 연습 문제 및 실습 기회가 제공됩니다.
• 실제 실습 환경에서 직접 구현해보는 경험도 포함됩니다.

강좌 맞춤화 옵션

• 본 강좌에 대한 맞춤형 교육이 필요하신 경우, 연락 주시면 협의해드리겠습니다.

대한민국에서 진행되는 이 강사 주도형 실시간 교육을 수료한 참가자들은 빅데이터와 관련 기술, 방법론, 도구에 대해 현장에서 활용 가능한 지식을 습득하게 됩니다.

참가자들은 직접 hands-on 연습을 통해 배운 내용을 적용해보는 기회를 가지며, 그룹 활동과 강사의 피드백도 수업 과정에서 핵심적인 요소로 작용합니다.

강의 순서는 먼저 빅데이터의 핵심 개념 소개로 시작되고 이후 데이터 분석에 사용되는 프로그래밍 언어 및 방법론까지 다루게 됩니다. 마지막 단계에서는 빅데이터 저장, 분산 처리 및 확장성을 가능케 하는 도구와 인프라에 대해 자세히 논의합니다.

Greenplum은 분석 작업 및 대규모 데이터 환경을 위해 설계된 오픈소스 기반의 대규모 병렬 처리(MPP) 데이터 플랫폼입니다.

본 교육 과정은 강사가 직접 진행하는 실습 중심의 온라인 또는 현장 교육으로, Greenplum의 내부 아키텍처를 이해하고 최적화된 데이터 모델을 설계하며 분산 환경에서 고성능 SQL을 활용하려는 중급 이상 수준의 기술 담당자들을 대상으로 합니다.

교육 과정을 마치면 참가자는 다음과 같은 역량을 갖추게 됩니다:

• Greenplum의 공유되지 않는 아키텍처와 병렬 처리 모델을 이해합니다.
• 쿼리 성능 최적화를 위해 분산 테이블 구조 및 파티션 설계가 가능합니다.
• 인덱스 전략, 저장소 형식, 물리적 디자인 기법을 적절히 활용할 수 있습니다.
• EXPLAIN 실행 계획을 해석하고 모범 사례에 따라 쿼리를 최적화할 수 있습니다.

교육 형식

• 상호작용형 강의 및 토론이 진행됩니다.
• 다양한 연습 문제와 실습 기회가 제공됩니다.
• 실제 실험 환경에서 직접 실습해볼 수 있습니다.

교육 맞춤형 옵션

• 본 과정에 대한 맞춤형 교육을 원하시는 경우, 문의해주시면 협의 가능합니다.

그린플럼은 PostgreSQL를 기반으로 한 오픈소스 대용량 병렬 처리 데이터 플랫폼으로, 고급 분석 작업과 대규모 데이터 웨어하우징에 최적화되어 있습니다.

본 강좌는 온라인 또는 현장에서 진행되는 강사 주도형 실습 교육으로, 그린플럼 환경을 효과적으로 설치·설정·관리하고자 하는 중급 수준의 관리자들을 대상으로 합니다. 여기에는 시스템 업데이트 및 라이브러리 관리도 포함됩니다.

교육 과정을 마친 후 참가자들은 다음 역량을 갖추게 됩니다:

• 실제 운영 환경에 적합한 그린플럼 클러스터를 설치하고 구성할 수 있습니다.
• 시스템 업데이트를 안전하게 관리하고 패치를 적용할 수 있습니다.
• 분석 목적 및 확장 기능을 위해 그린플럼 라이브러리를 적절히 처리할 수 있습니다.
• 그린플럼 시스템의 문제를 진단하고 모니터링할 수 있습니다.

강좌 진행 방식

• 상호작용형 강의 및 토론
• 통제된 실습 환경에서 직접 그린플럼을 사용해보는 기회
• 클러스터 설정, 업그레이드 절차 및 시스템 확장 기능에 초점을 맞춘 실습 연습

강좌 커스터마이징 옵션

• 귀하의 환경이나 데이터 플랫폼에 맞춰 강좌 내용을 맞춤화하고 싶으신 경우, 연락주시면 협의해 드리겠습니다.

대한민국 지역에서 진행되는 본 실시간 강의는 데이터 처리 효율성을 높이고 정보 무결성 검증 및 현대적 빅데이터 요구사항에 부합하는 데이터 레이크하우스 솔루션을 구축하려는 고급 전문가들을 위한 교육입니다.

수료 후 참가자들은:

• 메타데이터 관리 방식과 파일 구성 원리를 포함한 Iceberg 시스템 구조에 대한 심층적 이해
• 다양한 환경 최적화 조건 설정 및 다수의 데이터 처리 플랫폼과의 연동 능력 습득
• 방대한 규모의 Iceberg 테이블 운용, 복잡한 스키마 변경 관리와 파티션 구조 수정 역량 강화
• 대규모 데이터셋에 대한 질의 응답 속도 개선 및 탐색 효율성을 증진하는 전략 숙련
• 분산 시스템 환경에서 정보 일관성 유지와 트랜잭션 처리 체계 확립, 장애 대응 메커니즘 실행 가능성 확보

대한민국에서 진행되는 본 강의는 온라인 또는 오프라인 방식으로 진행되며, Apache Iceberg를 활용해 대규모 데이터 세트를 효율적으로 관리하고 데이터 무결성을 확보하며 데이터 처리 워크플로우를 최적화하는 데 필요한 지식과 기술을 습득하려는 초급 수준의 데이터 전문가들을 위해 마련되었습니다.

강의 종료 시 참가자들은 다음 역량을 갖추게 됩니다:

• Apache Iceberg의 아키텍처, 기능 및 장점에 대한 심도 있는 이해
• 테이블 포맷, 파티셔닝 기법, 스키마 진화 및 타임 트래블 기능에 대한 지식 습득
• 다양한 환경에서 Apache Iceberg를 설치하고 구성하는 방법을 익힘
• Iceberg 테이블을 생성, 관리 및 조작할 수 있는 능력 획득
• 기존 테이블 포맷에서 Iceberg로 데이터를 마이그레이션하는 절차 파악

대한민국에서 진행되는 본 강사 주도형 실시간 교육은 데이터 아키텍처, 거버넌스, 클라우드 컴퓨팅 및 빅데이터 기술 분야의 역량을 높이고자 하는 중급 수준 IT 전문가들을 위한 과정입니다. 이를 통해 조직 내에서 대규모 데이터 세트를 효과적으로 관리·분석하고 데이터 마이그레이션 작업도 원활히 수행할 수 있습니다.

교육 종료 시 참가자들은 다음과 같은 역량을 갖추게 됩니다:

• 다양한 데이터 아키텍처의 기본 개념 및 구성 요소를 이해하게 됩니다.
• 규제 환경에서 데이터 거버넌스 원칙이 가지는 중요성과 그 내용을 포괄적으로 파악합니다.
• Dama 및 Togaf와 같은 데이터 거버넌스 프레임워크를 실제로 구현하고 관리할 수 있게 됩니다.
• 클라우드 플랫폼을 활용하여 효율적인 데이터 저장, 처리 및 관리를 수행할 수 있습니다.

이 강사 주도형 실습 교육 과정은 대한민국 지역에서 온라인 또는 오프라인으로 진행되며, Azure Data Lake Storage Gen2를 활용해 효과적인 데이터 분석 솔루션을 구축하고자 하는 중급 수준의 데이터 엔지니어들을 대상으로 합니다.

교육을 마치면 참가자들은 다음과 같은 역량을 갖추게 됩니다:

• Azure Data Lake Storage Gen2의 아키텍처와 주요 기능에 대한 이해
• 비용 절감과 성능 향상을 위한 데이터 저장 및 접근 최적화 방법
• 분석 및 데이터 처리 목적으로 다른 Azure 서비스와 Azure Data Lake Storage Gen2를 통합하는 방법
• Azure Data Lake Storage Gen2 API를 활용해 솔루션을 개발하는 능력
• 일반적인 문제들을 해결하고 저장소 전략을 최적화할 수 있는 역량

대한민국에서 진행되는 이 강사 주도형 실시간 교육은 스파크, 하둡, 파이썬을 활용해 방대하고 복잡한 데이터 세트를 처리·분석하려는 개발자들을 위해 마련되었습니다.

교육 종료 후 참가자들은 다음과 같은 능력을 갖추게 됩니다:

• 스파크, 하둡, 파이썬으로 빅데이터 처리를 시작할 수 있도록 환경을 설정하는 방법
• 스파크와 하둡의 주요 기능, 핵심 구성 요소 및 아키텍처에 대한 이해
• 빅데이터 처리를 위해 스파크, 하둡, 파이썬을 통합 활용하는 법 습득
• 스파크 에코시스템 내 주요 도구들(Spark MlLib, Spark Streaming, Kafka, Sqoop, Flume 등)에 대한 이해
• 넷플릭스, 유튜브, 아마존, 스포티파이, 구글과 비슷한 협업 필터링 기반 추천 시스템 개발 능력
• Apache Mahout을 활용해 머신러닝 알고리즘의 확장성 향상 방법

빅데이터 및 고급 분석은 방대하고 복잡한 데이터 세트를 체계적으로 분석하여 실질적인 인사이트와 전략적 의사결정을 도출하는 데 사용되는 첨단 기법과 도구들의 집합입니다.

본 강좌는 온라인 또는 현장에서 진행되는 강사 주도형 교육으로, 예측 분석, 처방적 분석 및 실시간 분석을 위해 최신 분석 방법론과 빅데이터 기술을 활용하고자 하는 상급 수준의 데이터 전문가들을 대상으로 합니다.

강좌를 마치면 참가자들은 다음 역량을 갖추게 됩니다:

• 구조화된 데이터와 비구조화된 데이터 모두에 적용 가능한 대규모 데이터 처리 파이프라인 설계 및 구현
• 거대한 데이터 세트에 고급 머신러닝 및 딥러닝 기법을 적용하는 능력
• 실시간 분석과 데이터 스트림 처리를 위한 분산 컴퓨팅 프레임워크의 활용
• 빅데이터 분석 기술을 비즈니스 인텔리전스 및 의사결정 체계에 통합하는 방법

강좌 진행 방식

• 상호작용형 강의와 토론
• 다양한 연습 문제 및 실습 활동 제공
• 실제 실험 환경에서 직접 구현해보는 기회

강좌 맞춤화 옵션

• 본 강좌에 대한 맞춤형 교육을 원하시면 문의해주시기 바랍니다.

대한민국에서 진행되는 본 강사 주도형 실습 교육은 중급 수준의 IT 전문가들을 위해 기획되었으며, 참가자들은 IBM DataStage를 관리 및 개발 측면 모두에서 깊이 있게 이해하게 됩니다. 이로써 각자의 업무 환경에서 해당 도구를 효과적으로 활용할 수 있는 능력을 갖추게 됩니다.

교육 종료 시점에 참가자들은 다음 역량을 획득하게 됩니다:

• DataStage의 핵심 개념 파악
• DataStage 환경 설치 및 구성, 관리 절차 습득
• 다양한 데이터 소스에 접속하여 데이터베이스, 일반 파일, 외부 시스템에서 효율적으로 데이터를 추출하는 법 배움
• 효과적인 데이터 로딩 기법의 활용

대한민국에서 진행되는 이 강사 주도형 실시간 교육은 Spark 클러스터를 운영하고 개선하려는 초급 및 중급 수준의 시스템 관리자를 대상으로 합니다.

교육을 마친 후에는 다음 역량들을 갖추게 됩니다:

• 다양한 환경에서 Apache Spark를 설치하고 구성할 수 있습니다.
• 클러스터 리소스를 효과적으로 관리하며 Spark 애플리케이션의 상태를 모니터링할 수 있습니다.
• Spark 클러스터의 성능을 최적화할 수 있습니다.
• 보안 조치를 적용하고 시스템의 높은 가용성을 유지할 수 있습니다.
• 빈번하게 발생하는 Spark 관련 문제들을 해결할 수 있습니다.

대한민국에서 진행되는 이 강사 주도 실습 교육에서는 참가자들이 실제 연습을 통해 파이썬과 스파크를 함께 활용해 빅데이터를 분석하는 방법을 배우게 됩니다.

교육 종료 시점에 참가자들은 다음과 같은 역량을 갖추게 됩니다:

• 스파크와 파이썬을 결합하여 빅데이터를 분석하는 기법을 익힙니다.
• 실제 상황과 유사한 예제들을 통해 실무 능력을 기릅니다.
• PySpark를 활용해 다양한 도구와 기법으로 빅데이터를 분석할 수 있게 됩니다.

기술의 발전과 정보량의 증가는 정부를 포함한 수많은 산업의 비즈니스 방식을 변혁하고 있습니다. 모바일 기기와 애플리케이션, 스마트 센서 및 기기, 클라우드 컴퓨팅 솔루션, 그리고 시민 대상 포털의 빠른 성장으로 인해 정부 데이터 생성 및 디지털 아카이빙 비율은 상승하고 있습니다. 디지털 정보가 확장되고 복잡해짐에 따라 정보 관리, 처리, 저장, 보안, 그리고 처분 과정 역시 더 복잡해지고 있습니다. 새로운 캡처, 검색, 발견, 및 분석 도구들은 조직들이 비정형 데이터에서 통찰력을 얻는 데 도움을 주고 있습니다. 정부 시장은 정보라는 것이 전략적 자산임을 인식하고, 미션을 보다 잘 수행하고 요구 사항을 충족시키기 위해 정형 및 비정형 정보를 보호, 활용, 및 분석해야 한다는 점을 깨닫고 있는 변곡점에 도달하고 있습니다. 정부 리더들이 미션을 성공적으로 달성하기 위해 데이터 주도형 조직으로 진화하는 데 매진하며, 이벤트, 사람, 프로세스, 및 정보 간의 의존성을 상관짓기 위한 기반을 마련하고 있습니다.

고도로 가치 있는 정부 솔루션은 가장 파괴적인 기술들의 결합(mashup)으로 창출될 것입니다:

• 모바일 기기와 애플리케이션
• 클라우드 서비스
• 소셜 비즈니스 기술과 네트워킹
• 빅데이터와 분석

빅데이터는 지능형 산업 솔루션 중 하나로, 관련이 있든 없든, 정형이든 비정형이든 대규모 데이터를 분석함으로써 드러나는 패턴에 기반하여 조치를 취함으로써 정부가 보다 나은 의사결정을 내릴 수 있도록 합니다.

그러나 이러한 목표를 달성하려면 단순히 방대한 양의 데이터를 축적하는 것만으로는 부족합니다. 백악관 과학기술정책국(OSTP)의 Tom Kalil과 Fen Zhao는 OSTP 블로그 게시물을 통해 "이러한 대량의 빅데이터를 이해하는 것은 방대하고 다양한 정보 흐름에서 유용한 지식을 분석하고 추출할 수 있는 최첨단 도구와 기술이 필요하다"고 썼습니다.

백악관은 2012년에 국가 빅데이터 연구 및 개발 이니셔티브를 출범시키며 기관들이 이러한 기술을 찾을 수 있도록 돕는 데 한 걸음 나아갔습니다. 이 이니셔티브에는 빅데이터의 폭발적 증가와 이를 분석하는 데 필요한 도구를 최대한 활용하기 위해 2억 달러가 넘는 예산이 포함되었습니다.

빅데이터가 제기하는 도전은 그.promise가 주는 희망만큼이나 막막합니다. 데이터의 효율적인 저장은 이러한 도전 중 하나입니다. 늘 그렇듯 예산은 타이트하므로, 기관들은 사용자들이 원할 때 원하는 방식으로 데이터를 얻을 수 있도록 메가바이트당 저장 비용 최소화하고 데이터를 쉽게 접근할 수 있게 유지해야 합니다. 방대한 양의 데이터 백업은 이러한 도전을 한층 더 복잡하게 만듭니다.

데이터를 효과적으로 분석하는 것도 또 다른 주요 과제입니다. 많은 기관들은 산적한 데이터를 훑어보며 더 효율적으로 운영할 수 있는 트렌드를 발견할 수 있게 해주는 상업용 도구들을 사용하고 있습니다. (MeriTalk의 최근 연구에 따르면, 연방 IT 임원들은 빅데이터가 기관들이 미션 목표를 달성하는 동시에 5,000억 달러 이상을 절약할 수 있다고 생각합니다.)

맞춤형 개발된 빅데이터 도구 역시 기관들이 데이터를 분석할 필요가 있도록 돕고 있습니다. 예를 들어, 오크리지 국립연구소의 계산 데이터 분석 그룹은 Piranha 데이터 분석 시스템을 다른 기관들에게 제공하기 시작했습니다. 이 시스템은 의학적 연구원들이 대동맥류가 발작하기 전에 의사를 경고할 수 있는 연관성을 찾는 데 도움을 주었습니다. 또한 이력서를 스크리닝하여 지원자를 채용 매니저와 연결하는 등 더 일상적인 작업에도 사용됩니다.

대한민국에서 진행되는 본 강의에서는 참가자들이 빅데이터 기술에 접근하는 사고방식을 익히게 되며 기존 업무 프로세스 및 정책에 미치는 영향을 평가하고, 범죄 활동 식별 및 예방 목적에 맞춰 이러한 기술들을 어떻게 도입할 수 있는지 배우게 됩니다. 전 세계 각국의 법 집행 기관 사례를 분석하여 기술 채택 방법, 겪었던 어려움과 그 결과에 대한 통찰도 얻게 됩니다.

이 교육을 마친 후에는 다음과 같은 역량을 갖추게 됩니다:

• 수사 과정에서 기존의 데이터 수집 절차와 빅데이터 기술을 결합하여 사건의 전말을 파악할 수 있음.
• 데이터 분석 목적에 적합한 산업용 빅데이터 저장 및 처리 솔루션을 도입할 수 있음.
• 데이터 기반 범죄 수사 체계를 구축하기 위해 가장 적절한 도구와 절차를 제안할 수 있음.

빅데이터란 대규모 데이터 세트를 저장하고 처리하기 위한 솔루션들을 의미합니다. 원래 구글이 개발한 이 빅데이터 솔루션들은 이후 발전을 거듭하며 다양한 유사 프로젝트에 영감을 주었으며, 그 중 상당수는 오픈소스로 제공되고 있습니다. R은 금융 산업에서 널리 사용되는 프로그래밍 언어입니다.

이 강사 주도 라이브 교육(온라인 또는 오프사이트)은 확장 가능한 데이터 파이프라인을 구축하고 기존 SQL 워크플로우를 마이그레이션하기 위해 Databricks와 PySpark를 사용하고자 하는 데이터 엔지니어, 데이터 분석가 및 데이터 전문가를 대상으로 합니다.

과정 개요

본 과정은 실시간 데이터 스트리밍 시스템 구축에 관한 실용적이고 체계적인 입문서입니다. 핵심 개념, 아키텍처 패턴 및 대규모 데이터를 처리하는 데 사용되는 업계 표준 도구들을 다룹니다. 참가자들은 최신 프레임워크를 활용하여 스트림 파이프라인을 설계하고 구현하며 최적화하는 방법을 배우게 됩니다. 기초적인 이론부터 실제 적용 사례까지 단계적으로 학습함으로써, 수강생들은 생산 환경에 바로 도입 가능한 실시간 데이터 처리 솔루션을 자신 있게 개발할 수 있습니다.

교육 방식

• 강사가 직접 지도하며 상세히 설명하는 세션

 • 현실 세계의 사례를 통해 개념을 심층적으로 살펴보는 과정

 • 직접 실습해보고 코딩 연습도 진행하는 체험형 교육

• 매일 배운 내용에 맞춰 단계별 실습 과제 제공

 • 참여자 간의 상호작용과 질문 및 답변 세션

학습 목표

• 실시간 데이터 스트리밍의 개념 및 시스템 아키텍처를 명확히 이해한다.

 • 일괄 처리 방식과 스트림 처리 방식 간 차이점을 구별할 수 있다.

 • 확장성과 내결함성을 갖춘 스트림 파이프라인을 설계할 수 있다.

 • 분산형 스트림 처리 도구와 프레임워크를 활용해 작업할 수 있다.

 • 이벤트 시간 기반 처리, 윈도우 적용 및 상태 관리 기능을 실제로 구현할 수 있다.

비즈니스 요구에 맞는 실시간 데이터 처리 솔루션을 설계하고 최적화할 수 있다.

Apache NiFi는 오픈소스 기반의 플로우 중심 데이터 통합 및 이벤트 처리 플랫폼입니다. 웹 기반 사용자 인터페이스를 통해 다양한 시스템 간에 실시간으로 데이터를 라우팅하고 변환하며 관리할 수 있어서, 운영 환경에서 자동화된 데이터 흐름 처리가 가능합니다.

본 강좌는 현장 또는 원격으로 진행되는 실습 위주의 교육으로서, 프로덕션 환경에 NiFi 기반의 데이터 파이프라인을 배포하고 관리 및 최적화하려는 중급 수준의 시스템 관리자와 엔지니어를 대상으로 합니다.

교육을 마치면 참가자들은 다음 역량을 갖추게 됩니다:

• Apache NiFi 클러스터의 설치, 구성 및 유지관리
• 다양한 데이터 소스와 대상 간에 데이터 흐름을 설계하고 관리하기
• 자동화된 라우팅 및 데이터 변환 로직의 구현
• 성능 최적화, 운영 모니터링 및 문제 해결 방법 습득

강좌 진행 방식

• 실제 아키텍처 사례를 바탕으로 한 상호작용형 강의
• 데이터 흐름 구축, 배포 및 관리에 대한 실습 과제
• 실제 실험 환경에서 시나리오 기반 연습 문제 수행

강좌 맞춤형 옵션

• 본 강좌의 맞춤형 교육을 원하실 경우, 연락 주시면 협의해 드립니다.

본 교육 과정은 PySpark를 활용해 확장 가능한 데이터 처리 및 머신러닝 워크플로우를 구축하는 방법에 대한 실무 중심의 입문 강좌입니다. 참가자들은 Apache Spark가 현대적인 빅데이터 환경에서 어떻게 작동하는지, 그리고 분산 컴퓨팅 원리를 활용해 대규모 데이터셋을 효율적으로 처리하는 방법에 대해 배우게 됩니다.

대한민국에서 진행되는 이 강사 주도형 실습 교육은 대규모 데이터 처리를 위해 Apache Spark 시스템을 구축 및 배포하고자 하는 엔지니어들을 위한 과정입니다.

본 교육을 마치면 참가자들은 다음과 같은 역량을 갖추게 됩니다:

• Apache Spark를 설치 및 구성할 수 있습니다.
• 대규모 데이터 세트를 빠르게 처리하고 분석할 수 있습니다.
• Apache Spark와 Hadoop MapReduce의 차이점을 이해하고 각각 언제 사용해야 하는지 알 수 있습니다.
• Apache Spark를 다른 머신러닝 도구들과 통합할 수 있습니다.

아파치 스파크를 처음 배울 때는 학습 난이도가 서서히 높아지는 경향이 있으며, 초기 결과물을 얻기까지 상당한 노력이 필요합니다. 본 강좌는 이러한 초기 어려움을 극복할 수 있도록 설계되었습니다. 강좌를 이수하면 참가자들은 아파치 스파크의 기본 개념을 이해하게 되며, RDD와 DataFrame의 차이점을 명확히 구별할 수 있게 됩니다. 또한 Python 및 Scala API에 대한 지식도 습득하고 실행기(Executor)와 작업(Task)의 역할 등도 파악하게 됩니다.

더불어 최선의 관행들을 바탕으로 클라우드 배포, Databricks 및 AWS 활용에도 집중합니다. 참가자들은 AWS EMR과 AWS Glue 간의 차이점까지 이해하게 되는데, 이 중 AWS Glue는 아마존 웹 서비스에서 제공하는 최신 스파크 기반 서비스입니다.

대상:

데이터 엔지니어, DevOps 전문가, 데이터 과학자

이 강사 주도의 실시간 워크숍(대한민국, 온라인 또는 현장 교육)은 Talend Open Studio for Big Data를 활용해 빅데이터 처리 과정을 간소화하고자 하는 기술 전문가들을 위한 교육입니다.

교육을 수료한 참가자는 다음과 같은 능력을 갖추게 됩니다:

• Talend Open Studio for Big Data를 설치 및 구성할 수 있습니다.
• Cloudera, HortonWorks, MapR, Amazon EMR, Apache와 같은 빅데이터 시스템에 연결할 수 있습니다.
• Open Studio의 빅데이터 관련 컴포넌트 및 커넥터를 이해하고 설정할 수 있습니다.
• MapReduce 코드가 자동 생성되도록 매개변수를 구성할 수 있습니다.
• Open Studio의 드래그 앤드 드롭 인터페이스를 활용해 Hadoop 작업을 실행할 수 있습니다.
• 빅데이터 파이프라인을 시범적으로 구축할 수 있습니다.
• 빅데이터 통합 프로젝트를 자동화할 수 있습니다.