데이터 엔지니어링을 위한 Databricks와 PySpark 교육 과정

Azure Databricks는 Apache Spark와 Microsoft Azure 에코시스템을 활용해 빅데이터 분석 및 머신러닝 작업을 지원하는 클라우드 기반 협업 플랫폼입니다.

본 교육 과정은 강사가 직접 진행하며 온라인 또는 현장에서 실시됩니다. 금융 분야에 머신러닝 모델을 설계, 구축 및 배포하고자 하는 중급 수준의 데이터 전문가들을 대상으로 합니다.

교육 과정을 이수한 후 참가자들은 다음 역량을 갖추게 됩니다:

• Azure Databricks에서 금융 데이터를 활용해 머신러닝 모델을 구축 및 훈련할 수 있습니다.
• MLflow를 이용해 실험 과정을 기록하고 모델을 관리하며 솔루션을 배포할 수 있습니다.
• 금융 데이터에서 이상 징후 탐지, 리스크 평가 및 트렌드 예측에 해당 모델들을 적용할 수 있습니다.
• 머신러닝 모델을 확장 가능한 파이프라인에 통합하여 지속적인 성능 평가를 수행할 수 있습니다.

강의 형식

• 상호작용형 강의와 토론 방식
• 다수의 연습 문제 및 실전 훈련 기회 제공
• 실제 실험 환경에서 직접 구현해보는 실습 위주 진행

과정 맞춤화 옵션

• 본 과정을 참가자별 요구사항에 맞게 맞춤형으로 구성하길 원하는 경우, 문의해 주시면 협의 가능합니다.

대한민국에서 진행되는 이 강사 주도의 실시간 교육(온라인 또는 현장)은 Databricks를 활용해 데이터 분석 솔루션을 구축하고 운영하려는 데이터 과학자와 개발자를 위한 과정입니다.

교육 종료 시 참가자들은 다음과 같은 역량을 갖추게 됩니다:

• Databricks 환경을 설정 및 구성할 수 있습니다.
• Databricks와 Apache Spark 간의 연동 방식을 이해할 수 있습니다.
• Databricks에서 데이터를 로드하고 변환하는 방법을 익힐 수 있습니다.

Databricks는 Spark, Delta Lake 및 거버넌스 기능인 Unity Catalog를 통합한 Lakehouse 플랫폼으로서 확장 가능한 데이터 엔지니어링 및 분석 워크플로우를 지원합니다.

본 과정은 강사가 직접 진행하는 온라인 또는 오프라인 실시간 교육으로, 데이터 엔지니어링 배경 지식을 갖춘 중급 수준의 기술 관리자들을 대상으로 합니다. 참가자는 Databricks, Spark, Delta Lake, Unity Catalog 및 기본 워크플로우를 활용해 복잡한 절차형 OLAP 로직을 Lakehouse 아키텍처로 마이그레이션할 수 있습니다.

이 교육을 수료하면 참가자들은 다음 역량을 갖추게 됩니다:

• Lakehouse 아키텍처와 Bronze→Silver→Gold(메달리언) 패턴에 대해 설명할 수 있습니다.
• 저장 프로시저의 로직을 Spark DataFrame 및 노트북 형태로 구현할 수 있습니다.
• Delta Lake를 활용해 점진적 데이터 수집, 병합 처리 및 최적화 루틴을 설계하고 실행할 수 있습니다.
• Databricks Workflows를 이용해 버전 관리, 테스트 및 거버넌스를 포함한 종단 간 파이프라인을 구축할 수 있습니다.

교육 형식

• 집중적인 강사 주도 세션으로, 실습 위주의 시연과 설명이 이루어집니다.
• 매일 대표 데이터셋 및 마이그레이션 연습 과제를 활용한 핸즈온 랩을 진행합니다.
• 코드 리뷰 지도, 성능 튜닝 실습 및 워크플로우 오케스트레이션 훈련이 포함됩니다.

과정 맞춤화 옵션

• 본 과정은 귀사의 환경, 데이터셋 및 거버넌스 요구사항에 따라 맞춤형으로 구성 가능합니다. 자세한 사항은 문의해 주시기 바랍니다.

Databricks는 협업 환경에서 대규모 데이터 및 머신러닝 작업을 수행하기 위해 설계된 통합 분석 플랫폼입니다.

본 강좌는 온라인 또는 현장에서 진행되는 강사 주도형 실습 교육으로, 금융 관련 활용 사례를 통해 Databricks를 이용해 대규모 데이터 분석을 수행하고자 하는 초급 및 중급 수준의 데이터 분석가와 금융 전문가들을 대상으로 합니다.

강좌 종료 시 참가자들은 다음 역량을 습득하게 됩니다:

• Databricks 노트북을 활용해 금융 데이터셋을 쿼리하고 분석할 수 있습니다.
• 보고서 작성 및 인사이트 도출을 위해 원본 금융 데이터를 정제 및 변환할 수 있습니다.
• 성과 모니터링을 위한 대시보드와 시각화 자료를 만들어낼 수 있습니다.
• 공유된 노트북에서 팀원들과 실시간으로 협업할 수 있습니다.

강좌 진행 방식

• 상호작용형 강의와 토론이 병행됩니다.
• 다양한 연습 문제 및 실습 기회가 제공됩니다.
• 실제 랩 환경에서 직접 코드를 구현하는 실습도 진행됩니다.

강좌 맞춤화 옵션

• 본 강좌에 대한 맞춤형 교육을 원하시는 경우, 문의해 주시면 조율해 드리겠습니다.

본 교육 과정은 PySpark를 활용해 확장 가능한 데이터 처리 및 머신러닝 워크플로우를 구축하는 방법에 대한 실무 중심의 입문 강좌입니다. 참가자들은 Apache Spark가 현대적인 빅데이터 환경에서 어떻게 작동하는지, 그리고 분산 컴퓨팅 원리를 활용해 대규모 데이터셋을 효율적으로 처리하는 방법에 대해 배우게 됩니다.

대한민국에서 진행되는 이 강사 주도 실습 교육에서는 참가자들이 실제 연습을 통해 파이썬과 스파크를 함께 활용해 빅데이터를 분석하는 방법을 배우게 됩니다.

교육 종료 시점에 참가자들은 다음과 같은 역량을 갖추게 됩니다:

• 스파크와 파이썬을 결합하여 빅데이터를 분석하는 기법을 익힙니다.
• 실제 상황과 유사한 예제들을 통해 실무 능력을 기릅니다.
• PySpark를 활용해 다양한 도구와 기법으로 빅데이터를 분석할 수 있게 됩니다.

스트라티오는 빅데이터, AI, 데이터 거버넌스를 하나의 플랫폼에 통합한 데이터 중심 솔루션입니다. 특히 로켓 및 인텔리전스 모듈을 통해 기업 환경에서 신속한 데이터 탐색, 변환 및 고급 분석이 가능합니다.

본 교육은 강사가 직접 진행하는 실시간 훈련 과정으로서 온라인 또는 현장에서 이루어지며, 중급 수준의 데이터 전문가들을 대상으로 합니다. 참가자들은 PySpark를 활용해 스트라티오 내 로켓 및 인텔리전스 모듈을 효과적으로 활용하는 방법을 배우게 되는데, 특히 반복 구조와 사용자 정의 함수, 고급 데이터 논리 설계에 초점을 맞춥니다.

교육이 끝날 무렵에는 다음과 같은 역량을 갖추게 됩니다:

• 스트라티오 플랫폼에서 로켓 및 인텔리전스 모듈을 활용해 작업하는 방법
• 데이터 수집, 변환 및 분석 과정에 PySpark를 적절히 적용하는 법
• 반복문과 조건부 논리를 이용해 데이터 처리 흐름과 특징 추출 작업을 제어하는 방법
• PySpark 환경에서 재사용 가능한 데이터 연산을 위해 사용자 정의 함수(UDF)를 생성하고 관리하는 기술

강좌 형식

• 상호작용형 강의 및 토론 세션
• 풍부한 연습 문제와 실제 적용 기회 제공
• 실시간 실험실 환경에서 직접 구현해보는 과정

강좌 맞춤형 설정 옵션

• 본 강좌를 고객 요구에 맞게 커스터마이징하길 원하시는 경우, 문의해주시면 적절히 조율해드리겠습니다.