코스 개요
소개
이해 Big Data
스파크 개요
Python 개요
PySpark 개요
- 탄력적인 분산 데이터 세트 프레임워크를 사용한 데이터 분산
- Spark API 연산자를 사용한 계산 분산
Spark로 Python 설정하기
설정 PySpark
Spark용 Amazon Web Services (AWS) EC2 인스턴스 사용
설정 Databricks
AWS EMR 클러스터 설정
Python Programming의 기본 학습
- Python 시작하기
- 주피터 노트북 사용
- 변수 및 단순 데이터 유형 사용
- 목록 작업
- if 문 사용
- 사용자 입력 사용
- while 루프 작업
- 기능 구현
- 클래스 작업
- 파일 및 예외 작업
- 프로젝트, 데이터 및 API 작업
Spark DataFrame의 기본 학습
- Spark DataFrames 시작하기
- Spark로 기본 작업 구현
- Groupby 및 집계 작업 사용
- 타임스탬프 및 날짜 작업
Spark DataFrame 프로젝트 작업 연습
MLlib를 사용한 Machine Learning 이해
Machine Learning을 위해 MLlib, Spark 및 Python을 사용하여 작업
회귀 이해
- 선형 회귀 이론 학습
- 회귀 평가 코드 구현
- 샘플 선형 회귀 연습 작업
- 로지스틱 회귀 이론 학습
- 로지스틱 회귀 코드 구현
- 샘플 로지스틱 회귀 연습 작업
Random Forest 및 의사결정나무 이해
- 학습 트리 방법 이론
- 의사결정 트리 및 Random Forest 코드 구현
- 샘플 작업 Random Forest 분류 연습
K-평균 클러스터링 작업
- K-평균 클러스터링 이론 이해
- K-평균 클러스터링 코드 구현
- 샘플 클러스터링 연습 작업
추천 시스템 작업
자연어 처리 구현
- 이해 Natural Language Processing (NLP)
- NLP 도구 개요
- 샘플 NLP 연습 작업
Spark를 사용한 스트리밍 Python
- 개요 Spark를 사용한 스트리밍
- 샘플 Spark Streaming 연습
맺음말
요건
- 일반 프로그래밍 기술
청중
- 개발자
- IT 전문가
- 데이터 과학자
회원 평가 (6)
실제로 적용할 수 있어 좋았습니다. 이론적인 지식을 실제 예를 통해 적용하는 것이 매우 좋아졌습니다.
Aurelia-Adriana - Allianz Services Romania
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
이 코스는 매우 복잡하고 관련된 주제들의 시리즈였으며, 파블로는 각각의 주제에 대해 깊은 전문성을 가지고 있었습니다. 때로는 미묘한 부분들이 의사소통 과정이나 시간 압박으로 인해 빠지는 경우가 있었고, 이로 인해 기대치가 완전히 충족되지 않았을 수도 있습니다. 또한 UHG/Azure Databricks 설정 문제도 있었지만, 파블로와 UHG는 문제가 발생하자마자 신속하게 해결했습니다. 이는 저에게 UHG와 파블로 간의 높은 수준의 이해와 전문성을 보여주었습니다,
Michael Monks - Tech NorthWest Skillnet
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
개별적인 주의.
ARCHANA ANILKUMAR - PPL
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
실습 훈련..
Abraham Thomas - PPL
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
수업은 Jupyter 노트북에서 진행되었습니다. 주제들은 논리적인 순서로 구성되어 있으며, 덕분에 간단한 부분부터 복잡한 부분까지 자연스럽게 세션을 발전시킬 수 있었습니다. 저는 이미 머신 러닝 배경을 가진 고급 파이썬 사용자여서, 이 과정을 possibly 몇몇 동료 학생들이 훈련 과정을 받았던 것보다 더 쉽게 따라갈 수 있었습니다. 가장 기초적인 개념들을 생략하고 가장 중요한 사항에 집중한 점을 높이 평가합니다.
Angela DeLaMora - ADT, LLC
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
연습 과제
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨