코스 개요
서론
빅데이터 이해
Spark 개요
Python 개요
PySpark 개요
- Resilient Distributed Datasets(RDD) 프레임워크를 활용한 데이터 분산
- Spark API 연산자를 활용한 컴퓨팅 분산
Python과 Spark 설정
PySpark 설정
Amazon Web Services(AWS) EC2 인스턴스를 활용한 Spark 사용
Databricks 설정
AWS EMR 클러스터 설정
Python 프로그래밍 기초 학습
- Python 시작하기
- Jupyter Notebook 사용
- 변수와 간단한 데이터 타입 사용
- 리스트(List) 다루기
- if 문 사용
- 사용자 입력 사용
- while 루프 사용
- 함수 구현
- 클래스(Class) 다루기
- 파일 및 예외 처리
- 프로젝트, 데이터 및 API 작업
Spark DataFrame 기초 학습
- Spark DataFrame 시작하기
- Spark를 활용한 기본 연산 구현
- Groupby 및 집계 연산 사용
- 타임스탬프 및 날짜 다루기
Spark DataFrame 프로젝트 연습 수행
MLlib를 활용한 머신러닝 이해
MLlib, Spark, Python을 활용한 머신러닝 작업
회귀 분석 이해
- 선형 회귀 이론 학습
- 회귀 평가 코드 구현
- 샘플 선형 회귀 연습 수행
- 로지스틱 회귀 이론 학습
- 로지스틱 회귀 코드 구현
- 샘플 로지스틱 회귀 연습 수행
랜덤 포레스트와 의사결정 나무 이해
- 트리 메서드 이론 학습
- 의사결정 나무 및 랜덤 포레스트 코드 구현
- 샘플 랜덤 포레스트 분류 연습 수행
K-means 클러스터링 작업
- K-means 클러스터링 이론 이해
- K-means 클러스터링 코드 구현
- 샘플 클러스터링 연습 수행
추천 시스템 작업
자연어 처리 구현
- 자연어 처리(NLP) 이해
- NLP 도구 개요
- 샘플 NLP 연습 수행
Python 기반 Spark 스트리밍
- Spark 스트리밍 개요
- 샘플 Spark 스트리밍 연습
요건
- 일반적인 프로그래밍 기술
대상听众
- 개발자
- IT 전문가
- 데이터 과학자
회원 평가 (6)
실제로 적용할 수 있어 좋았습니다. 이론적인 지식을 실제 예를 통해 적용하는 것이 매우 좋아졌습니다.
Aurelia-Adriana - Allianz Services Romania
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
이 코스는 매우 복잡하고 관련된 주제들의 시리즈였으며, 파블로는 각각의 주제에 대해 깊은 전문성을 가지고 있었습니다. 때로는 미묘한 부분들이 의사소통 과정이나 시간 압박으로 인해 빠지는 경우가 있었고, 이로 인해 기대치가 완전히 충족되지 않았을 수도 있습니다. 또한 UHG/Azure Databricks 설정 문제도 있었지만, 파블로와 UHG는 문제가 발생하자마자 신속하게 해결했습니다. 이는 저에게 UHG와 파블로 간의 높은 수준의 이해와 전문성을 보여주었습니다,
Michael Monks - Tech NorthWest Skillnet
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
개별적인 주의.
ARCHANA ANILKUMAR - PPL
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
실습 훈련..
Abraham Thomas - PPL
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
수업은 Jupyter 노트북에서 진행되었습니다. 주제들은 논리적인 순서로 구성되어 있으며, 덕분에 간단한 부분부터 복잡한 부분까지 자연스럽게 세션을 발전시킬 수 있었습니다. 저는 이미 머신 러닝 배경을 가진 고급 파이썬 사용자여서, 이 과정을 possibly 몇몇 동료 학생들이 훈련 과정을 받았던 것보다 더 쉽게 따라갈 수 있었습니다. 가장 기초적인 개념들을 생략하고 가장 중요한 사항에 집중한 점을 높이 평가합니다.
Angela DeLaMora - ADT, LLC
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
연습 과제
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
코스 - Python and Spark for Big Data (PySpark)
기계 번역됨
