코스 개요

섹션 1: HDFS에서의 데이터 관리

  • 다양한 데이터 형식 (JSON / Avro / Parquet)
  • 압축 방식
  • 데이터 마스킹
  • 실습 : 다양한 데이터 형식 분석; 압축 활성화

섹션 2: 고급 Pig

  • 사용자 정의 함수
  • Pig 라이브러리 소개 (ElephantBird / Data-Fu)
  • Pig을 사용한 복잡한 구조화된 데이터 로드
  • Pig 튜닝
  • 실습 : 고급 Pig 스크립팅, 복잡한 데이터 유형 파싱

섹션 3: 고급 Hive

  • 사용자 정의 함수
  • 압축된 테이블
  • Hive 성능 튜닝
  • 실습 : 압축된 테이블 생성, 테이블 형식 및 설정 평가

섹션 4: 고급 HBase

  • 고급 스키마 모델링
  • 압축
  • 대량 데이터 잉스트
  • 넓은 테이블 / 긴 테이블 비교
  • HBase와 Pig
  • HBase와 Hive
  • HBase 성능 튜닝
  • 실습 : HBase 튜닝; Pig 및 Hive에서 HBase 데이터 접근; Phoenix를 사용한 데이터 모델링

요건

  • Java 프로그래밍 언어에 익숙해야 합니다 (대부분의 프로그래밍 연습은 Java로 이루어짐)
  • Linux 환경에서 편안하게 작업할 수 있어야 합니다 (Linux 명령 줄을 탐색하고, vi 또는 nano를 사용하여 파일을 편집할 수 있어야 함)
  • 하둡에 대한 기본 지식이 필요합니다.

실습 환경

무설치: 학생들의 컴퓨터에 하둡 소프트웨어를 설치할 필요가 없습니다! 학생들을 위해 작동하는 하둡 클러스터가 제공됩니다.

학생들은 다음을 준비해야 합니다

 21 시간

참가자 수


참가자당 가격

회원 평가 (5)

예정된 코스

관련 카테고리