Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
1: HDFS(17%)
- HDFS 데몬의 기능 설명
- 데이터 저장과 데이터 처리 모두에서 Apache Hadoop 클러스터의 일반적인 작동을 설명합니다.
- Apache Hadoop와 같은 시스템에 동기를 부여하는 컴퓨팅 시스템의 현재 기능을 식별합니다.
- HDFS 설계의 주요 목표를 분류
- 주어진 시나리오에서 HDFS 페더레이션에 대한 적절한 사용 사례를 식별하세요.
- HDFS HA-Quorum 클러스터의 구성 요소 및 데몬 식별
- HDFS 보안(Kerberos)의 역할 분석
- 주어진 시나리오에 가장 적합한 데이터 직렬화 선택을 결정합니다.
- 파일 읽기 및 쓰기 경로 설명
- Hadoop 파일 시스템 셸에서 파일을 조작하는 명령을 식별합니다.
2: YARN 및 MapReduce 버전 2(MRv2)(17%)
- 클러스터를 Hadoop 1에서 Hadoop 2로 업그레이드하면 클러스터 설정에 어떤 영향을 미치는지 이해합니다.
- 모든 YARN 데몬을 포함하여 MapReduce v2(MRv2/YARN)를 배포하는 방법을 이해합니다.
- MapReduce v2(MRv2)의 기본 설계 전략 이해
- YARN이 리소스 할당을 처리하는 방법 결정
- YARN에서 실행되는 MapReduce 작업의 워크플로 식별
- MapReduce 버전 1(MRv1)에서 YARN에서 실행되는 MapReduce 버전 2(MRv2)로 클러스터를 마이그레이션하기 위해 변경해야 하는 파일과 방법을 결정합니다.
3: Hadoop 클러스터 계획(16%)
- Apache Hadoop 클러스터를 호스팅할 하드웨어 및 운영 체제를 선택할 때 고려해야 할 주요 사항입니다.
- OS 선택 시 선택 사항 분석
- 커널 튜닝 및 디스크 스와핑 이해
- 시나리오와 워크로드 패턴이 주어지면 시나리오에 적합한 하드웨어 구성을 식별합니다.
- 주어진 시나리오에서 SLA를 이행하기 위해 클러스터가 실행해야 하는 생태계 구성 요소를 결정합니다.
- 클러스터 크기 조정: 시나리오 및 실행 빈도를 고려하여 CPU, 메모리, 스토리지, 디스크 I/O를 포함한 워크로드의 세부 사항을 식별합니다.
- JBOD와 RAID, SAN, 가상화, 클러스터의 디스크 크기 조정 요구 사항을 포함한 디스크 크기 조정 및 구성
- 네트워크 토폴로지: Hadoop(HDFS 및 MapReduce 모두)의 네트워크 사용량을 이해하고 주어진 시나리오에 대한 주요 네트워크 설계 구성 요소를 제안하거나 식별합니다.
4: Hadoop 클러스터 설치 및 관리(25%)
- 주어진 시나리오에서 클러스터가 디스크 및 시스템 오류를 처리하는 방법을 식별합니다.
- 로깅 구성 및 로깅 구성 파일 형식 분석
- Hadoop 지표 및 클러스터 상태 모니터링의 기본 사항을 이해합니다.
- 클러스터 모니터링에 사용 가능한 도구의 기능 및 목적 식별
- Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive 및 Pig를 포함하되 이에 국한되지 않는 모든 생태계 구성 요소를 CDH 5에 설치할 수 있습니다.
- Apache Hadoop 파일 시스템 관리에 사용 가능한 도구의 기능과 목적을 식별합니다.
5: 자원 Management (10%)
- 각 Hadoop 스케줄러의 전반적인 설계 목표를 이해합니다.
- 주어진 시나리오에 따라 FIFO 스케줄러가 클러스터 리소스를 할당하는 방법을 결정합니다.
- 주어진 시나리오에서 Fair Scheduler가 YARN에서 클러스터 리소스를 할당하는 방법을 결정합니다.
- 주어진 시나리오에서 용량 스케줄러가 클러스터 리소스를 할당하는 방법을 결정합니다.
6: 모니터링 및 로깅(15%)
- Hadoop의 메트릭 수집 기능의 기능과 특징을 이해합니다.
- NameNode 및 JobTracker 웹 UI 분석
- 클러스터 데몬을 모니터링하는 방법 이해
- 마스터 노드의 CPU 사용량 식별 및 모니터링
- 모든 노드에서 스왑 및 메모리 할당을 모니터링하는 방법 설명
- Hadoop의 로그 파일을 보고 관리하는 방법을 식별합니다.
- 로그 파일 해석
Requirements
- 기본 Linux 관리 기술
- 기본 프로그래밍 기술
35 Hours
회원 평가 (3)
Many hands-on sessions.
Jacek Pieczątka
Course - Administrator Training for Apache Hadoop
Big competences of Trainer
Grzegorz Gorski
Course - Administrator Training for Apache Hadoop
Trainer give reallive Examples
