대한민국 빅 데이터 과정

데이터 웨어하우징은 분석, 보고서 작성, 의사 결정 지원을 위해 중앙 집중식 데이터 저장소를 설계, 구축 및 운영하는 관행입니다.

이 강사는 차원 데이터 모델링, 견고한 ETL 파이프라인 구축, 분석 워크로드 최적화에 관심을 가진 중간 수준의 데이터 전문가를 대상으로 합니다.

이 강의가 끝나면 참가자는 다음을 할 수 있게 됩니다:

• 핵심 데이터 웨어하우징 개념과 아키텍처를 설명합니다.
• 차원 모델을 설계하고 스타 및 스노우플레이크 스키마 중 하나를 선택합니다.
• ETL 및 ELT 파이프라인을 안정적으로 구축하고 조정합니다.
• OLTP 및 OLAP 워크로드를 구분하고 분석을 위해 최적화합니다.

강의의 형식

• 상호작용형 강의 및 토론.
• 수많은 연습과 실습.
• 실험실 환경에서 직접 구현.

강의 맞춤화 옵션

• 이 강의를 맞춤화한 교육을 요청하려면, 조정할 수 있도록 문의하세요.

대한민국에서 강사가 진행하는 이 실시간 교육을 완료하는 참가자는 Big Data 및 관련 기술, 방법론, 도구에 대한 실제적이고 현실적인 이해를 얻게 됩니다.

참가자들은 실습을 통해 이 지식을 실천할 기회를 갖게 됩니다. 그룹 상호작용과 강사 피드백은 수업의 중요한 구성 요소를 구성합니다.

이 과정은 Big Data의 기본 개념 소개로 시작한 다음 Data Analysis을 수행하는 데 사용되는 프로그래밍 언어 및 방법론으로 진행됩니다. 마지막으로 Big Data 저장, 분산 처리 및 Scala 기능을 가능하게 하는 도구와 인프라에 대해 논의합니다.

Greenplum은 대규모 데이터 환경에서 분석을 위해 설계된 오픈 소스 대량 병렬 처리(Massively Parallel Processing, MPP) 데이터 플랫폼입니다.

이 강사는 중간 수준에서 고급 수준의 기술 사용자가 Greenplum의 내부 구조를 이해하고, 최적화된 데이터 모델을 구성하며, 분산 환경에서 고성능 SQL을 적용할 수 있도록 하기 위해 준비된 온라인 또는 현장 강의입니다.

이 교육을 통해 참가자는 다음을 할 수 있게 됩니다:

• Greenplum의 공유-없음(shared-nothing) 구조와 병렬 처리 모델을 이해합니다.
• 쿼리 성능을 최적화하기 위해 분산 테이블 구조와 파티션을 설계합니다.
• 인덱싱 전략, 저장 형식 및 물리적 설계 기법을 사용합니다.
• EXPLAIN 계획을 해석하고 최적의 쿼리를 사용하여 쿼리를 최적화합니다.

과정 형식

• 대화형 강의와 토론
• 다양한 연습과 실습
• 실험실 환경에서 직접 구현

과정 맞춤화 옵션

• 이 과정에 맞춘 맞춤형 교육을 신청하려면 연락하여 안내해 드리겠습니다.

Greenplum은 PostgreSQL 기반의 오픈 소스 대규모 병렬 데이터 플랫폼으로, 고급 분석 및 대규모 데이터 웨어하우징에 설계되었습니다.

이 인스트럭터 주도형의 라이브 교육 과정(온라인 또는 현장)은, 생산 환경에서 Greenplum을 설치하고 구성하며 관리하고, 시스템 업데이트 및 라이브러리를 효과적으로 관리할 수 있도록 하는 중간 수준의 관리자를 대상으로 합니다.

이 교육을 마친 후, 참가자는 다음을 할 수 있습니다:

• 생산 준비 상태의 Greenplum 클러스터를 설치하고 구성합니다.
• 시스템 업데이트를 관리하고 안전하게 패치를 적용합니다.
• 분석 및 확장을 위한 Greenplum 라이브러리 관리를 처리합니다.
• Greenplum 시스템을 문제 해결하고 모니터링합니다.

강의 형식

• 대화형 강의 및 토론.
• 통제된 실험실 환경에서 Greenplum을 직접 사용합니다.
• 클러스터 설정, 업그레이드 워크플로우 및 시스템 확장에 중점을 둔 안내된 연습.

강의 맞춤화 옵션

• 환경 또는 데이터 플랫폼에 기반한 이 강의를 맞춤화한 교육을 요청하려면, 연락하여 조율해 주십시오.

대한민국(온라인 또는 현장)에서 진행되는 이 강사가 진행하는 실시간 교육은 데이터 처리 워크플로를 최적화하고, 데이터 무결성을 보장하며, 현대 빅 데이터의 복잡성을 처리할 수 있는 강력한 데이터 레이크하우스 솔루션을 구현하려는 고급 수준의 데이터 전문가를 대상으로 합니다. 데이터 애플리케이션.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 메타데이터 관리 및 파일 레이아웃을 포함하여 Iceberg의 아키텍처에 대해 심층적으로 이해하세요.
• 다양한 환경에서 최적의 성능을 발휘하도록 Iceberg를 구성하고 이를 여러 데이터 처리 엔진과 통합합니다.
• 대규모 Iceberg 테이블을 관리하고, 복잡한 스키마 변경을 수행하고, 파티션 발전을 처리합니다.
• 대규모 데이터 세트의 쿼리 성능과 데이터 스캔 효율성을 최적화하는 마스터 기술입니다.
• 데이터 일관성을 보장하고 트랜잭션 보장을 관리하며 분산 환경에서 오류를 처리하는 메커니즘을 구현합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 대규모 데이터 세트를 관리하고 데이터 무결성을 보장하기 위해 Apache Iceberg를 효과적으로 활용하는 데 필요한 지식과 기술을 습득하려는 초급 수준의 데이터 전문가를 대상으로 합니다. 데이터 처리 워크플로우 최적화.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Apache Iceberg의 아키텍처, 기능 및 이점을 철저하게 이해하세요.
• 테이블 형식, 파티셔닝, 스키마 발전 및 시간 이동 기능에 대해 알아보세요.
• 다양한 환경에서 Apache Iceberg를 설치하고 구성합니다.
• Iceberg 테이블을 생성, 관리 및 조작합니다.
• 다른 테이블 형식의 데이터를 Iceberg로 마이그레이션하는 프로세스를 이해합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 데이터 아키텍처, 거버넌스, 클라우드 컴퓨팅 및 빅 데이터 기술에 대한 기술을 향상하여 대규모 데이터 세트를 효과적으로 관리하고 분석하려는 중급 IT 전문가를 대상으로 합니다. 조직 내 데이터 마이그레이션을 위해.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• 다양한 데이터 아키텍처의 기본 개념과 구성요소를 이해합니다.
• 데이터 거버넌스 원칙과 규제 환경에서의 중요성을 포괄적으로 이해하세요.
• Dama 및 Togaf와 같은 데이터 거버넌스 프레임워크를 구현하고 관리합니다.
• 효율적인 데이터 저장, 처리, 관리를 위해 클라우드 플랫폼을 활용하세요.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 효과적인 데이터 분석 솔루션을 위해 Azure Data Lake Storage Gen2를 사용하는 방법을 배우려는 중급 수준의 데이터 엔지니어를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Azure Data Lake Storage Gen2의 아키텍처와 주요 기능을 이해합니다.
• 비용과 성능을 고려하여 데이터 스토리지와 액세스를 최적화합니다.
• 분석 및 데이터 처리를 위해 Azure Data Lake Storage Gen2를 다른 Azure 서비스와 통합합니다.
• Azure Data Lake Storage Gen2 API를 사용하여 솔루션을 개발합니다.
• 일반적인 문제를 해결하고 스토리지 전략을 최적화합니다.

Big Data와 고급 분석은 대규모, 복잡한 데이터셋을 분석하여 실질적인 통찰력과 전략적 의사결정에 사용하기 위해 고급 기술과 도구를 적용하는 것입니다.

이 강사는 온라인 또는 현장 교육을 통해 고급 데이터 전문가들이 예측, 처방, 실시간 분석을 위한 최신 분석 방법과 빅데이터 기술을 활용하는 방법을 배울 수 있도록 합니다.

이 교육을 마치면 참가자들은 다음을 수행할 수 있게 됩니다:

• 구조화된 및 비구조화된 데이터를 위한 대규모 데이터 처리 파이프라인을 설계 및 구현합니다.
• 매시브 데이터셋에 고급 머신러닝 및 딥러닝 기술을 적용합니다.
• 실시간 분석 및 데이터 스트리밍을 위한 분산 컴퓨팅 프레임워크를 활용합니다.
• 빅데이터 분석을 비즈니스 인텔리전스 및 의사결정 시스템에 통합합니다.

강의 형식

• 대화형 강의 및 토론.
• 다양한 연습과 실습.
• 실제 랩 환경에서의 직접적인 구현.

강의 맞춤화 옵션

• 이 강의를 맞춤화하려면, 양해를 구하기 위해 문의하십시오.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 관리 및 개발 관점 모두에서 IBM DataStage에 대한 포괄적인 이해를 갖고 이를 관리하고 활용하려는 중급 IT 전문가를 대상으로 합니다. 각자의 작업장에서 효과적으로 도구를 사용하세요.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• DataStage의 핵심 개념을 이해합니다.
• DataStage 환경을 효과적으로 설치, 구성 및 관리하는 방법을 알아보세요.
• 다양한 데이터 소스에 연결하고 데이터베이스, 플랫 파일, 외부 소스에서 데이터를 효율적으로 추출합니다.
• 효과적인 데이터 로딩 기술을 구현합니다.

이 강사 주도의 실시간 트레이닝(대한민국 온라인 또는 현장)은 대규모 데이터 집합에 대한 다차원 분석을 수행하고 실시간 데이터 웨어하우스를 구축하기 위해 Apache Kylin을 활용하고자 하는 중급 레벨의 빅데이터 전문가들을 대상으로 합니다.

이 트레이닝을 마치면 참가자는 다음과 같은 능력을 갖추게 됩니다:

• Apache Kylin을 실시간 스트리밍 데이터 소스와 함께 설정하고 구성합니다.
• 배치 및 스트림 데이터를 위한 OLAP 큐브를 설계하고 구축합니다.
• Kylin의 SQL 인터페이스를 사용하여 서브세컨드 지연 시간으로 복잡한 쿼리를 수행합니다.
• BI 도구와 Kylin을 통합하여 상호 작용형 데이터 시각화를 수행합니다.
• Kylin에서 성능을 최적화하고 자원을 효과적으로 관리합니다.

대한민국에서 강사가 진행하는 실시간 교육을 이수하는 참가자는 Big Data과 관련 기술, 방법론 및 도구에 대한 실용적이고 실제적인 이해를 얻게 됩니다.

참가자들은 실습을 통해 이러한 지식을 실제로 적용할 수 있는 기회를 갖게 됩니다. 그룹 상호 작용과 강사 피드백은 수업의 중요한 구성 요소입니다.

이 과정은 빅 데이터의 기본 개념 소개로 시작하여 데이터 분석을 수행하는 데 사용되는 프로그래밍 언어와 방법론으로 진행됩니다. 마지막으로 빅 데이터 스토리지, 분산 처리 및 Scala 기능을 가능하게 하는 도구와 인프라에 대해 논의합니다.

이 강사가 진행하는 대한민국 실시간 교육에서 참가자는 실습을 하면서 Python와 Spark를 함께 사용하여 빅 데이터를 분석하는 방법을 배웁니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Python와 함께 Spark를 사용하여 Big Data을 분석하는 방법을 알아보세요.
• 실제 사례를 모방한 연습을 해보세요.
• PySpark을 사용하여 빅데이터 분석을 위한 다양한 도구와 기술을 사용합니다.

이 과정은 사용하는 방법에 대해 설명 Hive SQL 언어를 (일명 : Hive HQL, SQL 에 Hive , Hive QL)에서 데이터를 추출하는 사람들을위한 Hive

이 강사 지도형 실습 교육은 대한민국 (온라인 또는 현장에서 제공) 중급 데이터베이스 관리자, 개발자, 분석가를 대상으로, 복잡한 데이터 운영 및 데이터베이스 관리에 필요한 고급 SQL 기능들을 마스터하고자 하는 분들을 대상으로 합니다.

이 교육을 통해 참여자들은 다음을 할 수 있게 됩니다:

• 유니온, 서브쿼리 및 복잡한 조인을 사용하여 고급 쿼리 기법을 수행합니다.
• 데이터, 테이블, 뷰, 인덱스를 정밀하게 추가, 업데이트 및 삭제합니다.
• 트랜잭션을 통해 데이터 무결성을 보장하고 데이터베이스 구조를 조작합니다.
• 강력한 데이터 저장 및 검색을 위해 데이터베이스를 효율적으로 생성 및 관리합니다.

Dremio 오픈소스 "자신 서비스 데이터 플랫폼" 다른 유형의 데이터 소스에 대한 검색을 가속화합니다. Dremio 관계 데이터베이스, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, 그리고 다른 데이터 출처와 통합. 그것은 SQL을 지원하고 건설 요청을위한 웹 UI를 제공합니다.

이 강사가 이끄는 라이브 훈련에서 참가자들은 데이터 분석 도구와 기본 데이터 저장소를 통합하는 레이어로 설치, 구성 및 사용하는 방법을 배울 것입니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다 :

• 설치 및 설정 Dremio
• 위치, 크기 또는 구조에 관계없이 여러 데이터 소스에 대한 요청을 수행합니다.
• Dremio BI와 데이터 출처를 통합하여 Tableau 및 Elasticsearch

관객

• 데이터 과학자
• Business 분석가
• 데이터 엔지니어

코스의 형식

• 부분 강의, 부분 토론, 연습 및 무거운 연습

노트

• 이 과정에 대한 사용자 지정 훈련을 요청하려면 저희에게 연락하여 배치하십시오.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 Oracle SQL 개발 및 관리 기술을 향상시키고자 하는 중급 수준의 데이터베이스 전문가를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 복잡한 SQL 쿼리를 구축하고 최적화합니다.
• Oracle SQL 도구를 사용하여 데이터베이스를 효율적으로 관리하세요.
• 데이터베이스 개발 및 유지관리에 모범 사례를 적용합니다.
• Oracle 환경에서 사용자 액세스 및 데이터베이스 보안을 관리합니다.

Apache Accumulo은 견고하고 확장 가능한 데이터 저장 및 검색을 제공하는 정렬된 분산 키/값 저장소입니다. Google의 BigTable 디자인을 기반으로 하며 Apache Hadoop, Apache Zookeeper 및 Apache Thrift로 구동됩니다.

강사가 진행하는 이 라이브 과정에서는 Accumulo의 작동 원리를 다루며 참가자들에게 Apache Accumulo에서 샘플 애플리케이션을 개발하는 과정을 안내합니다.

과정 형식

• 일부 강의, 일부 토론, 실습 개발 및 구현, 이해도를 측정하기 위한 간헐적 테스트

이 과정은 애플리케이션에서 인공지능을 이해하고 구현하기를 원하는 개발자 및 데이터 과학자를 대상으로 합니다. 특히 데이터 분석, 분산형 인공지능, 자연어 처리에 중점을 둡니다.

Amazon Redshift은 AWS의 페타바이트 규모의 클라우드 기반 데이터웨어하우스 서비스입니다.

강사가 진행하는 이 실시간 교육에서 참가자는 Amazon Redshift의 기본 사항을 배우게 됩니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Amazon Redshift 설치 및 구성
• Amazon Redshift을 사용하여 데이터 로드, 구성, 배포, 쿼리 및 시각화

청중

• 개발자
• IT 전문가

과정 형식

• 일부 강의, 일부 토론, 연습 및 집중적인 실습

메모

• 이 과정에 대한 맞춤형 교육을 요청하려면 당사에 연락하여 준비하세요.

기술의 발전과 정보의 양 증가로 인해 정부를 포함한 다양한 산업 분야에서 비즈니스 수행 방식이 변화하고 있습니다. Go 모바일 장치 및 애플리케이션, 스마트 센서 및 장치, 클라우드 컴퓨팅 솔루션, 시민 대면 포털의 급속한 성장으로 인해 정부 데이터 생성 및 디지털 보관 비율이 증가하고 있습니다. 디지털 정보가 확장되고 복잡해짐에 따라 정보 관리, 처리, 저장, 보안 및 폐기도 더욱 복잡해집니다. 새로운 캡처, 검색, 발견 및 분석 도구는 조직이 구조화되지 않은 데이터에서 통찰력을 얻는 데 도움이 됩니다. 정부 시장은 정보가 전략적 자산이며, 정부가 임무 요구 사항을 더 잘 충족하고 충족하기 위해 정형 정보와 비정형 정보를 모두 보호, 활용 및 분석해야 한다는 사실을 깨닫는 전환점에 있습니다. 정부 지도자들은 임무를 성공적으로 완수하기 위해 데이터 기반 조직을 발전시키기 위해 노력하면서 이벤트, 사람, 프로세스 및 정보 전반에 걸쳐 종속성을 상호 연관시킬 수 있는 기반을 마련하고 있습니다.

가장 파괴적인 기술의 매시업을 통해 고부가가치 정부 솔루션이 만들어질 것입니다.

모바일 장치 및 애플리케이션 클라우드 서비스 소셜 비즈니스 기술 및 네트워킹 Big Data 및 분석

IDC는 2020년까지 IT 산업 규모가 현재보다 약 1조 7000억 달러 더 많은 5조 달러에 이를 것이며, 업계 성장의 80%가 이러한 3차 플랫폼 기술에 의해 주도될 것으로 예측하고 있습니다. 장기적으로 이러한 기술은 증가하는 디지털 정보의 복잡성을 처리하는 핵심 도구가 될 것입니다. Big Data은 지능형 산업 솔루션 중 하나이며, 관련 및 비관련, 구조화 및 비구조화 등 대량의 데이터를 분석하여 밝혀진 패턴을 기반으로 정부가 조치를 취함으로써 더 나은 결정을 내릴 수 있도록 해줍니다.

그러나 이러한 성과를 달성하려면 단순히 엄청난 양의 데이터를 축적하는 것보다 훨씬 더 많은 것이 필요합니다. "이러한 볼륨을 이해하려면 방대하고 다양한 정보 스트림에서 유용한 지식을 분석하고 추출할 수 있는 최첨단 도구와 기술이 필요합니다."라고 Tom Kalil과 백악관 과학기술정책실의 Fen Zhao는 OSTP 블로그에 글을 올렸습니다.

백악관은 2012년에 국가 Big Data 연구 및 개발 이니셔티브를 설립하면서 기관들이 이러한 기술을 찾을 수 있도록 돕기 위한 조치를 취했습니다. 이 이니셔티브에는 Big Data의 폭발적인 증가를 최대한 활용하기 위한 2억 달러 이상이 포함되었으며 이를 위해 필요한 도구가 포함되었습니다. 그것을 분석하십시오.

Big Data이 제기하는 과제는 그 가능성이 고무적인 만큼 위협적입니다. 데이터를 효율적으로 저장하는 것은 이러한 과제 중 하나입니다. 늘 그렇듯 예산은 부족하므로 기관은 메가바이트당 스토리지 가격을 최소화하고 사용자가 원할 때 필요한 방식으로 데이터를 얻을 수 있도록 쉽게 액세스할 수 있는 위치에 데이터를 보관해야 합니다. 막대한 양의 데이터를 백업하면 문제가 더욱 커집니다.

데이터를 효과적으로 분석하는 것은 또 다른 주요 과제입니다. 많은 기관에서는 방대한 데이터를 조사하고 보다 효율적으로 운영하는 데 도움이 되는 추세를 파악하는 데 사용할 수 있는 상용 도구를 사용합니다. (MeriTalk의 최근 연구에 따르면 연방 IT 경영진은 Big Data이 기관이 임무 목표를 달성하는 동시에 5,000억 달러 이상을 절약하는 데 도움이 될 수 있다고 생각하는 것으로 나타났습니다.)

또한 맞춤형으로 개발된 Big Data 도구를 통해 기관은 데이터 분석 요구 사항을 해결할 수 있습니다. 예를 들어, Oak Ridge National Laboratory의 컴퓨터 데이터 분석 그룹은 Piranha 데이터 분석 시스템을 다른 기관에서 사용할 수 있도록 만들었습니다. 이 시스템은 의료 연구자들이 대동맥류가 발생하기 전에 의사에게 경고할 수 있는 링크를 찾는 데 도움이 되었습니다. 또한 이력서를 선별하여 채용 후보자와 채용 관리자를 연결하는 등 보다 일상적인 작업에도 사용됩니다.

Apache Beam은 병렬 데이터 처리 파이프라인을 정의하고 실행하기 위한 오픈 소스 통합 프로그래밍 모델입니다. 이 모델의 장점은 일괄 및 스트리밍 파이프라인을 모두 실행할 수 있는 기능이며, 실행은 Beam에서 지원하는 분산 처리 백엔드 중 하나인 Apache Apex, Apache Flink, Apache Spark, Google Cloud Dataflow에서 수행됩니다. Apache Beam은 다양한 저장 매체와 데이터 소스 간에 데이터를 이동하고, 데이터를 더 바람직한 형식으로 변환하고, 데이터를 새 시스템에 로드하는 것과 같은 ETL(추출, 변환 및 로드) 작업에 유용합니다.

강사가 진행하는 이 실시간 교육(현장 또는 원격)에서 참가자는 Java 또는 Python 애플리케이션에서 Apache Beam SDK를 구현하는 방법을 배우게 됩니다. 이 애플리케이션은 독립적이고 병렬적인 처리를 위해 큰 데이터 세트를 더 작은 청크로 분해하기 위한 데이터 처리 파이프라인을 정의합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Apache Beam을 설치하고 구성합니다.
• Java 또는 Python 애플리케이션 내에서 일괄 처리와 스트림 처리를 모두 수행하기 위해 단일 프로그래밍 모델을 사용합니다.
• 여러 환경에서 파이프라인을 실행합니다.

과정 형식

• 일부 강의, 일부 토론, 연습 및 집중적인 실습

메모

• 이 과정은 추후에 Scala 제공될 예정입니다. 자세한 내용은 문의해주시기 바랍니다.

1 일차 - 필수 Big Data 토픽 영역에 대한 개요를 제공합니다. 모듈은 일련의 섹션으로 나누어 져 있으며 각 섹션에는 실습이 수반됩니다.

2 일차 - Big Data 환경에 대한 분석 관행 및 도구와 관련된 다양한 주제를 탐구합니다. 구현 또는 프로그래밍 세부 사항에 포함되지는 않지만 참여자가 Big Data 솔루션에서 제공하는 일반적인 분석 기능 및 기능에 대한 포괄적 인 이해를 개발할 수 있도록하는 주제에 중점을두고 개념 수준의 범위를 유지합니다.

Day 3 - Big Data 솔루션 플랫폼 아키텍처와 관련된 기본적이고 필수적인 주제 영역의 개요를 제공합니다. Big Data 솔루션 플랫폼 개발에 필요한 Big Data 메커니즘과 데이터 처리 플랫폼을 구축하기위한 아키텍처 옵션을 다룹니다. Big Data 솔루션 플랫폼이 일반적으로 어떻게 사용되는지에 대한 기본적인 이해를 제공하기 위해 일반적인 시나리오도 제시됩니다.

4 일째 - Big Data 솔루션 플랫폼 아키텍처와 관련된 고급 주제를 탐구하여 3 일차에 구축됩니다. 특히 데이터 소스, 데이터 입력, 데이터 저장, 데이터 처리 및 보안을 비롯하여 Big Data 솔루션 플랫폼을 구성하는 다양한 아키텍처 계층을 소개하고 논의합니다.

5 일차 - 주제와 3 일과 4 일 주제에 대한 지식을 적용 할 수있는 대표자 능력을 시험하기 위해 고안된 여러 가지 연습 문제.

대한민국에서 강사가 주도하는 이 라이브 교육에서 참가자는 Big Data 기술에 접근하는 사고방식, 기존 프로세스 및 정책에 미치는 영향을 평가하는 방법, 범죄 활동을 식별하고 범죄를 예방하기 위해 이러한 기술을 구현하는 방법을 배웁니다. 전 세계 법 집행 기관의 사례 연구를 검토하여 채택 방식, 과제 및 결과에 대한 통찰력을 얻습니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 조사 중에 스토리를 조각해내기 위해 Big Data 기술을 기존 데이터 수집 프로세스와 결합합니다.
• 데이터 분석을 위한 산업용 빅데이터 저장 및 처리 솔루션을 구현합니다.
• 범죄 수사에 데이터 중심적 접근 방식을 적용하는 데 가장 적합한 도구와 프로세스를 도입하기 위한 제안을 준비하세요.

Big Data 는 대규모 데이터 세트를 저장하고 처리하기위한 솔루션을 의미하는 용어입니다. 처음에 Go ogle에 의해 개발 된이 Big Data 솔루션은 다른 유사한 프로젝트를 진화시키고 영감을주었습니다. 그 중 많은 프로젝트가 오픈 소스로 제공됩니다. R은 금융 산업에서 널리 사용되는 프로그래밍 언어입니다.

기존의 스토리지 기술이 저장해야하는 데이터 양을 처리하지 못하면 대체 솔루션이 필요합니다. 이 과정은 Big Data 를 저장하고 분석하기위한 대안이 무엇인지, 그리고 그들의 장점과 단점이 무엇인지 참가자들에게 안내하려고합니다.

이 과정은 대부분 솔루션 논의 및 발표에 중점을두고 있지만 실습은 필요에 따라 제공됩니다.

과정은 데이터 과학자 스킬 세트 (Domain : Data and Technology)의 일부입니다.

이 강의실 기반 교육 세션에서는 Big Data을 살펴봅니다. 대표단은 관련 빅 데이터 도구를 사용하여 컴퓨터 기반 사례와 사례 연구 연습을 수행합니다.

참가자는 다음을 수행할 수 있습니다.

• Confluent Platform 설치 및 구성.
• Confluent의 관리 도구 및 서비스를 사용하여 Kafka를 더 쉽게 실행.
• 들어오는 스트림 데이터를 저장하고 처리.
• Kafka 클러스터 최적화 및 관리.
• 데이터 스트림 보안.

형식

• 상호작용 강의 및 토론.
• 다양한 연습 및 실습.
• 라이브 랩 환경에서의 실습 구현.

코스 사용자 정의 옵션

• 이 코스는 오픈 소스 버전의 Confluent, 즉 Confluent Open Source를 기반으로 합니다.
• 이 코스에 대한 맞춤형 교육을 요청하려면, 맞춤형 교육을 안배하려면 연락 주세요.

청중

액세스 권한이있는 데이터를 이해하려고하거나 Twitter, Linked in 등의 인터넷에서 사용할 수있는 구조화되지 않은 데이터를 분석하려는 경우이 과정은 사용자를위한 것입니다.

대부분의 의사 결정자와 수집 할 가치가있는 데이터와 분석 할 가치가있는 데이터를 선택해야하는 사람들을 대상으로합니다.

솔루션을 구성하는 사람들을 대상으로하는 것이 아니기 때문에 사람들은 큰 그림의 이점을 누릴 수 있습니다.

배달 모드

과정 중에 대표자는 주로 오픈 소스 기술의 실례를 제시합니다.

단기 강연은 참가자의 발표와 간단한 연습으로 이어진다.

사용 된 컨텐츠 및 소프트웨어

사용 된 모든 소프트웨어는 코스가 실행될 때마다 업데이트되므로 가능한 최신 버전을 확인합니다.

여기에는 데이터 획득, 형식 지정, 처리 및 분석, 기계 학습을 통한 의사 결정 프로세스 자동화 방법을 설명하는 프로세스가 포함됩니다.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 Data Vault을 빌드하는 방법을 배웁니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Data Vault 2.0의 아키텍처와 디자인 개념, 그리고 Big Data, NoSQL 및 AI와의 상호 작용을 이해합니다.
• 데이터 보관 기술을 사용하여 데이터 웨어하우스의 과거 데이터에 대한 감사, 추적, 검사가 가능합니다.
• 일관되고 반복 가능한 ETL(추출, 변환, 로드) 프로세스를 개발합니다.
• 확장성과 반복성이 뛰어난 창고를 구축하고 배포합니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 데이터 가상화를 통해 Denodo 플랫폼을 사용하여 데이터 관리를 최적화하고 가속화하려는 아키텍트, 개발자 및 관리자를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Denodo 플랫폼을 설치하고 구성하세요.
• Denodo 플랫폼의 기능과 아키텍처를 이해하세요.
• 데이터 가상화의 핵심 개념, 이점, 사용 사례를 알아보세요.
• Denodo 플랫폼 서버를 구성하고 관리하는 방법을 알아보세요.
• 데이터 보안, 사용자 액세스, 서비스 인증을 구현합니다.
• 운영 모니터링 및 성과 최적화를 위한 도구와 기술을 적용합니다.

Apache Druid 는 Java 작성된 오픈 소스, 열 중심의 분산 데이터 저장소입니다. 대량의 이벤트 데이터를 신속하게 수집하고 해당 데이터에 대해 짧은 대기 시간 OLAP 쿼리를 실행하도록 설계되었습니다. Druid는 일반적으로 비즈니스 인텔리전스 응용 프로그램에서 대량의 실시간 및 과거 데이터를 분석하는 데 사용됩니다. 또한 최종 사용자를위한 빠른 대화식 분석 대시 보드를 제공하는 데 적합합니다. Druid는 Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal 및 Yahoo와 같은 회사에서 사용합니다.

이 강사 주도 라이브 코스에서 데이터웨어 하우스 솔루션의 한계를 살펴보고 Druid가 이러한 기술을 보완하여 유연하고 확장 가능한 스트리밍 분석 스택을 형성하는 방법에 대해 논의합니다. 실습 환경에서 Druid 기반 솔루션을 구현하고 테스트 할 수있는 기회를 제공하는 많은 예제를 살펴 봅니다.

코스의 형식

• 강의, 강의, 실습, 때때로 이해도를 측정하기위한 시험

빅 데이터는 너무 방대하고 복잡한 데이터 세트로 전통적인 데이터 처리 응용 프로그램 소프트웨어가 처리하기에 부적합합니다. 큰 데이터 문제로는 데이터 캡처, 데이터 저장, 데이터 분석, 검색, 공유, 전송, 시각화, 쿼리, 업데이트 및 정보 프라이버시가 있습니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)에서는 분산 스트림 및 일괄 데이터 처리의 원리와 접근 방식을 소개하고 참가자에게 Apache Flink에서 실시간 데이터 스트리밍 애플리케이션을 만드는 방법을 안내합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 데이터 분석 애플리케이션을 개발하기 위한 환경을 설정합니다.
• Apache Flink의 그래프 처리 라이브러리(Gelly)가 어떻게 작동하는지 이해해 보세요.
• Flink 기반의 내결함성 데이터 스트리밍 애플리케이션을 패키징, 실행 및 모니터링합니다.
• 다양한 업무량을 관리합니다.
• 고급 분석을 수행합니다.
• 다중 노드 Flink 클러스터를 설정합니다.
• 성과를 측정하고 최적화합니다.
• 다양한 Big Data 시스템과 Flink를 통합합니다.
• Flink의 기능을 다른 빅데이터 처리 프레임워크의 기능과 비교해보세요.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 그래프 데이터 처리를 위한 기술 제공 및 구현 방식에 대해 알아봅니다. 목표는 실제 객체, 해당 특성 및 관계를 식별한 다음 이러한 관계를 모델링하고 Graph Computing(그래프 분석이라고도 함) 방식을 사용하여 데이터로 처리하는 것입니다. 광범위한 개요로 시작하여 일련의 사례 연구, 실습 및 실시간 배포를 거치면서 특정 도구에 대해 자세히 알아봅니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• 그래프 데이터가 어떻게 저장되고 탐색되는지 이해합니다.
• 주어진 작업에 가장 적합한 프레임워크를 선택합니다(그래프 데이터베이스부터 일괄 처리 프레임워크까지)
• Hadoop, Spark, GraphX 및 Pregel을 구현하여 여러 머신에서 병렬로 그래프 컴퓨팅을 수행합니다.
• 그래프, 프로세스, 탐색을 통해 실제 빅데이터 문제를 살펴보세요.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 비즈니스 인텔리전스 및 데이터 웨어하우징 솔루션을 위한 Greenplum Database을(를) 설정하려는 관리자를 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Greenplum을 사용하여 처리 요구 사항을 해결합니다.
• 데이터 처리용 ETL 작업을 수행합니다.
• 기존의 쿼리 처리 인프라를 활용합니다.

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)에서는 Hortonworks Data Platform (HDP)을 소개하고 참가자에게 Spark + Hadoop 솔루션 배포 과정을 안내합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Hortonworks를 사용하여 대규모로 Hadoop을 안정적으로 실행하세요.
• Spark의 민첩한 분석 워크플로우를 통해 Hadoop의 보안, 거버넌스 및 운영 기능을 통합합니다.
• Hortonworks를 사용하여 Spark 프로젝트의 각 구성 요소를 조사, 검증, 인증하고 지원합니다.
• 구조화된 데이터, 구조화되지 않은 데이터, 전송 중 데이터, 저장 중 데이터를 포함한 다양한 유형의 데이터를 처리합니다.

ClouderaImpala는 ApacheHadoop 클러스터를 위한 오픈 소스 대규모 병렬 처리(MPP)SQL 쿼리 엔진입니다.

Impala을 사용하면 사용자는 데이터 이동이나 변환을 요구하지 않고도 Hadoop 분산 파일 시스템 및 Apache Hbase에 저장된 데이터에 대한 저지연 SQL 쿼리를 실행할 수 있습니다.

청중

본 과정은 Business 인텔리전스 또는 SQL 도구를 통해 Hadoop에 저장된 데이터에 대한 분석을 수행하는 분석가 및 데이터 과학자를 대상으로 합니다.

이 과정을 마친 후 대의원들은 다음을 수행할 수 있습니다.

• Impala을 사용하여 Hadoop 클러스터에서 의미 있는 정보를 추출합니다.
• Impala SQL 방언으로 Business 지능을 촉진하기 위한 특정 프로그램을 작성하십시오.
• 문제 해결 Impala.

강사가 진행하는 이 대한민국 실시간 교육(현장 또는 원격)에서 참가자는 다양한 Stream Processing 프레임워크를 기존 빅 데이터 스토리지 시스템과 관련 소프트웨어 애플리케이션 및 마이크로서비스로 설정하고 통합하는 방법을 배우게 됩니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Spark Streaming 및 Kafka Streaming과 같은 다양한 Stream Processing 프레임워크를 설치하고 구성합니다.
• 업무에 가장 적합한 프레임워크를 이해하고 선택하세요.
• 연속적으로, 동시에, 기록별로 데이터를 처리합니다.
• Stream Processing 솔루션을 기존 데이터베이스, 데이터 웨어하우스, 데이터 레이크 등과 통합합니다.
• 가장 적합한 스트림 처리 라이브러리를 엔터프라이즈 애플리케이션 및 마이크로서비스와 통합합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Python을 통해 데이터 스트리밍에서 Apache Kafka 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다.

이 교육이 끝나면 참가자는 Apache Kafka을 사용하여 Python 프로그래밍을 사용하여 연속 데이터 스트림의 상태를 모니터링하고 관리할 수 있습니다.

Kafka Streams는 카프카 (Cafka) 메시징 시스템으로 데이터를주고받는 마이크로 애플리케이션을 구축하기위한 클라이언트 측 라이브러리입니다. 전통적으로 Apache Kafka 는 메시지 생성자와 소비자 간의 데이터를 처리하기 위해 Apache Spark 또는 Apache Storm 에 의존했습니다. 응용 프로그램 내에서 Kafka Streams API를 호출하면 Kafka 내에서 직접 데이터를 처리 할 수 있으므로 처리를 위해 별도의 클러스터로 데이터를 전송할 필요가 없습니다.

강사가 진행하는이 실습에서는 Kafka Streams를 스트림 처리를 위해 Apache Kafka 와 데이터를주고받는 샘플 Java 응용 프로그램 세트에 Kafka Streams를 통합하는 방법을 배우게됩니다.

이 훈련이 끝나면 참가자는 다음을 할 수 있습니다.

• Kafka Streams의 기능과 다른 스트림 처리 프레임워크에 비해 장점을 이해합니다
• Kafka 클러스터 내에서 스트림 데이터를 직접 처리합니다
• Kafka와 Kafka Streams와 통합된 Java 또는 Scala 애플리케이션 또는 마이크로 서비스를 작성합니다
• 입력 Kafka 토픽을 출력 Kafka 토픽으로 변환하는 간결한 코드를 작성합니다
• 애플리케이션을 빌드, 패키징하고 배포합니다

청중

• 개발자

강의 형식

• 강의, 토론, 연습 및 많은 실습을 포함합니다

노트

• 이 강의를 위한 맞춤형 교육을 요청하려면 연락하여 조율하세요

대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 코드를 작성하지 않고 Apache Kafka 스트림 처리를 구현하려는 개발자를 대상으로 합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Confluent KSQL를 설치하고 구성합니다.
• SQL개의 명령만 사용하여 스트림 처리 파이프라인을 설정합니다(Java 또는 Python 코딩 없음).
• SQL에서 데이터 필터링, 변환, 집계, 조인, 윈도잉 및 세션화를 전체적으로 수행합니다.
• 스트리밍 ETL 및 실시간 분석을 위한 대화형 연속 쿼리를 설계하고 배포합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 빅데이터 활용을 극대화하면서 머신러닝 전략을 구현하는 방법을 배우려는 기술 인력을 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행하게 됩니다.

• 머신러닝의 발전과 추세를 이해하세요.
• 다양한 산업 분야에서 머신러닝이 어떻게 사용되고 있는지 알아보세요.
• 조직 내에서 머신러닝을 구현하는 데 사용할 수 있는 도구, 기술 및 서비스를 숙지하세요.
• 머신러닝을 사용하여 데이터 마이닝 및 분석을 향상하는 방법을 이해합니다.
• 데이터 미들 백엔드가 무엇인지, 기업에서는 이를 어떻게 사용하고 있는지 알아보세요.
• 산업 전반에 걸쳐 빅 데이터와 지능형 애플리케이션이 수행하는 역할을 이해합니다.

대한민국(현장 또는 원격)에서 강사가 진행하는 이 실시간 교육에서 참가자는 실시간 랩 환경에서 Apache NiFi을 배포하고 관리하는 방법을 배웁니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Apachi NiFi를 설치하고 구성합니다.
• 데이터베이스와 빅데이터 레이크를 포함한 다양한 분산 데이터 소스에서 데이터를 수집, 변환 및 관리합니다.
• 데이터 흐름을 자동화합니다.
• 스트리밍 분석을 활성화합니다.
• 데이터 수집에 다양한 접근 방식을 적용합니다.
• Big Data을 비즈니스 통찰력으로 변환합니다.

대한민국에서 강사가 진행하는 이 실시간 교육에서 참가자는 Apache NiFi을 사용하여 다양한 데모 확장, 구성 요소 및 프로세서를 개발하면서 흐름 기반 프로그래밍의 기본 사항을 학습하게 됩니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• NiFi의 아키텍처와 데이터 흐름 개념을 이해합니다.
• NiFi와 타사 API를 사용하여 확장 기능을 개발합니다.
• Apache Nifi 프로세서를 자체적으로 맞춤 개발합니다.
• 다양하고 흔하지 않은 파일 형식과 데이터 소스에서 실시간 데이터를 수집하고 처리합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 실시간 데이터 처리 및 분석에 Spark Streaming 기능을 사용하려는 데이터 엔지니어, 데이터 과학자 및 프로그래머를 대상으로 합니다.

이 교육이 끝나면 참가자는 Spark Streaming을 사용하여 데이터베이스, 파일 시스템 및 라이브 대시보드에서 사용할 라이브 데이터 스트림을 처리할 수 있습니다.

MLlib는 Spark의 기계 학습 (ML) 라이브러리입니다. 그 목표는 실용적인 기계 학습을 확장 가능하고 쉽게 만들어주는 것입니다. 분류, 회귀, 클러스터링, 협업 필터링, 차원 감소, 하위 레벨 최적화 프리미티브 및 상위 레벨 파이프 라인 API 등 일반적인 학습 알고리즘과 유틸리티로 구성됩니다.

두 개의 패키지로 나뉩니다.

• spark.mllib는 RDD 위에 구축 된 원래 API를 포함합니다.

• spark.ml은 ML 파이프 라인을 구성하기 위해 DataFrames 위에 구축 된 고급 API를 제공합니다.

청중

이 과정은 Apache Spark 용 내장 라이브러리를 활용하고자하는 엔지니어 및 개발자를 대상으로합니다.

대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Talend 빅 데이터용 Open Studio를 배포하여 빅 데이터를 읽고 처리하는 프로세스를 단순화하려는 기술 인력을 대상으로 합니다.

이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.

• Talend 빅 데이터용 Open Studio를 설치하고 구성합니다.
• Cloudera, HortonWorks, MapR, Amazon EMR 및 Apache와 같은 빅 데이터 시스템과 연결하세요.
• Open Studio의 빅 데이터 구성 요소와 커넥터를 이해하고 설정합니다.
• MapReduce 코드를 자동으로 생성하도록 매개변수를 구성합니다.
• Open Studio의 드래그 앤 드롭 인터페이스를 사용하여 Hadoop 작업을 실행하세요.
• 빅 데이터 파이프라인 프로토타입.
• 빅데이터 통합 프로젝트를 자동화하세요.

강사가 진행하는 이 실시간 교육에서는 대화형 데이터 분석의 개념을 소개하고, 참가자에게 단일 사용자 또는 다중 사용자 환경에서 Zeppelin을 배포하고 사용하는 방법을 안내합니다.

이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.

• Zeppelin 설치 및 구성
• 브라우저 기반 인터페이스에서 데이터를 개발, 구성, 실행 및 공유합니다.
• 명령줄이나 클러스터 세부 정보를 참조하지 않고 결과를 시각화합니다.
• 긴 워크플로우를 실행하고 협업하세요
• Scala (Apache Spark 포함), Python (Apache Spark 포함), Spark SQL, JDBC, Markdown 및 Shell과 같은 다양한 플러그인 언어/데이터 처리 백엔드를 사용하여 작업합니다.
• Zeppelin을 Spark, Flink 및 Map Reduce와 통합
• Apache Shiro를 사용하여 Zeppelin의 다중 사용자 인스턴스 보안