Python을 사용한 웹 스크래핑 교육 과정
웹 스크래핑은 웹사이트에서 데이터를 추출하여 로컬 파일이나 데이터베이스에 저장하는 기술입니다.
이 강사는 주도하는 실시간 교육(온라인 또는 대면)은 개발자가 Python을 사용하여 여러 웹사이트의 데이터 크롤링 프로세스를 자동화하기를 원하는 사람들을 위한 것입니다.
이 교육을 마친 후 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- Python 및 관련 패키지를 설치하고 구성합니다.
- 다양한 웹사이트에 저장된 데이터를 검색하고 파싱합니다.
- 웹사이트의 작동 방식과 HTML 구조를 이해합니다.
- 규모에 맞는 웹 크롤러를 만듭니다.
- Selenium을 사용하여 AJAX 기반 웹 페이지를 크롤링합니다.
강의 형식
- 상호작용형 강의 및 토론.
- 많은 연습과 실습.
- 실시간 실험 환경에서 hands-on 구현.
강의 커스터마이징 옵션
- 프로그래밍 지식을 가정합니다.
- 강의를 맞춤화하고 싶으시다면 연락주세요.
코스 개요
소개
개발 환경 설정
Python 입문: 데이터 구조, 조건문, 파일 처리 등
웹 스크래핑을 위한 Python 패키지: Scrapy와 BeautifulSoup
웹사이트 작동 방식
HTML 구조 이해
웹 요청 보내기
HTML 페이지 스크래핑
XPath와 CSS 사용
정규 표현식을 사용한 데이터 필터링
웹 크롤러 만들기
Selenium을 사용한 AJAX 및 JavaScript 페이지 크롤링
웹 스크래핑 최선의 관행
문제 해결
요약 및 결론
요건
- 프로그래밍 경험이 필요하며, Python 경험이 있으면 더욱 좋습니다. Python 외의 언어로 프로그래밍 경험이 있는 경우, 교육을 확장하여 초급 Python 연습 문제를 포함시킬 수 있습니다.
대상
- 개발자
오픈 트레이닝 코스는 5명 이상의 참가자가 필요합니다.
Python을 사용한 웹 스크래핑 교육 과정 - 예약
Python을 사용한 웹 스크래핑 교육 과정 - 문의
Python을 사용한 웹 스크래핑 - 컨설팅 문의
컨설팅 문의
회원 평가 (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
코스 - Web Scraping with Python
예정된 코스
관련 코스
빅 데이터 분석을 위한 파이썬과 Dask 확장
14 시간대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Dask를 Python 생태계와 함께 사용하여 대규모 데이터 세트를 구축, 확장 및 분석하려는 데이터 과학자 및 소프트웨어 엔지니어를 대상으로 합니다.
이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.
- Dask와 Python으로 빅데이터 처리 구축을 시작할 수 있는 환경을 설정합니다.
- Dask에서 사용할 수 있는 기능, 라이브러리, 도구 및 API를 살펴보세요.
- Dask가 Python에서 병렬 컴퓨팅을 어떻게 가속화하는지 이해하세요.
- Dask를 사용하여 Python 생태계(Numpy, SciPy 및 Pandas)를 확장하는 방법을 알아보세요.
- 대규모 데이터 세트를 처리할 때 높은 성능을 유지하려면 Dask 환경을 최적화하세요.
데이터 분석을 위한 Python, Pandas, 그리고 Numpy
14 시간이 온라인 또는 현장 강사 주도 라이브 교육은 Python, Pandas 및 NumPy를 활용한 데이터 분석 및 조작 기술을 향상시키려는 중급 Python 개발자와 데이터 분석가를 대상으로 합니다.
이 교육을 마치면 참가자는 다음을 수행할 수 있게 됩니다:
- Python, Pandas, 및 NumPy를 포함하는 개발 환경을 설정합니다.
- Pandas 및 NumPy를 사용하여 데이터 분석 애플리케이션을 만듭니다.
- 고급 데이터 정제, 정렬 및 필터링 작업을 수행합니다.
- 집계 작업을 수행하고 시간 시리즈 데이터를 분석합니다.
- Matplotlib 및 기타 시각화 라이브러리를 사용하여 데이터를 시각화합니다.
- 데이터 분석 코드를 디버깅하고 최적화합니다.
FARM (FastAPI, React, and MongoDB) 풀 스택 개발
14 시간이 강사는 온라인 또는 현장에서 개발자들을 대상으로 동적, 고성능, 확장 가능한 웹 애플리케이션을 구축하기 위해 FARM(FastAPI, React, MongoDB) 스택을 사용하는 인터랙티브 라이브 트레이닝입니다.
이 트레이닝을 통해 참가자는 다음을 할 수 있습니다:
- FastAPI, React, MongoDB를 통합하는 개발 환경 설정.
- FARM 스택의 주요 개념, 기능 및 이점 이해.
- FastAPI를 사용하여 REST API 구축.
- React를 사용하여 상호작용 애플리케이션 설계.
- FARM 스택을 사용하여 애플리케이션 개발, 테스트 및 배포(프론트엔드 및 백엔드).
API를 Python과 FastAPI로 개발하기
14 시간대한민국에서 진행되는 이 실시간 교육(온라인 또는 현장)은 Python과 함께 FastAPI를 사용하여 RESTful API를 더 쉽고 빠르게 구축, 테스트 및 배포하려는 개발자를 대상으로 합니다.
이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.
- Python 및 FastAPI을 사용하여 API를 개발하기 위한 필수 개발 환경을 설정합니다.
- FastAPI 라이브러리를 사용하여 API를 더 빠르고 쉽게 생성합니다.
- Pydantic 및 OpenAPI를 기반으로 데이터 모델 및 스키마를 생성하는 방법을 학습합니다.
- SQLAlchemy를 사용하여 API를 데이터베이스에 연결합니다.
- FastAPI 도구를 사용하여 API에 보안 및 인증을 구현합니다.
- 컨테이너 이미지를 빌드하고 웹 API를 클라우드 서버에 배포합니다.
머신러닝을 이용한 Python 활용 – 2일
14 시간이 과정의 목적은 실제로 Machine Learning 방법을 적용하는 데 기본적인 능력을 제공하는 것입니다. Python 프로그래밍 언어와 그것의 다양한 도서관의 사용을 통해, 그리고 많은 실용적인 예를 기반으로이 과정은 가장 중요한 건설 블록을 사용하는 방법을 가르치고 Machine Learning, 데이터 모델링 결정을 내리는 방법, 알고리즘의 출구를 해석하고 결과를 확인합니다.
우리의 목표는 당신에게 Machine Learning 도구 상자에서 가장 기본적인 도구를 이해하고 신뢰할 수있는 기술을 제공하고 Data Science의 응용 프로그램의 일반적인 붕괴를 피하는 것입니다.
머신러닝 파이썬 - 4일
28 시간이 과정의 목표는 실제로 기계 학습 방법을 적용 하는 데 일반적인 숙련도를 제공 하는 것입니다. 이 과정에서는 Python 프로그래밍 언어와 다양 한 라이브러리를 사용 하 고 여러 실용적인 사례를 바탕으로 기계 학습의 가장 중요 한 구성 요소를 사용 하는 방법, 데이터 모델링 결정을 내리는 방법, 알고리즘의 출력 및 결과의 유효성을 검사 합니다.
우리의 목표는 기계 학습 도구 상자에서 가장 기본적인 도구를 이해 하 고 사용할 수 있는 기술을 제공 하 고 데이터 과학 응용 프로그램의 일반적인 함정을 피하는 것입니다.
파이썬 판다스 워크플로우를 모딘으로 가속화
14 시간대한민국에서 강사가 진행하는 이 실시간 교육(온라인 또는 현장)은 Modin을 사용하여 Pandas를 통해 더 빠른 데이터 분석을 위한 병렬 계산을 구축하고 구현하려는 데이터 과학자와 개발자를 대상으로 합니다.
이 교육을 마치면 참가자는 다음을 수행할 수 있습니다.
- Modin을 사용하여 대규모로 Pandas 워크플로 개발을 시작하는 데 필요한 환경을 설정하세요.
- Modin의 기능, 아키텍처 및 장점을 이해하세요.
- Modin, Dask, Ray의 차이점을 알아보세요.
- Modin을 사용하여 Pandas개의 작업을 더 빠르게 수행하십시오.
- 전체 Pandas API 및 기능을 구현합니다.
Python 자연어 생성 (NLG)
21 시간이 강사는 직접 가르치는 라이브 교육과정에서 참가자들이 Python을 사용하여 고품질의 자연어 텍스트를 생성하기 위한 자체 NLG 시스템을 구축하는 방법을 배울 것입니다. 또한, 관련 개념을 적용하여 콘텐츠를 생성하기 위한 라이브 랩 프로젝트와 함께 사례 연구도 살펴볼 것입니다.
이 교육을 마치면 참가자들은 다음을 할 수 있게 됩니다:
- 기술, 부동산, 날씨 및 스포츠 보고에서 저널리즘까지 다양한 산업에 대해 자동으로 콘텐츠를 생성하기 위해 NLG을 사용합니다.
- 원본 콘텐츠를 자동으로 생성하기 위해 소스 콘텐츠를 선택하고 조직하며 문장을 계획하고 시스템을 준비합니다.
- NLG 파이프라인을 이해하고 각 단계에서 적절한 기술을 적용합니다.
- Natural Language Generation (NLG) 시스템의 아키텍처를 이해합니다.
- 분석 및 정렬을 위해 가장 적합한 알고리즘 및 모델을 구현합니다.
- 공공 데이터 소스 및 관리 데이터베이스에서 데이터를 가져와 생성된 텍스트의 자료로 사용합니다.
- 수작업 및 노력이 많은 작성 과정을 컴퓨터가 생성한 자동 콘텐츠 생성을 대체합니다.
고급 Python 기계학습
21 시간이 강사 주도의 실시간 훈련에서 참가자들은 대한민국에서 이미지, 음악, 텍스트 및 금융 데이터를 포함하는 시연 애플리케이션을 구축하면서 파이썬에서 가장 관련성 있고 최첨단 머신 러닝 기술을 배우게 됩니다.
훈련 종료 시 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- 복잡한 문제를 해결하기 위한 머신 러닝 알고리즘과 기법을 구현합니다.
- 이미지, 음악, 텍스트 및 금융 데이터를 포함하는 애플리케이션에 딥 러닝과 반지도 학습(semi-supervised learning)을 적용합니다.
- 파이썬 알고리즘의 최대 성능을 끌어냅니다.
- NumPy 및 Theano와 같은 라이브러리와 패키지를 사용합니다.
Python: 지루한 일을 자동화하기
14 시간이 강사 주도의 실시간 교육은 Al Sweigart가 저술한 인기 도서, "Python으로 지루한 일을 자동화하기"를 기반으로 합니다. 초보자를 대상으로 하며, 실용적인 연습과 토론을 통해 필수 Python 프로그래밍 개념을 다룹니다. 이 교육의 중점은 코드 작성으로 사무실 생산성을 크게 높이는 방법을 배우는 것입니다.
이 교육을 마친 후, 참가자들은 다음과 같은 작업에 Python을 사용하여 프로그래밍하는 법을 알게 될 것입니다:
- 단순한 Python 프로그램을 작성하여 작업 자동화하기
- '정규 표현식'을 사용하여 텍스트 패턴 인식이 가능한 프로그램 작성하기
- Excel 스프레드시트를 프로그래밍적으로 생성하고 업데이트하기
- PDF와 Word 문서 파싱하기
- 웹사이트 크롤링 및 온라인 소스에서 정보 추출하기
- 이메일 알림을 보내는 프로그램 작성하기
- Python의 디버깅 도구를 사용하여 버그를 빠르게 해결하기
- 마우스와 키보드를 프로그래밍적으로 제어하여 클릭과 타이핑 수행하기
금융을 위한 Python 프로그래밍
35 시간Python은 금융 업계에서 막대한 인기를 얻은 프로그래밍 언어입니다. 가장 큰 투자 은행과 헤지펀드들에 의해 채택되어, 주식 거래 프로그램부터 위험 관리 시스템까지 다양한 금융 애플리케이션을 구축하는 데 사용되고 있습니다.
이 강사 주도의 실시간 교육에서 참가자들은 Python을 사용하여 금융 관련 문제를 해결하기 위한 실제적인 애플리케이션을 개발하는 방법을 배우게 됩니다.
이 교육을 마치면 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- Python 프로그래밍 언어의 기초를 이해하기
- Python으로 금융 애플리케이션을 개발하기 위한 최적의 개발 도구를 다운로드, 설치 및 유지보수하기
- 다양한 출처(CSV, Excel, 데이터베이스, 웹 등)에서 금융 데이터를 정리, 시각화, 분석하기 위해 가장 적합한 Python 패키지와 프로그래밍 기법을 선택하고 활용하기
- 자산 할당, 위험 분석, 투자 성과 등 다양한 문제를 해결하는 애플리케이션을 구축하기
- Python 애플리케이션의 오류 수정, 통합, 배포 및 최적화하기
대상
- 개발자들
- 분석가들
- 퀀트들
강의 형식
- 강의와 토론, 연습, 그리고 실전 프로그래밍을 병행
참고사항
- 이 교육은 금융 전문가들이 직면하는 주요 문제에 대한 해결책을 제공하기 위한 것입니다. 그러나 특정 주제, 도구, 또는 기법에 대해 추가하거나 더 깊게 다루기를 원하시다면, 연락주시기 바랍니다.
고급 파이썬 - 4일
28 시간강사가 진행하는 이 대한민국 실시간 교육에서 참가자는 분산 애플리케이션, 데이터 분석 및 시각화, UI 프로그래밍 및 유지 관리 스크립팅과 같은 영역의 문제를 해결하기 위해 이 다용도 언어를 적용하는 방법을 포함하여 고급 Python 프로그래밍 기술을 배우게 됩니다. .
Python Programming - 4일
28 시간이 과정은 파이썬 프로그래밍 언어를 배우고자 하는 사람들에게 설계되었습니다. 이 과정은 파이썬 언어, 핵심 라이브러리, 그리고 파이썬 커뮤니티에서 개발된 가장 유용한 라이브러리를 중심으로 진행됩니다. 파이썬은 비즈니스를 운영하는 데 사용되고, 세계 곳곳의 과학자들에 의해 사용되고 있어, 가장 인기 있는 프로그래밍 언어 중 하나입니다.
이 과정은 최신 파이썬 버전 3.x를 사용하여 실습을 통해 파이썬의 모든 기능을 활용할 수 있습니다. 이 과정은 모든 유닉스 버전 (리눅스와 맥 OS X를 포함), 그리고 마이크로소프트 윈도우를 포함한 모든 운영체제에서 제공될 수 있습니다.
실습은 약 70%의 시간을 차지하며, 나머지 30%는 데모와 프레젠테이션입니다. 과정 중 언제든지 논의하고 질문할 수 있습니다.
참고: 훈련은 제안된 과정 일정 전에 미리 요청하신 경우 특정 요구에 맞게 맞춤화될 수 있습니다.
Test Automation with Selenium and Python
14 시간Selenium은 다양한 브라우저에서 웹 애플리케이션 테스트를 자동화하기 위한 오픈 소스 프레임워크입니다. Selenium 4에서는 향상된 WebDriver API, 네이티브 상대 위치 지정자, 그리고 개선된 그리드 지원이 제공됩니다. Python은 Pytest와 같은 테스트 프레임워크와의 강력한 통합과 단순성을 제공하여 확장 가능한 및 유지 가능한 테스트 자동화 스위트를 개발하는 강력한 선택입니다.
이 강사는 초급에서 중급 테스터와 개발자를 대상으로 하여, 실무 환경에서 Selenium을 Python과 함께 사용하여 웹 애플리케이션 테스트를 자동화하고자 하는 사람들을 위한 온라인 또는 오프라인 강의입니다.
이 강의를 통해 참가자들은 다음을 수행할 수 있게 됩니다.
- 테스트 환경에서 Selenium을 Python과 함께 설치 및 구성합니다.
- Selenium WebDriver와 Pytest를 사용하여 강력한 테스트 자동화 스크립트를 작성합니다.
- 유지 가능한 테스트 프레임워크를 위한 Page Object Model(POM)을 적용합니다.
- Selenium Grid를 사용하여 여러 브라우저에서 테스트를 실행합니다.
- 자동화된 테스트를 CI/CD 파이프라인에 통합합니다.
- 자동화 안정성을 위한 일반적인 문제를 해결하고 최선의 관행에 따릅니다.
강의 형식
- 상호작용 강의 및 토론
- 많은 연습 및 실습
- 실습 환경에서 직접 구현
강의 커스터마이징 옵션
- 이 강의를 위한 맞춤형 교육을 요청하려면, 연락주시어 안내해드리겠습니다.
텍스트 요약 with Python
14 시간Python Machine Learning에서 텍스트 요약 기능은 입력 텍스트를 읽고 텍스트 요약을 생성할 수 있습니다. 이 기능은 명령줄 또는 Python API/라이브러리로 사용할 수 있습니다. 흥미로운 응용 프로그램 중 하나는 실행 요약을 빠르게 생성하는 것입니다. 이는 보고서 및 프레젠테이션을 생성하기 전에 대량의 텍스트 데이터를 검토해야 하는 조직에 특히 유용합니다.
이 강사 주도형 실시간 교육에서는 참가자가 Python을 사용하여 입력 텍스트의 요약을 자동으로 생성하는 간단한 애플리케이션을 만드는 방법을 배우게 됩니다.
이 교육이 끝나면 참가자는 다음을 수행할 수 있습니다.
- 텍스트를 요약하는 명령줄 도구 사용.
- Python 라이브러리를 사용하여 텍스트 요약 코드를 설계 및 생성.
- 세 가지 Python 요약 라이브러리(sumy 0.7.0, pysummarization 1.0.4, readless 1.0.17) 평가.
청중
- 개발자
- 데이터 과학자
코스의 형식
- 파트 강의, 파트 토론, 연습 및 고강도 실습
