대구대학교 전자책도서관

책소개

파이썬을 활용하여 크롤러 시스템 구축하기

시간이 지날수록 데이터는 점점 더 많아질 것이고, 데이터의 중요도는 올라갈 것이다. 우리는 하루에도 수많은 데이터를 스쳐 지나간다. 이러한 데이터들을 수집 및 활용하고 객관적으로 판단하는 것은 매우 중요해졌다. 이렇게 생성된 데이터는 더 이상 직접 수집하기가 거의 불가능하다고 본다.

이 책은 데이터를 수집하기 위한 준비부터 활용하는 방법까지 소개하고 있다. 1단계 준비, 2단계 데이터 수집, 3단계 데이터 활용 단계로 구성되어 있다. 준비 단계에서는 파이썬 기초 문법과 웹에 대한 내용을 다룬다. 데이터 수집 단계에서는 파이썬을 활용하여 크롤러를 만드는 단계이다. 활용 단계는 데이터를 저장하고 그래프를 그리고 머신러닝 프레임워크를 활용하여 데이터 처리를 하는 방법을 다룬다.

저자소개

수업시간에 우연히 들은 크롤러 매력에 빠져 창업하고 휴학한 후 패션 데이터 수집을 위한 쇼핑몰 크롤러와 크롤러 프레임워크를 개발하였다. 재미난 것을 만들고 싶어서 다양한 스타트업에서 교육 자료 공유 플랫폼, 화장품 추천 서비스 개발을 맡아 진행하였다. 코딩애플에서 파이썬으로 크롤러 만들기, node.js로 쇼핑몰 만들기 강사로 활동 중이며, (주)francosy에서 웹-서버 개발과 데이터 처리 및 분석을 담당하고 있다. 현재는 챗봇과 블록체인 기술에 관심이 많아 크롤러를 활용하여 로우 데이터 수집과 기술 연구를 하고 있다.

지금도 계속 재미있는 것들을 하려고 노력중이다.

1단계 준비
PART 1 _ 크롤러
1. 크롤러란 무엇인가?
2. 크롤러를 만들기 위해 필요한 지식
3. 크롤러를 만들어야 하는 이유

PART 2 _ 서버와 클라이언트
1. 클라이언트
2. 서버
3. 서버와 클라이언트의 데이터를 주고받는 방법
4. URL
5. 정리

PART 3 _ 웹을 구성하고 있는 요소
1. 웹
2. HTML
3. CSS
4. JavaScript
5. 웹 렌더링의 원리

PART 4 _ 파이썬 기초 문법
1. 파이썬을 사용하는 이유
2. 파이썬 코드 작성, 실행 방법
3. 변수
4. 데이터 타입
5. 연산자
6. 조건분기
7. 반복문

PART 5 _ 파이썬 중급 문법
1. 함수
2. 클래스
3. 모듈
4. 예외처리

2단계 데이터 수집
PART 6 _ 크롤링할 때 필요한 라이브러리
1. 어떤 모듈을 사용할까?
2. 요청 모듈
3. 파싱 모듈
4. 웹 테스팅 모듈
5. 정리

PART 7_  bs4
1. 파서의 차이
2. bs4 사용
3. 정규식을 활용한 bs4 고급 스킬
4. 크롤러 만들기
5. 정리

PART 8 _ 가상 돔을 활용한 크롤러
1. 돔 접근
2. 웹 제어하기
3. selenium과 bs4의 조합
4. selenium 활용

3단계 데이터 활용
PART 9 _ 데이터 가지고 놀기
1. 로그
2. 슬랙
3. 파일 다루기

PART 10 _ 다양한 분야에서 활용하는 파이썬
1. 서버
2. 머신러닝
3. 그래프 그려보기
4. 정리

책소개

저자소개

목차