Python網絡爬蟲(Scrapy框架)（簡體書）

互聯網上存在著大量值得收集的公共信息，而爬蟲技術就是獲取這些公共信息的主要工具。本書以主流的Scrapy爬蟲框架為例，介紹了Python網絡爬蟲的組成、爬蟲框架的使用以及分布式爬蟲等內容。本書運用了大量案例和實踐，融入了含金量十足的開發經驗，使得內容緊密結合實際應用。在此基礎上，本書還通過豐富的練習和操作實踐，幫助讀者鞏固所學的內容。本書配以多元的學習資源和支持服務，包括視頻、案例素材、學習社區等，為讀者提供全方位的學習體驗。
本書適合作為計算機、大數據等相關專業的教材，也適合具有一定Linux或Python開發基礎的人員閱讀，還可以作為爬蟲工程師的學習用書。

第 1章 使用第三方庫實現信息抓取 1

任務1 使用第三方庫實現北京公交站點頁面信息抓取 2

1.1.1 介紹爬蟲 2

1.1.2 HTTP 5

1.1.3 HTML 9

1.1.4 使用第三方庫實現爬蟲功能 10

1.1.5 技能實訓 14

任務2 使用第三方庫實現北京公交站點詳細信息抓取 14

1.2.1 lxml庫 14

1.2.2 第三方庫數據抓取及保存 17

1.2.3 技能實訓 19

本章小結 19

本章作業 20




第 2章 初探Scrapy爬蟲框架 21

任務1 安裝Scrapy爬蟲框架並創建爬蟲工程 22

2.1.1 根據使用場景劃分爬蟲種類 22

2.1.2 開發基於Scrapy爬蟲框架的工程 25

任務2 學習並掌握Scrapy爬蟲框架各模塊的功能 30

2.2.1 Scrapy爬蟲工程組成 30

2.2.2 Scrapy爬蟲框架架構 34

本章小結 36

本章作業 36




第3章 提取網頁數據 37

任務1 使用Scrapy的選擇器提取豆瓣電影信息 38

3.1.1 Response對象 38

3.1.2 css選擇器 42

3.1.3 多層級網頁爬取 44

3.1.4 技能實訓 49

任務2 使用正則表達式從電影介紹詳情中提取指定信息 50

3.2.1 正則表達式 50

3.2.2 技能實訓 55

本章小結 55

本章作業 55




第4章 Scrapy數據保存（文件、MySQL、MongoDB） 57

任務一 使用Feed exports將爬取的電影信息保存到常見數據格式文件中 58

4.1.1 Feed exports 58

4.1.2 技能實訓 62

任務2 使用pipeline將爬取的電影信息數據保存到數據庫中 63

4.2.1 Python操作MySQL數據庫 63

4.2.2 pipeline模塊 66

4.2.3 將數據保存到MongoDB中 68

4.2.4 技能實訓 73

本章小結 73

本章作業 73




第5章 Scrapy反反爬技術 75

任務1 學習反爬蟲和反反爬蟲策略 76

5.1.1 反爬蟲方法和反反爬蟲策略 76

5.1.2 Scrapy設置實現反反爬 78

5.1.3 技能實訓 85

任務2 學習Scrapy框架中更多常用的設置 86

5.2.1 抓取需要登錄的網站 86

5.2.2 Scrapy常用擴展設置 90

本章小結 91

本章作業 91




第6章 Selenium+瀏覽器加載動態數據 93