Python機器學習原理與實踐(微課版)（簡體書）

本書系統地介紹了機器學習的相關知識。本書共12章,內容包括機器學習、機器學習的數學基礎、不同格式數據的讀取與寫入、數據預處理、回歸、決策樹分類、貝葉斯分類、支持向量機分類、聚類、人工神經網絡、OpenCV圖像識別、TensorFlow深度學習。

本書可作為高等院校計算機、人工智能、軟件工程、信息管理等相關專業的機器學習課程教材，也可作為相關技術人員的參考書。

曹潔：男，鄭州輕工業大學副教授，同濟大學博士畢業。研究方向：數據分析、機器學習、並行分布式處理。近年在軟件學報、電子學報、計算機研究與發展、通信學報等刊物上發表10余篇論文。

國家《新一代人工智能發展規劃》指出: 人工智能成為經濟發展的新引擎，人工智能作為新一輪產業變革的核心驅動力，將進一步釋放歷次科技革命和產業變革積蓄的巨大能量，並創造新的強大引擎，重構生產、分配、交換、消費等經濟活動各環節，形成從宏觀到微觀各領域的智能化新需求，催生新技術、新產品、新產業、新業態、新模式，引發經濟結構重大變革，深刻改變人類的生產、生活方式和思維模式，實現社會生產力的整體躍升。

機器學習是人工智能的一種途徑或子集，它強調學習，而不是計算機程序。機器學習使用歷史數據訓練模型，訓練完成之後得到一個訓練好的模型，使用該模型可對新的數據做出判斷或預測。

1. 本書編寫特色

內容系統全面: 全面介紹機器學習的經典和主流算法。

原理淺顯易懂: 循序漸進闡述各類機器學習算法原理。

原理實踐結合: 每種機器學習模型都配套了對應的實踐案例。

算法代碼實現: 使用Python 3.6.x實現書中所有算法。

2. 本書內容組織

第1章: 機器學習。介紹機器學習的概念、機器學習的形式、構建機器學習系統的一般流程、機器學習的典型應用。

第2章: 機器學習的數學基礎，介紹相似性和相異性的度量、基於梯度的優化方法、概率與統計基礎、矩陣基礎。

第3章: 不同格式數據的讀取與寫入，介紹使用csv模塊讀取和寫入csv文件、使用pythondocx模塊處理Word文檔、Excel文件的讀與寫、pandas讀寫不同格式的數據、NumPy讀寫數據文件、讀寫JSON數據。

第4章: 數據預處理，介紹缺失值處理、噪聲數據處理、數據規範化、數據離散化、數據規約、數據降維。

第5章: 回歸，介紹回歸的概念、回歸處理流程、一元線性回歸、多元線性回歸、非線性回歸、邏輯回歸。

第6章: 決策樹分類，介紹分類的一般流程、決策樹的工作原理、最佳劃分屬性的度量、ID3決策樹、C4.5決策樹、CART決策樹。第7章: 貝葉斯分類，介紹樸素貝葉斯分類原理與分類流程、高斯樸素貝葉斯分類、多項式樸素貝葉斯分類、伯努利樸素貝葉斯分類。

第8章: 支持向量機分類，介紹支持向量機分類原理、線性支持向量機、Python實現支持向量機。

第9章: 聚類，介紹k均值聚類、層次聚類、密度聚類。

第10章: 人工神經網絡，介紹神經元、感知器、BP神經網絡。

第11章: OpenCV圖像識別，介紹圖像表示、圖像顏色模型、OpenCV計算機視覺庫、OpenCV人臉檢測、OpenCV人臉識別。

第12章: TensorFlow深度學習，介紹TensorFlow的常量與變量、TensorFlow的Tensor物件、TensorFlow的Operation物件、TensorFlow流程控制、TensorFlow卷積、使用TensorFlow對圖像進行分類。

本書由曹潔、孫玉勝、張志鋒、桑永宣、李璞、楚楊陽、賈連輝編寫。

3. 本書適用範圍

本書可作為高等院校計算機、人工智能、軟件工程、信息管理等相關專業的機器學習課程教材，也可作為相關技術人員的參考用書。

在本書的編寫和出版過程中得到鄭州輕工業大學、清華大學出版社的大力支持和幫助，在此表示感謝。

本書在撰寫過程中，參考了大量專業書籍和網絡資料，在此向這些作者表示感謝。

由於編寫時間倉促，編者水平有限，書中難免會有缺點和不足，熱切期望專家和讀者批評指正，在此表示感謝。如果您遇到任何問題，或有更多寶貴的意見，歡迎發送郵件。

編者於鄭州輕工業大學數據融合與知識工程實驗室2022年1月

第1章機器學習1

1.1機器學習的概念1

1.2機器學習的形式3

1.2.1監督學習3

1.2.2無監督學習4

1.2.3強化學習4

1.3構建機器學習系統的一般流程4

1.3.1數據預處理4

1.3.2選擇預測模型並進行訓練、診斷與調優6

1.3.3模型驗證與使用未知數據進行預測6

1.4機器學習的典型應用6

1.4.1語音識別7

1.4.2人臉識別7

1.4.3機器翻譯8

1.5本章小結8

第2章機器學習的數學基礎9

2.1相似性和相異性的度量9

2.1.1數據物件之間的相異度9

2.1.2數據物件之間的相似度11

2.2基於梯度的優化方法13

2.2.1方向導數13

2.2.2梯度15

2.2.3梯度下降優化方法16

2.3概率與統計基礎18

2.3.1概率基礎18

2.3.2常用的概率分布21

2.3.3聯合分布24

2.3.4隨機變量的數字特徵24

2.3.5最大似然參數估計26

2.4矩陣基礎28

2.4.1矩陣的基本概念28

2.4.2特徵值與特徵向量30

2.4.3矩陣相似31

2.4.4矩陣分解32

2.4.5主成分分析34

2.4.6矩陣運算Python實現36

2.5本章小結39

Python機器學習原理與實踐(微課版)目錄第3章不同格式數據的讀取與寫入40

3.1使用csv模塊讀取和寫入csv文件40

3.1.1使用csv.reader()讀取csv文件40

3.1.2使用csv.writer()寫入csv文件41

3.1.3使用csv.DictReader()讀取csv文件43

3.1.4使用csv.DictWriter()寫入csv文件44

3.2使用pythondocx模塊處理Word文檔45

3.2.1創建與保存Word文檔46

3.2.2讀取Word文檔46

3.2.3寫入Word文檔46

3.3Excel的文件讀與寫48

3.3.1利用xlrd模塊讀Excel文件49

3.3.2利用xlwt模塊寫Excel文件51

3.4pandas讀寫不同格式的數據52

3.4.1讀寫csv文件52

3.4.2讀取txt文件55

3.4.3讀寫Excel文件57

3.4.4讀寫MySQL數據庫61

3.5NumPy讀寫數據文件62

3.5.1讀寫二進制文件63

3.5.2讀寫文本文件63

3.6讀寫JSON數據64

3.6.1JSON數據格式65

3.6.2Python解碼和編碼JSON數據65

3.6.3Python操作JSON文件67

3.7本章小結67

第4章數據預處理68

4.1缺失值處理68

4.1.1刪除存在缺失值的元組68

4.1.2對缺失數據填充70

4.1.3不處理76

4.2噪聲數據處理76

4.2.1分箱法去噪77

4.2.2聚類去噪77

4.2.3回歸去噪77

4.2.4正態分布3σ原則去噪78

4.3數據規範化78

4.3.1最小最大規範化78

4.3.2zscore規範化80

4.3.3小數定標規範化80

4.4數據離散化81

4.4.1無監督離散化81

4.4.2監督離散化83

4.5數據歸約83

4.5.1過濾法84

4.5.2包裝法87

4.5.3嵌入法87

4.6數據降維88

4.6.1主成分分析法89

4.6.2線性判別分析法89

4.7本章小結90

第5章回歸91

5.1回歸概述91

5.1.1回歸的概念91

5.1.2回歸處理流程91

5.1.3回歸的分類91

5.2一元線性回歸92

5.2.1一元線性回歸介紹92

5.2.2一元線性回歸預測房價94

5.3多元線性回歸98

5.3.1多元線性回歸模型98

5.3.2使用多元線性回歸分析廣告媒介與銷售額之間的關係100

5.3.3多元線性回歸模型預測電能輸出102

5.4非線性回歸105

5.4.1多項式回歸105

5.4.2非多項式的非線性回歸108

5.5邏輯回歸112

5.5.1邏輯回歸模型113

5.5.2對鳶尾花數據進行邏輯回歸分析115

5.6本章小結117

第6章決策樹分類118

6.1分類概述118

6.1.1分類的基本概念118

6.1.2分類的一般流程119

6.2決策樹分類概述120

6.2.1決策樹的工作原理120

6.2.2最佳劃分屬性的度量125

6.2.3決策樹分類待測樣本的過程127

6.3ID3決策樹128

6.3.1ID3決策樹的工作原理128

6.3.2Python實現ID3決策樹130

6.3.3使用ID3決策樹預測貸款申請138

6.3.4ID3決策樹的缺點139

6.4C4.5決策樹139

6.4.1C4.5決策樹算法的工作原理139

6.4.2Python實現C4.5決策樹算法141

6.4.3使用C4.5決策樹算法預測鳶尾花類別146

6.5CART決策樹148

6.5.1CART決策樹算法的工作原理148

6.5.2Python實現CART決策樹算法148

6.6本章小結152

第7章貝葉斯分類153

7.1貝葉斯定理153

7.2樸素貝葉斯分類原理與分類流程154

7.2.1貝葉斯分類原理154

7.2.2樸素貝葉斯分類的流程154

7.3高斯樸素貝葉斯分類157

7.3.1scikitlearn實現高斯樸素貝葉斯分類157

7.3.2Python實現Iris高斯樸素貝葉斯分類158

7.4多項式樸素貝葉斯分類163

7.5伯努利樸素貝葉斯分類164

7.6本章小結165

第8章支持向量機分類166

8.1支持向量機概述166

8.1.1支持向量機分類原理166

8.1.2最大邊緣超平面167

8.2線性支持向量機167

8.2.1線性決策邊界168

8.2.2線性分類器邊緣168

8.2.3訓練線性支持向量機模型169

8.3Python實現支持向量機171

8.3.1SVC支持向量機分類模型172

8.3.2NuSVC支持向量機分類模型175

8.3.3LinearSVC支持向量機分類模型175

8.4本章小結177

第9章聚類178

9.1聚類概述178

9.1.1聚類概念178

9.1.2聚類方法類型179

9.1.3聚類的應用領域180

9.2kmeans聚類181

9.2.1kmeans聚類原理181

9.2.2Python實現對鳶尾花kmeans聚類182

9.3層次聚類185

9.3.1層次聚類原理185

9.3.2Python實現凝聚層次聚類189

9.3.3BIRCH聚類原理192

9.3.4Python實現BIRCH聚類195

9.4密度聚類196

9.4.1密度聚類原理196

9.4.2Python實現DBSCAN密度聚類199

9.5本章小結202

第10章人工神經網絡203

10.1神經元203

10.1.1神經元概述203

10.1.2激活函數204

10.2感知器208

10.2.1感知器模型208

10.2.2感知器學習算法209

10.2.3Python實現感知器學習算法213

10.2.4使用感知器分類鳶尾花數據214

10.2.5單層感知器的局限性216

10.3BP神經網絡217

10.3.1BP神經網絡模型217

10.3.2BP神經網絡學習算法219

10.3.3用BP神經網絡實現鳶尾花分類221

10.4本章小結224

第11章OpenCV圖像識別225

11.1圖像識別基礎225

11.1.1圖像表示225

11.1.2圖像顏色模型226

11.2OpenCV計算機視覺庫229

11.2.1安裝OpenCV229

11.2.2OpenCV的主要功能模塊229

11.2.3OpenCV讀入、顯示與保存圖像230

11.2.4OpenCV圖像顏色變換232

11.2.5OpenCV圖像裁剪236

11.2.6OpenCV圖像的幾何變換237

11.2.7OpenCV獲取圖像屬性與感興趣區域241

11.3OpenCV人臉檢測242

11.3.1OpenCV圖片人臉檢測242

11.3.2OpenCV視頻人臉檢測243

11.4OpenCV人臉識別244

11.4.1LBPHFace人臉識別244

11.4.2FisherFace人臉識別246

11.4.3EigenFace人臉識別248

11.5本章小結249

第12章TensorFlow深度學習250

12.1TensorFlow基礎250

12.1.1第一個TensorFlow程序250

12.1.2TensorFlow中的計算圖251

12.2TensorFlow的常量與變量251

12.2.1TensorFlow的常量251

12.2.2TensorFlow的變量254

12.2.3TensorFlow的變量值修改256

12.3TensorFlow的Tensor物件256

12.3.1Python物件轉換為Tensor物件257

12.3.2Tensor物件轉換為Python物件258

12.3.3維度調整函數tf.reshape()259

12.3.4維度交換函數tf.transpose()259

12.3.5維度擴充函數tf.expand_dims()260

12.4TensorFlow的Operation物件261

12.5TensorFlow流程控制262

12.5.1TensorFlow條件判斷262

12.5.2TensorFlow比較判斷264

12.5.3TensorFlow邏輯運算265

12.5.4TensorFlow循環265

12.6Tensorflow卷積266

12.6.1卷積的原理266

12.6.2TensorFlow卷積操作268

12.7使用TensorFlow對圖像進行分類271

12.8本章小結279

參考文獻280