Scikit-learn機器學習高級進階（簡體書）

本書是《Scikit-learn機器學習詳解》（潘風文編著）的進階篇，講解了Sklearn（Scikit-learn）機器學習框架的各種高級應用技術，包括數據集導入工具、集成學習、模型選擇和交叉驗證、異常檢測、管道、 信號分解、模型持久化以及Sklearn系統高級配置。通過本書的學習，讀者可快速掌握Sklearn框架的高級知識，邁入人工智能殿堂的大門。本書適合有志於從事機器學習、人工智能技術開發的人員或愛好者使用，也可作為相關專業的教材。

（1）內容由淺入深，循序漸進。一方面遵循了讀者對機器學習的認知規律；另一方面也便於熟悉機器學習知識的學習者更深入地掌握和應用Scikit-learn框架。（2）語言通俗易懂，輕鬆易學，配以形象化的圖片和代碼，生動地把講解內容呈現給讀者，有效降低了學習的門檻。（3）講解主幹明確，脈絡清晰。貫穿主題算法，從集成學習、管道、交叉驗證，到異常檢測和信號分解，層次分明。（4）案例精挑細選，乾貨多多。幾乎每種算法都給出詳細的使用案例，這些案例都是作者精心挑選和開發的，緊扣內容，並提供了很多開發技巧，值得認真閱讀。

Sklearn，也稱為Scikit-learn，是基於Python語言的開源機器學習庫，起源於發起人David Cournapeau在2007年參加谷歌編程之夏GSoC（Google Summer of Code）的一個項目，目前已經成為最受歡迎的機器學習庫，已經在很多工程中得到了應用。
Sklearn是一個功能強大的機器學習框架。它基於NumPy、Pandas、Scipy和Matplotlib等數值計算庫，實現了豐富且高效的機器學習算法，包括有監督學習、無監督學習和半監督學習模型，幾乎涵蓋了所有主流的機器學習模型。本書講述了Sklearn學習框架中比較高級的知識，包括集成學習、管道、交叉驗證和異常檢測等模型及其應用。作者試圖通過通俗易懂的描述、嚴謹翔實的代碼，把晦澀難懂的知識講解明白，使讀者快速掌握Sklearn的高級知識，深入應用到日常工作中。對於需要學習和掌握Sklearn基礎知識的讀者，請參考潘風文編著的《Scikit-learn機器學習詳解》一書。
第1章概述性地回顧了機器學習的基本知識，講述了有監督學習、無監督學習和半監督學習的概念，並對Scikit-learn做了簡要的描述。
第2章講述了Scikit-learn中sklearn.datasets模塊的功能，不僅提供了導入隨機樣本數據集的方法，也提供了提取外部（網絡上）數據集的方法以及生成各種算法所需數據的多個方法。
第3章介紹了集成學習。集成學習是一種綜合利用多個預測模型的方法，它本身不是一種傳統意義上的機器學習模型，而是一種基於弱學習器的算法。本章介紹了自助聚合算法、加速提升算法、投票集成算法以及堆棧泛化等多種集成學習方法。
第4章介紹了模型選擇和交叉驗證的知識。模型選擇的目標是在一個模型集合中尋找泛化能力最大的一個模型，而交叉驗證是一種廣泛使用的重采樣（resampling）技術，可以評估一個預測模型的泛化能力，也是一種有效的確定模型超參數的方法。
第5章介紹了新穎點檢測、離群點檢測兩類方法；離群點檢測的算法：橢圓包絡線算法、孤立森林算法和局部離群點因子算法。
第6章介紹了機器學習中的管道機制（Pipeline）。管道機制將機器學習的實施看作是一個流水線式的作業流程，根據不同階段的任務目標，切割成7個不同的環節，每一個環節都由獨立的轉換器（Transformer）或評估器（Estimator）負責實現。管道機制使開發者對機器學習過程中相互聯繫和相互依賴的環節進行有效和高效的控制，更加方便地實現其預期結果。
第7章介紹了Scikit-learn中實現的信號分解的各種方法。信號分解（signal decomposition）是分解提取高維數據集中的特徵信號，是一個矩陣分解的問題。在Scikit-learn中，提供了主成分分析、字典學習、因子分析等多種信號分解的算法。
第8章重點講述了訓練後模型的保存、使用方法。這些方法包括使用模塊pickle序列化，使用模塊joblib序列化，以及跨平臺、跨語言的互操作方式：通過預測模型標記語言PMML（Predictive Model Markup Language）保存和部署模型。
第9章介紹了為保障Scikit-learn程序順暢運行，需要對Scikit-learn整體框架的環境變量進行設置的內容。
本書有如下特點：
■ 內容由淺入深，循序漸進
遵循讀者對機器學習的認知規律，同時也有助於熟悉機器學習知識的學習者更深入地掌握和應用Scikit-learn框架。
■ 語言通俗易懂，輕鬆易學
對講解主題進行通俗化描述，並配以大量的圖片和代碼，形象化地把講解內容呈現給讀者，輕鬆易學，有效降低學習的門檻。
■ 講解主幹明確，脈絡清晰
本書貫穿機器學習模型中高級應用的主題算法，從集成學習、管道、交叉驗證，到異常檢測和信號分解，系統地講解高級應用知識，為讀者掌握和發揮Scikit-learn價值提供最大幫助。
■ 案例精挑細選，乾貨多多
幾乎每種算法都給出詳細的應用案例。這些案例都是作者開發的，緊扣內容，並提供了很多開發技巧，值得認真閱讀。
本書讀者物件：
（1）具備一定Scikit-learn基礎知識，希望在機器學習領域進階升級的開發人員；
（2）想要了解和實踐Scikit-learn學習包的開發工程師；
（3）從事大數據及人工智能的分析人員；
（4）對大數據和人工智能感興趣的人員。
本書由潘風文、黃春芳編著。第1章、第2章、第6章、第8章、第9章由潘風文編寫；第3章、第4章、第5章、第7章由北京中醫藥大學生命科學學院黃春芳副教授編寫。本書例子運行的Python版本號是Ver3.8.1及以上。所有實例包都可以通過作者QQ：420165499聯繫索取並在線咨詢答疑，我們將竭誠為您服務。最後，衷心希望本書對您的工作和事業有所裨益。

潘風文 黃春芳
2022 年7月

1　機器學習概述 1
1.1 有監督學習2
1.2 無監督學習3
1.3 半監督學習3
1.4 Sklearn概述4

2　數據集導入工具 6
2.1 通用數據集導入API7
2.1.1 數據集加載器7
2.1.2 數據集提取器8
2.1.3 數據集生成器10
2.1.4 文件導入方法11
2.2 專用數據集導入API14
2.2.1 加載樣本圖像數據集14
2.2.2 加載svmlight/libsvm格式數據集15
2.2.3 從openml.org 下載數據集16
2.3 加載外部數據集16
2.3.1 列表式數據讀取16
2.3.2 多媒體文件讀取17

3　集成學習 18
3.1 自助抽樣（bootstrap）19
3.2 自助聚合算法（bagging）20
3.2.1 標準自助聚合算法（Bagging）21
3.2.2 隨機森林（Random Forest）29
3.2.3 極端隨機樹（Extremely randomized trees）30
3.3 加速提升算法（boosting）30
3.3.1 自適應提升算法（Adaboost）30
3.3.2 梯度提升樹算法（GBDT）38
3.4 投票集成算法（voting）49
3.5 堆棧泛化（stacking）56

4　模型選擇和交叉驗證 62
4.1 交叉驗證評估器64
4.1.1 交叉驗證64
4.1.2 交叉驗證生成器66
4.1.3 使用交叉驗證70
4.2 度量指標和評估（評分）75
4.2.1 評分參數scoring的設置76
4.2.2 啞分類評估器和啞回歸評估器86
4.3 模型超參數調優90
4.3.1 窮盡網格超參數搜索91
4.3.2 隨機超參數搜索99
4.3.3 非暴力參數搜索方法101
4.3.4 貝葉斯優化103
4.4 驗證曲線104
4.4.1 交叉驗證曲線105
4.4.2 學習曲線108

5　異常檢測 115
5.1 新穎點檢測117
5.2 離群點檢測123
5.2.1 橢圓包絡線算法123
5.2.2 孤立森林算法129
5.2.3 局部離群點因子算法130

6　管道 138
6.1 概念介紹139
6.1.1 評估器（estimator）139
6.1.2 轉換器（transformer）140
6.1.3 管道（pipeline）141
6.2 管道機制概述142
6.3 中間評估器及子管道148
6.3.1 獲取中間評估器148
6.3.2 獲取子管道物件149
6.3.3 設置評估器參數150
6.4 特徵聚合轉換器150
6.5 列轉換機制154
6.5.1 數據泄露154
6.5.2 列轉換器155
6.6 模型選擇162

7　信號分解 164
7.1 主成分分析PCA165
7.2 核主成分分析KPCA173
7.3 字典學習180
7.3.1 預置字典編碼180
7.3.2 通用字典學習186
7.4 因子分析189
7.5 其他信號分解194
7.5.1 獨立成分分析195
7.5.2 非負矩陣分解196
7.5.3 隱含狄利克雷分布199

8　模型持久化 200
8.1 針對Python物件的序列化201
8.1.1 使用模塊pickle序列化201
8.1.2 使用模塊joblib序列化204
8.2 模型互操作方式205

9　Sklearn系統配置 210
9.1 系統環境變量211
9.2 運行時環境變量211

後記 215