Python機器學習中的數學修煉（簡體書）

前言

2008年7月25日，美國卡內基梅隆大學計算機系教授蘭迪·波許（Randy Pausch），因胰腺癌晚期及並發癥去世，享年47歲。波許教授生前曾是人機界面領域的知名專家，國際計算機協會會士（ACM Fellow）。但更令其廣為人知的是他於2007年９月（即去世前10個月）所做的一場題為《最後一課》（The Last Lecture）的著名演說。這篇演說反響極大，數以百萬計的觀眾在線收看了演講視頻，美國廣播電視網將他選為“2007年度人物”之一，《時代》雜志將他列入了“世界上影響最大的100人”，同名書籍長期位列“紐約時報暢銷書（建議類）”榜首。

在這篇演說中，波許教授回顧了自己人生中的若幹重要片段，而“墻”這個意象也多次出現。例如在開篇部分，波許教授談到自己童年的夢想是體驗失重狀態，但苦於無法實現。直到當上了教授之後，機會似乎終於出現了。美國宇航局（NASA）組織了一次大學生競賽，優勝團隊的獎勵便是可以被送到高空，體驗25秒的失重狀態。波許教授指導的隊伍，獲得了比賽的第一名。但NASA 卻告訴他，只有學生才能飛上天空，指導老師不行。這樣一個奇怪的規則就是擋在波許教授面前，令其無法實現兒時夢想的一堵墻。當然，就像人生中面對過的無數面墻一樣，波許教授還是鍥而不舍地找到了逾越它的辦法。

在最後，波許教授語重心長地總結道： “你總會遇到挫折。但是記住，它們的出現並不是沒有原因的。磚墻並不是為了擋住我們。它在那裡，只是為了測試我們的決心到底有多迫切。它在那裡擋住了那些沒有強烈決心的人。它不讓那些人通過。記住，磚墻的存在是為了顯示我們自己付出的決心。它使得我們，同那些並不真的想實現夢想的人得以區分。”

這不禁讓我想到了很多希望涉足人工智能與數據科學的初學者在面對數學時的感受。自從深度學習火爆起來之後，深度學習算法工程師、人工智能研究員，以及數據科學家等新興職位迅速成為大家爭相討論的薪資高地。特別是在谷歌公司的人工智能程序AlphaGo，於曾經一度被認為是人類智能最後堡壘的圍棋領域，大敗世界冠軍李世石後，各大IT名企紛紛成立所謂的人工智能研究院、深度學習實驗室。像Geoffrey Hinton、Yann LeCun、Ian Goodfellow、李飛飛和吳恩達等國際知名學者也紛紛被谷歌、Facebook這樣的IT巨頭高薪延攬。

很多曾經的傳統IT從業人員也不免心動，個個摩拳擦掌、躍躍欲試，希望趁早轉行趕上AI這趟急速狂奔的列車。畢竟，人往高處走，水往低處流。然而，盡管人工智能和傳統IT都是從計算機科學領域發展出來的，但兩者之間卻有著一堵明顯的高墻，這堵高墻便是數學。傳統的IT領域更加重視編程，而對數學的要求卻相對較弱。但在人工智能學習的各個階段，數學都是主要的攻堅物件，任何胸懷大志的人工智能學習者都不要幻想繞過數學。

有的人會認為人工智能工具化的趨勢已經越發明顯。借助現成的各種深度學習框架、函數庫、軟件包（例如TensorFlow, scikitlearn等），即使不太了解算法背後的具體原理，更無須深究其中的數學細節，一個程序員稍加培訓，也能很快訓練出一個用於圖像識別的深度神經網絡。那是不是說明，借助工具化的方法就可以繞過數學這堵高墻了呢？

在一篇題為《放棄幻想，搞 AI 必須過數學關》的網文中，作者提出了這樣的觀點： “數學不過關的人在AI這個圈子裡是無法參與交流的，或者說得直白一點，是被人瞧不起的，根本無法被接納成為AI圈子裡的人。其次，數學不過關而只能調參數的人，

並不能勝任實際工作。最後，即便是調參這件事情本身，懂不懂數學也是有很大差別的。”

作為補充，我想回到波許教授有關墻的理論框架。注意，在他眼裡，墻的意義總體上是偏向積極的。他認為： 磚墻的存在是為了彰顯我們的決心，更將我們與那些並不真的想實現夢想之人區分開來。所以，如果說人工智能相關領域的職位薪資普遍更高，那也無疑是因為墻的存在，導致物以稀為貴的結果。

打個比方，在中華人民共和國建立初期，我國還不能自行生產抗生素。那時，像青霉素這種進口藥都奇貨可居，貴得離譜。後來，中國可以大規模自行生產青霉素之後，這種藥自然就變得非常廉價了。同理，最開始能夠從事人工智能相關工作的人少，所以薪資才高。畢竟在中國最開始的時候就能夠熟練使用TensorFlow的程序員肯定不多，那麼少數幾個還能把這種框架用起來的人薪資高也說得過去。但如果大部分程序員，甚至相關專業本科畢業生都能熟練使用有關框架進行深度學習應用開發，

可想而知，同樣職位的薪資最後就必然會被統一拉低。這時就更能凸顯擁有非對稱優勢者的價值。就拿調參數這種基本工作來說，“如果你數學不過關，對參數的意義和相關關係理解不深，方向感不強，只能半隨機地刷參數，那麼工作的單調性和煩瑣性

會大大上升，很難堅持到做出好的模型。”何況現實中的很多具體問題都要具體分析，本來就沒有放之四海而皆準的模型或算法。於是真的到了需要對算法進行改進，甚至針對具體應用開發新算法的時候，那些不懂原理的調包俠就只能望洋興嘆了。

墻的存在使得真心實現夢想的踐行者與其他只會空談的人得以區別。對於前者，遇到困難和付出努力是難免的。正如荀子所

言，無冥冥之志者，無昭昭之明； 無惛惛之事者，無赫赫之功。真正的人生難道不就是應該在翻過一面面墻的同時，使得自己更加強大的過程嗎？或許也只有這樣，當你回首往事時，才不會因虛度年華而悔恨，也不會因碌碌無為而羞恥。因為，在這樣的過程中，不是你成全了夢想，而是追夢本身成全了你的人生。

數學是機器學習和數據科學的基礎，任何期望涉足相關領域並切實領悟具體技術與方法的人都無法繞過數學這一關。本書系統地整理並介紹了機器學習中所涉及的必備數學基礎，這些都是筆者從浩如煙海的數學知識中精心選取的，在學習和研究機器學習技術時所必需的內容。具體包括概率論與數理統計、微積分（主要是與最優化內容相關的部分）、凸優化及拉格朗日乘數法、數值計算、泛函分析基礎（例如核方法賴以建立的希爾伯特空間理論）以及蒙特卡洛采樣（拒絕采樣、自適應拒絕采樣、重要性采樣、吉布斯采樣和馬爾可夫鏈蒙特卡洛）等內容。此外，為了幫助讀者強化所學，本書還從上述數學基礎出發，介紹了回歸（線性回歸、多項式回歸、非線性回歸、嶺回歸，以及LASSO等）、分類（感知機、邏輯回歸、樸素貝葉斯、決策樹、支持向量機、人工神經網絡等）、聚類（k均值、EM算法、密度聚類等）、降維與流形學習（SVD、PCA和MDS等）、集成學習（Bootstrap、Bagging、Boosting、AdaBoost與隨機森林）以及概率圖模型（貝葉斯網絡、隱馬爾可夫模型）等機器學習中的重要話題。本書可作為機器學習及相關課程的教學參考書，適合高等院校人工智能、機器學習或數據挖掘等相關專業的師生研習之用，也可供從事計算機應用（特別是數據科學相關專業）的研發人員參考。

自知論道須思量，幾度無眠一文章。由於時間和能力有限，書中紕漏在所難免，真誠地希望各位讀者和專家不吝批評、斧正。如果讀者在閱讀本書過程中遇到問題，或者有關於本書的各種意見和建議，可以通過在CSDN博客（博客名： 白馬負金羈）上留言的方式與我交流。本博客主要關注機器學習、數據挖掘、深度學習及數據科學等話題，提供的很多技術文章

都可以作為本書的補充資料，供廣大讀者自學時參考。

編者2021年1月

目錄

第1章最優化基礎

1.1泰勒公式

1.2黑塞矩陣

1.3正定與半正定矩陣

1.4凸函數與詹森不等式

1.4.1凸函數的概念

1.4.2詹森不等式及其證明

1.4.3詹森不等式的應用

1.5泛函與抽象空間

1.5.1線性空間

1.5.2距離空間

1.5.3賦範空間

1.5.4巴拿赫空間

1.5.5內積空間

1.5.6希爾伯特空間

1.6從泛函到變分法

1.6.1理解泛函的概念

1.6.2關於變分概念

1.6.3變分法的基本方程

1.6.4哈密頓原理

1.6.5等式約束下的變分

第2章概率論基礎

2.1概率論的基本概念

2.2隨機變量數字特征

2.2.1期望

2.2.2方差

2.2.3矩與矩母函數

2.2.4協方差與協方差矩陣

2.3基本概率分布模型

2.3.1離散概率分布

2.3.2連續概率分布

2.4概率論中的重要定理

2.4.1大數定理

2.4.2中心極限定理

2.5經驗分布函數

第3章統計推斷

3.1隨機采樣

3.2參數估計

3.2.1參數估計的基本原理

3.2.2單總體參數區間估計

3.2.3雙總體均值差的估計

3.2.4雙總體比例差的估計

3.3假設檢驗

3.3.1基本概念

3.3.2兩類錯誤

3.3.3均值檢驗

3.4最大似然估計

3.4.1最大似然法的基本原理

3.4.2求最大似然估計的方法

第4章采樣方法

4.1蒙特卡洛法求定積分

4.1.1無意識統計學家法則

4.1.2投點法

4.1.3期望法

4.2蒙特卡洛采樣

4.2.1逆采樣

4.2.2博克斯穆勒變換

4.2.3拒絕采樣與自適應拒絕采樣

4.3矩陣的極限與馬爾可夫鏈

4.4查普曼柯爾莫哥洛夫等式

4.5馬爾可夫鏈蒙特卡洛方法

4.5.1重要性采樣

4.5.2馬爾可夫鏈蒙特卡洛方法的基本概念

4.5.3米特羅波利斯黑斯廷斯算法

4.5.4吉布斯采樣

第5章信息論基礎

5.1信息論中的熵

5.2微分熵與KullbackLeibler散度

5.2.1微分熵

5.2.2微分熵與香農熵的關係

5.2.3相對熵

5.3率失真函數

5.4香農下邊界

第6章一元線性回歸

6.1回歸分析的性質

6.2回歸的基本概念

6.2.1總體的回歸函數

6.2.2隨機幹擾的意義

6.2.3樣本的回歸函數

6.3回歸模型的估計

6.3.1普通最小二乘法原理

6.3.2一元線性回歸的應用

6.3.3經典模型的基本假定

6.3.4總體方差的無偏估計

6.3.5估計參數的概率分布

6.4正態條件下的模型檢驗

6.4.1擬合優度的檢驗

6.4.2整體性假定檢驗

6.4.3單個參數的檢驗

6.5一元線性回歸模型預測

6.5.1點預測

6.5.2區間預測

第7章多元線性回歸

7.1多元線性回歸模型

7.2多元回歸模型估計

7.2.1最小二乘估計量

7.2.2多元回歸實例

7.2.3總體參數估計量

7.3從線性代數角度理解最小二乘

7.3.1最小二乘問題的通解

7.3.2最小二乘問題的計算

7.4多元回歸模型檢驗

7.4.1線性回歸的顯著性

7.4.2回歸系數的顯著性

7.5多元線性回歸模型預測

7.6格蘭杰因果關係檢驗

第8章線性回歸進階

8.1更多回歸模型函數形式

8.1.1雙對數模型以及生產函數

8.1.2倒數模型與菲利普斯曲線

8.1.3多項式回歸模型及其分析

8.2回歸模型的評估與選擇

8.2.1嵌套模型選擇

8.2.2赤池信息準則

8.3現代回歸方法的新進展

8.3.1多重共線性

8.3.2從嶺回歸到LASSO

8.3.3正則化與沒有免費午餐原理

8.3.4彈性網絡

8.3.5RANSAC

第9章邏輯回歸與最大熵模型

9.1邏輯回歸

9.2牛頓法解Logistic回歸

9.3應用實例： 二分類問題

9.3.1數據初探

9.3.2建模

9.4多元邏輯回歸

9.5最大熵模型

9.5.1最大熵原理

9.5.2約束條件

9.5.3模型推導

9.5.4極大似然估計

9.6應用實例： 多分類問題

9.6.1數據初探

9.6.2建模

第10章感知機與神經網絡

10.1從感知機開始

10.1.1感知機模型

10.1.2感知機學習

10.1.3多層感知機

10.1.4感知機應用示例

10.2基本神經網絡

10.2.1神經網絡結構

10.2.2符號標記說明

10.2.3後向傳播算法

10.3神經網絡實踐

10.3.1建模

10.3.2Softmax與神經網絡

第11章支持向量機與核方法

11.1線性可分的支持向量機

11.1.1函數距離與幾何距離

11.1.2最大間隔分類器

11.1.3拉格朗日乘數法

11.1.4對偶問題的求解

11.2松弛因子與軟間隔模型

11.3非線性支持向量機方法

11.3.1從更高維度上分類

11.3.2非線性核函數方法

11.3.3機器學習中的核方法

11.3.4默瑟定理

11.4對數據進行分類的實踐

11.4.1數據分析

11.4.2線性可分的例子

11.4.3線性不可分的例子

第12章決策樹

12.1決策樹基礎

12.1.1Hunt算法

12.1.2基尼測度與劃分

12.1.3信息熵與信息增益

12.1.4分類誤差

12.2決策樹進階

12.2.1ID3算法

12.2.2C4.5算法

12.3分類回歸樹

12.4決策樹剪枝

12.5決策樹應用實例

第13章集成學習

13.1集成學習的理論基礎

13.2Bootstrap方法

13.3Bagging與隨機森林

13.3.1算法原理

13.3.2應用實例

13.4Boosting與AdaBoost

13.4.1算法原理

13.4.2應用實例

13.5梯度提升

13.5.1梯度提升樹與回歸

13.5.2梯度提升樹與分類

13.5.3梯度提升樹的原理推導

第14章聚類分析

14.1聚類的概念

14.2k均值算法

14.2.1距離度量

14.2.2算法描述

14.2.3應用實例——圖像的色彩量化

14.3最大期望算法

14.3.1算法原理

14.3.2收斂探討

14.4高斯混合模型

14.4.1模型推導

14.4.2應用實例

14.5密度聚類

14.5.1DBSCAN算法

14.5.2應用實例

14.6層次聚類

14.6.1AGNES算法

14.6.2應用實例

14.7譜聚類

14.7.1基本符號

14.7.2拉普拉斯矩陣

14.7.3相似圖

14.7.4譜聚類切圖

14.7.5算法描述

14.7.6應用實例

第15章矩陣分解、降維與流形學習

15.1主成分分析

15.2奇異值分解

15.2.1一個基本的認識

15.2.2為什麼可以做SVD

15.2.3SVD與PCA的關係

15.2.4應用示例與矩陣偽逆

15.3多維標度法

第16章貝葉斯定理及其應用

16.1貝葉斯推斷中的基本概念

16.1.1貝葉斯公式與邊緣分布

16.1.2先驗概率與後驗概率

16.1.3共軛分布

16.2樸素貝葉斯分類器原理

16.3貝葉斯網絡

16.3.1基本結構單元

16.3.2模型推理

16.4貝葉斯網絡的應用示例

16.5隱馬爾可夫模型

16.5.1隨機過程

16.5.2從時間角度考慮不確定性

16.5.3前向算法

16.5.4維特比算法

附錄A數學傳奇

參考文獻