人工智能的數學基礎（簡體書）

本書詳細介紹了人工智能領域涉及的數學基礎，對於每個問題盡可能給出足夠詳盡的證明過程，以幫助讀者深入理解智能算法的原理。本書內容涉及線性代數、高等數學、概率論、化等多個數學分支內的重要知識點。採用公式推導、圖表示例、應用舉例相結合的方式，以翔實的語言、全新的視角，幫助讀者理解其中的關鍵知識點。

全書共分為10章: 第1章、第3章、第4章詳細介紹與人工智能算法相關的向量與矩陣分析、函數與泛函分析、概率與數理統計的數學基礎。第2章介紹可用於評定不同待觀測樣本相似程度的度量方法。第5章重點介紹人工智能領域涉及的信息論知識。第6章結合實例介紹線性分析與卷積的數學基礎。第7章詳細介紹與模型正則化及範數相關的數學基礎知識。第8章介紹目標函數化相關數學知識。第9章重點介紹核函數映射相關內容。第10章介紹數據驅動人工智能模型性能評價與度量相關知識。

本書適合人工智能專業的學生、對人工智能感興趣的學者、正在從事人工智能應用開發的工程師，以及其他想深入了解智能算法行之有效原因的讀者參考閱讀。

1. 證明詳盡、推導清晰

對於涉及到的數學結論，本書採用簡單、易於理解的方式，給出詳盡的證明過程。

2. 結合實例、基礎為主

為了便於理解，結合代表性人工智能算法實例，講述對應數學知識點。

3. 知識全面、深入淺出

本書內容涵蓋線性代數、高等數學、概率論等多個數學分支內的重要知識點。採用公式推導、圖表示例、應用舉例相結合的方式，以詳實的語言、全新的視角，幫助讀者理解其中的關鍵知識點。

人類區別於地球其他生物的顯著特徵是具有創造並使用工具的能力。這是人類智能的象徵，也是人類智能的體現。通常，人類對於自己擁有的智能習以為常，並將其稱為本能或潛意識。除此之外，人類對於自己表現出的智能一無所知。我們無法解釋人類智能是如何得來的，更無法講清楚自己是如何處理日常生活及做出正確決策的。

但是，我們可以通過人類固有的創造工具、使用工具的智能，改造機器，特別是計算機程序，使其針對某一特定問題盡可能地產生與人類智能決策相似的結果。在早期很長一段時間內，人工智能被定義為具有一定邏輯推理能力的計算機程序。我們將這一時期稱為前人工智能時代。時至今日，我們將當前這一基於數據統計分析從歷史數據中發現規律、規則、模式的時代稱為弱人工智能時代。這一時代的智能可以歸納為以數據分析為基礎的輔助人類決策的自動化程序。可以預見，在不久的將來，可將人類知識用於約束機器經驗知識的學習過程，從而增強結果的可解釋性，進入使計算機具有與人類大腦相匹配的邏輯分析能力的強人工智能時代。即便是強人工智能時代，機器的邏輯分析能力仍然建立在人類先驗知識的指導下，是對人類大腦分析處理問題能力的近似模擬，這也正是人工智能中“人工”二字的真正含義。

正因如此，有研究認為，人工智能就是用於模仿人類思考、行為、感知、學習的計算程序。實際上，人工智能不只是計算機程序，還應該包括工業自動化控制、機器人學等。在不考慮倫理學束縛的情況下，只有多個學科通力合作，賦予機器更多的除計算分析以外的行為能力、情感能力，甚至於使其產生一定的自我意識，才能實現真正的機器智能。

作為基礎學科，數學在人工智能領域，特別是智能算法領域，起著舉足輕重的作用。這是因為，數學是人類智能的精華，是人類表達自己思維方式的有效手段，是當前以統計與計算為基礎的弱人工智能發展與進步的基石。人工智能領域的數學涵蓋微積分、線性代數與矩陣分析、概率論與數理統計、泛函分析、最優化理論等多個數學分支。只有打好扎實的數學基礎，才能深入理解智能算法的本質，正確運用已有的智能算法，發現其中可能存在的問題，並將自己的聰明才智引入其中，從而推動學科的發展。馮朝路副教授自2007年跟隨我攻讀碩士學位以來，一直在人工智能領域從事相關研究工作。眾多門生中，他最喜歡刨根問底，對問題的理解也最深入。這一優秀質量使得他在相關領域取得了一系列代表性成果。本書基本上涵蓋了人工智能領域涉及的數學知識，並結合實例對相關知識點進行了深入淺出的講解。本書必將成為其在相關領域的又一代表性著作，也必將對人工智能相關專業的人才培養起到積極的推動作用。

教授於2022年2月8日〖3〗人工智能的數學基礎

對於多數人來說，數學枯燥無味，卻又不得不學。從小到大，總有人在耳邊不斷強調其重要性。回憶童年，除了對父母的第一聲呼喚以外，我們被教授的第一個概念就是有與無，然後是對自然數的認知。上小學後，數學老師教我們加減乘除運算。背誦九九乘法口訣是每個人童年回憶中不可或缺的元素。讀初中後，包括有理數、無理數、一元二次方程、平面幾何在內的數學知識步入我們的學習生活。到了高中，三角函數、復數、不等式、數列、解析幾何不知讓多少學生為之抓狂。更有甚者，不少學生因數學成績不好而影響高考擇校。步入大學，包括高等數學、線性代數、概率論與數理統計在內，數學門類更多、知識點更寬更深，為大學生掛科率做出了突出“貢獻”。直到畢業前，甚至於參加工作以後，很多人仍然迷茫“數學有用”是不是親愛的老師們編織的“謊言”。

本書作者還是要繼續強調數學的重要性。這是因為，數學是人類智能的結晶，是人類智能皇冠上璀璨的明珠，是人類科技進步的根基。數學基礎理論的穩步發展或者某個數學難題的突破性進展往往會推動多個相關學科的飛躍式發展，人工智能也不例外。起源於20世紀50年代的人工智能技術，經歷了兩次高潮、兩次低谷。第一次高潮以智力遊戲為代表的邏輯推理智能為主。第二次高潮以機器翻譯為代表的知識庫智能為主。早在第一次高潮時期，就有“二十年內，機器將能完成人能做到的一切”的激進論斷。但是，計算機計算性能的不足、人工智能算法的普適性不強、數據量不足是導致人工智能在前兩次高潮後均遭遇低谷的重要原因。隨著7nm晶體管的商業化，特別是通用可編程圖形硬件的發展，計算機的計算能力得到飛躍式提升。另外，網絡化、數字化的生活為數據的產生提供了溫床。由此產生的數據包含大量有用但需要挖掘的信息。基於此，人工智能人工智能包括: 工業智能與智能算法。本書的人工智能均指的是智能算法。自21世紀第一個10年以來，正處於依模式識別為代表的基於經驗數據的第三次高潮期。2019年，我國第一批35所高校獲批“人工智能”本科專業，並開始招生。火熱的高潮吸引著諸多科研工作者、程序員、學生的眼球，使他們心生向往。更有觀點認為人工智能超過人類智能的時間點，又稱奇點，為2045年。但接觸過相關知識的初學者往往因其涉及較多數學門類、知識過於繁雜，望而卻步。曾經的躊躇滿志、信心滿懷，被數學的現實打擊得支離破碎。多數人半途而廢，倒在探索的路上。堅持下來的人只能獨立在多個數學門類中穿梭，結合人工智能算法涉及的知識點，重拾那些曾經讓自己“魂牽夢縈”的數學原理。數學門類的多樣性、知識點的發散性，大大阻礙了學習效果。書籍是知識傳播的最佳途徑之一。基於此，本書著眼於人工智能核心算法涉及的數學知識，立足於為讀者全面系統地進行梳理，提供深入淺出的講解，希望起到拋磚引玉的作用，讓數學的學習變得有針對性，使讀者覺得學習數學是有趣的，而不是枯燥乏味的。

鑒於時間倉促且作者自識水平有限，本書內容難免存在疏漏與不足之處，若蒙讀者不吝告知，甚是感激。相關內容請發電子郵件到fengchaolu@cse.neu.edu.cn，以便再版時修正或補充。

感謝我的母親幫忙照顧我可愛的女兒，為我解決了生活的後顧之憂！感謝岳母的嘮叨，給了我寫作之外的生活的真實！計劃編寫本書時值我女兒百天之日。編寫過程中，感謝我的妻子與女兒近五百個日日夜夜的陪伴。多少個夜晚想要放棄編寫，她們安然熟睡的笑臉，給了我提起精神、繼續寫作的動力。謹以此書獻給我的妻子和女兒。

副教授2022年2月8日

第1章特徵向量與矩陣分析1

1.1標量1

1.2特徵向量與特徵空間2

1.2.1特徵空間的正交性3

1.2.2特徵向量的大小與方向3

1.3向量轉置4

1.4向量加法4

1.5向量乘法5

1.5.1向量數乘5

1.5.2向量內積6

1.5.3向量外積8

1.5.4分量乘法8

1.6向量的線性相關性9

1.7矩陣分析與人工智能9

1.8矩陣轉置11

1.9矩陣加法12

1.10矩陣乘法13

1.10.1矩陣數乘13

1.10.2矩陣內積14

1.10.3矩陣內積的外積展開15

1.10.4元素乘法15

1.11矩陣的特徵值與特徵向量16

1.12矩陣的秩17

1.12.1初等變換18

1.12.2初等矩陣19

1.13矩陣的逆19

1.14矩陣的分塊操作22

1.15矩陣的跡24

1.16矩陣分解26

1.16.1LU分解26

1.16.2特徵分解27

1.16.3奇異值分解29

〖3〗人工智能的數學基礎目錄〖3〗1.17二次型與正定矩陣30

1.18張量32

小結32

習題33

參考文獻34

第2章相似性度量35

2.1相似性度量的重要性35

2.2相似性度量的多樣性36

2.3閔氏距離37

2.3.1曼哈頓距離38

2.3.2歐氏距離39

2.3.3切比雪夫距離39

2.3.4曼切轉換39

2.4馬氏距離40

2.4.1維度相關問題41

2.4.2獨立化處理41

2.4.3與歐氏距離的關係42

2.5余弦距離43

2.5.1夾角余弦43

2.5.2距離度量44

2.6漢明距離44

2.6.1嚴格定義44

2.6.2松弛定義45

2.7杰卡德距離45

2.7.1嚴格定義45

2.7.2松弛定義45

2.8皮爾森距離46

2.8.1相關係數46

2.8.2距離度量47

2.8.3局限性47

2.9斯皮爾曼距離48

2.9.1相關係數48

2.9.2距離度量49

2.10肯德爾距離50

2.10.1相關係數50

2.10.2距離度量51

小結52

習題52

參考文獻53

第3章函數與泛函分析55

3.1集合55

3.1.1定義與表示56

3.1.2元素特性56

3.1.3集合運算57

3.1.4凸集分離定理58

3.2區間60

3.2.1定義與表示60

3.2.2元素特性61

3.2.3區間算術61

3.3函數映射62

3.3.1自變量與因變量63

3.3.2多元函數63

3.3.3復合函數64

3.3.4連續性、單調性、奇偶性65

3.3.5函數凸性與極值66

3.3.6激活函數68

3.4導數69

3.4.1函數可導與泰勒展開69

3.4.2求導法則72

3.4.3偏導數與雅可比矩陣73

3.4.4方向導數與梯度76

3.4.5Hessian矩陣與函數凸性77

3.4.6凸函數成立條件78

3.4.7散度79

3.5微積分79

3.5.1微分79

3.5.2密切圓與曲率81

3.5.3不定積分81

3.5.4定積分82

3.6泛函數分析83

3.6.1基函數與函數內積84

3.6.2特徵值與特徵函數84

3.6.3線性空間與線性映射85

3.6.4對偶空間與對偶基85

3.6.5希爾伯特空間86

小結87

習題88

參考文獻89

第4章條件概率與貝葉斯90

4.1事件與概率90

4.1.1隨機試驗90

4.1.2樣本空間90

4.1.3隨機事件91

4.1.4概率91

4.1.5條件概率92

4.1.6事件獨立性92

4.1.7全概率93

4.2隨機變量及其概率分布93

4.2.1隨機變量93

4.2.2概率分布94

4.2.3獨立同分布94

4.3樣本統計量95

4.3.1均值95

4.3.2樣本方差96

4.3.3期望96

4.3.4概率方差97

4.3.5協方差97

4.3.6協方差矩陣98

4.4常見的概率分布98

4.4.1二項分布98

4.4.2泊松分布99

4.4.3指數分布與伽馬分布99

4.4.4貝塔分布100

4.4.5高斯分布及其變形100

4.4.6其他分布103

4.5貝葉斯決策103

4.5.1離散型貝葉斯公式103

4.5.2連續型貝葉斯公式104

4.5.3最小錯誤率貝葉斯決策105

4.5.4最小風險貝葉斯決策107

4.5.5樸素貝葉斯分類108

4.6參數估計109

4.6.1估計量與估計值109

4.6.2點估計與區間估計109

4.6.3置信區間與水平110

4.6.4估計量的評價110

4.6.5矩估計111

4.6.6最小二乘估計112

4.6.7最大似然估計112

4.6.8最大後驗概率估計114

4.6.9貝葉斯估計與共軛分布114

4.7假設檢驗116

4.7.1原假設與備擇假設116

4.7.2棄真與取偽116

4.7.3顯著性水平與pvalue117

4.7.4雙側檢驗與單側檢驗118

4.7.5代表性檢驗統計量與方法118

小結118

習題119

參考文獻120

第5章信息論與熵121

5.1人工智能與信息論121

5.2特徵編碼122

5.2.1直接編碼122

5.2.2Onehot編碼123

5.2.3Dummy編碼123

5.3壓縮編碼124

5.3.1聚類124

5.3.2特徵降維124

5.3.3特徵選擇125

5.3.4稀疏編碼126

5.3.5壓縮感知127

5.4決策編碼127

5.4.1假設空間128

5.4.2版本空間128

5.4.3決策平面128

5.4.4糾錯輸出碼128

5.5決策解碼129

5.5.1聚類129

5.5.2線性分類130

5.5.3糾錯輸出碼130

5.5.4特徵降維130

5.6自編碼130

5.6.1恒等變換130

5.6.2欠完備自編碼131

5.6.3稀疏自編碼131

5.6.4收縮自編碼器131

5.7不確定性與熵132

5.7.1定義與性質132

5.7.2聯合熵133

5.7.3條件熵134

5.7.4交叉熵與損失函數135

5.7.5相對熵與KL散度136

5.8互信息136

5.8.1定義與性質137

5.8.2點互信息138

5.8.3與熵的關係138

小結139

習題140

參考文獻141

第6章線性分析與卷積142

6.1線性分析142

6.1.1線性運算142

6.1.2線性空間142

6.1.3線性空間基143

6.1.4線性映射與變換143

6.1.5線性映射的矩陣表達144

6.1.6坐標變換144

6.2線性判別145

6.2.1判別函數145

6.2.2判別分析146

6.2.3非線性問題147

6.3卷積148

6.3.1定義148

6.3.2兩個例子150

6.3.3性質151

6.3.4邊界填充152

6.3.5步長153

6.3.6與線性變換的關係154

6.3.7幾種特殊應用154

6.4池化154

6.4.1定義155

6.4.2作用與意義155

6.4.3與卷積的關係155

6.5反卷積156

6.5.1作用與意義156

6.5.2與線性變換的關係156

6.5.3卷積表示157

小結158

習題158

參考文獻159

第7章正則化與範數160

7.1過擬合問題與正則化160

7.1.1泛化能力161

7.1.2過擬合與欠擬合161

7.1.3假設空間與歸納偏好161

7.1.4無免費午餐定理162

7.2硬正則化164

7.2.1數據歸一化、標準化164

7.2.2提前終止訓練166

7.2.3權值共享166

7.2.4池化167

7.2.5隨機失效167

7.2.6集成學習168

7.2.7支持向量機169

7.3軟正則化170

7.3.1損失函數170

7.3.2期望風險171

7.3.3經驗風險172

7.3.4置信風險173

7.3.5VC維與置信風險173

7.3.6目標函數與支持向量機174

7.4範數正則化175

7.4.1定義與性質175

7.4.2向量範數175

7.4.3矩陣範數176

7.4.4關聯關係178

小結178

習題179

參考文獻179

第8章最優化理論與方法180

8.1最優化的意義與重要性180

8.2直接法181

8.2.1極值、最值與駐點181

8.2.2一元函數182

8.2.3二元函數182

8.2.4多元函數183

8.3無約束迭代法183

8.3.1一般迭代法183

8.3.2下降迭代法183

8.4梯度法184

8.4.1一階泰勒展開184

8.4.2柯西施瓦茨不等式184

8.4.3學習率與梯度降184

8.4.4最速下降法185

8.4.5批量下降法與隨機下降法185

8.5牛頓法186

8.5.1二階泰勒展開與Hessian矩陣186

8.5.2一維線性搜索186

8.6擬牛頓法187

8.6.1Hessian逆的秩1修正188

8.6.2Hessian逆的秩2修正189

8.6.3秩1修正的逆190

8.6.4Hessian矩陣的近似及其變形191

8.7共軛梯度法193

8.7.1共軛向量與共軛方向193

8.7.2共軛方向法194

8.7.3共軛方向與梯度的正交關係196

8.7.4基於梯度的共軛方向生成198

8.8次梯度法201

8.8.1次梯度定義201

8.8.2次梯度取值201

8.8.3次梯度優化條件202

8.9坐標下降法202

8.9.1基本原理202

8.9.2解的可靠性203

8.9.3與共軛方向法的關係204

8.10約束優化205

8.10.1拉格朗日乘數法206

8.10.2KKT條件207

8.10.3拉格朗日對偶207

8.10.4強對偶成立的條件209

8.10.5一個實例212

小結214

習題215

參考文獻216

附錄216

第9章核函數映射219

9.1線性不可分問題219

9.2Cover定理221

9.2.1普通位置向量集221

9.2.2維度與線性可分的關係221

9.3核函數224

9.3.1Mercer定理225

9.3.2可組合擴展性226

9.3.3有效核的構造228

9.4多項式核228

9.4.1核矩陣的半正定性228

9.4.2齊次有序單項式向量空間229

9.4.3有序單項式向量空間231

9.4.4齊次無序單項式向量空間232

9.4.5無序單項式向量空間233

9.4.6線性核234

9.4.7高階非線性核234

9.5徑向基核235

9.5.1徑向基函數235

9.5.2高斯核236

9.5.3冪指數核238

9.5.4拉普拉斯核238

9.5.5核矩陣的半正定性239

9.6Sigmoid核239

9.6.1條件半正定240

9.6.2與徑向基核的關係240

9.7艱難的抉擇241

9.8一個實例241

小結242

習題243

參考文獻243

第10章性能評價與度量244

10.1性能評價的意義與重要性244

10.2模型選擇與交叉驗證244

10.3錯誤率與精度246

10.4混淆矩陣247

10.5查準查全問題248

10.5.1查準率與查全率249

10.5.2PR曲線249

10.5.3F分數250

10.6真假陽性問題251

10.6.1真/假陽/陰性率251

10.6.2ROC曲線與AUC252

10.7多混淆矩陣問題256

10.7.1宏平均256

10.7.2微平均257

10.8代價敏感問題258

10.8.1代價敏感矩陣258

10.8.2代價曲線與預測錯誤總體代價259

10.9假設檢驗261

10.9.1單一模型261

10.9.2多模型262

小結262

習題263

參考文獻264