面向信號處理的機器學習：數據科學、算法與計算統計學（簡體書）

本書融合了統計機器學習和數字信號處理方面的知識，詳細描述了相關的數學基礎和算法，以扎實的、逐步推進的方式引入並講解概念，以便在實際的軟件應用中實現這些想法和算法。對於我們面臨的實際問題，書中提供了技術背景，解釋了為什麼某些方法（而不是其他方法）能夠成為zui佳實踐；而對於新的問題，書中則提供了框架，教會你如何進行思考和尋求解決之道。 本書適合有信號處理背景，並且有意深入學習和應用機器學習的讀者閱讀。

麥克斯·A. 裡特爾
（Max A. Little）
伯明翰大學計算機科學學院副教授，麻省理工學院媒體實驗室客座副教授，牛津大學納菲爾德臨床神經科學系榮譽副教授，曾為阿斯頓大學數學教授。他是信號處理和機器學習領域的專家，致力於將機器學習應用於數字健康領域，研究成果具有很高的影響力，為量化帕金森病等神經系統疾病的研究打下了基礎。他已發表了60多篇學術論文，擁有2項專利。此外，他還是一些政府機構和國際公司的顧問，並且入選為TED Fellow。

前　言

Machine Learning for Signal Processing：Data Science，Algorithms,and Computational Statistics





數字信號處理（DSP）是現代世界中一個“基礎”的工程課題，但在某種意義上也是一個看不見的工程課題。如果沒有它，許多我們習以為常的技術——數字電話、數字收音機、電視、CD和MP3播放器、WiFi、雷達等——都是不可能實現的。相比之下，統計機器學習（statistical machine learning）是一種相對較新的技術，它是目前已經達到普及水平的多項前沿技術的理論支柱，例如汽車牌照識別、語音識別、股市預測、裝配在線的缺陷檢測等自動化技術，機器人導航和自動汽車導航。統計機器學習起源於近古典概率論和統計學與人工智能的融合，它利用了生物大腦中智能信息處理、複雜統計建模和推理之間的相似性。

數字信號處理和統計機器學習在知識經濟中具有廣泛的重要性，兩者都經歷了迅速的變化，在範圍和適用性方面都有了根本性的改善。數字信號處理和統計機器學習都利用了應用數學中的重要知識，如概率統計、代數、微積分、圖形學和網絡。這兩個學科之間存在著密切的聯繫，因此，一種正在形成的觀點是，數字信號處理和統計機器學習不應被視為單獨的學科。這兩個學科之間存在的許多知識和技術的重疊可以被開發和利用，生產出具有驚人的實用性、高效性和廣泛適用性的數字信號處理工具，非常適合當今世界普及的數字傳感器和高性能但廉價的計算硬件。本書為面向信號處理的統計機器學習課題提供了堅實的數學基礎，包括當代概念的概率圖模型（PGM）和非參數貝葉斯（nonparametric Bayes），以及近才出現的解決DSP問題的重要概念。


這本書面向高年級本科生、研究生以及相關領域的研究人員和從業人員，闡述了基本的數學概念，並通過工程和科學中一系列問題的相關實例加以說明。其目的是使具有數學、統計學或物理學等學科背景的學生，能夠在這個快速發展的領域中迅速掌握新的技術和概念。本書中數學的呈現方式與標準的本科物理或統計學教科書大致相同，沒有繁雜的技術內容和專業術語，同時又不缺失嚴謹性。這將是一本很好的教科書，適用於面向信號處理的機器學習新興課程。

目　錄

Machine Learning for Signal Processing：Data Science，Algorithms,and Computational Statistics








譯者序

前言
第1章　數學基礎1
　1.1　抽象代數1

1.1.1　群1

1.1.2　環2

　1.2　度量3

　1.3　向量空間4

1.3.1　線性算子6

1.3.2　矩陣代數7

1.3.3　方陣和可逆矩陣7

1.3.4　特徵值和特徵向量8

1.3.5　特殊矩陣9

　1.4　概率與隨機過程10

1.4.1　樣本空間、事件、度量和
分布10

1.4.2　聯合隨機變量：獨立性、
條件性和邊緣性12

1.4.3　貝葉斯準則13

1.4.4　期望、生成函數和
特徵函數14

1.4.5　經驗分布函數和樣本期望16

1.4.6　變換隨機變量17

1.4.7　多元高斯分布和其他
極限分布17

1.4.8　隨機過程19

1.4.9　馬爾可夫鏈20

　1.5　數據壓縮與信息論23

1.5.1　信息映射的重要性25

1.5.2　互信息和KL散度26

　1.6　圖27

　1.7　凸性29

　1.8　計算複雜性31

1.8.1　複雜性的階和大O表示法31

1.8.2　可處理和難處理的問題：
NP完全性31
第2章　優化33
　2.1　預備知識33

2.1.1　連續可微問題與臨界點33

2.1.2　等式約束下的連續優化：
拉格朗日乘子34

2.1.3　不等式約束：二元性和
KarushKuhnTucker條件35

2.1.4　迭代法的收斂性和收斂
速度36

2.1.5　不可微的連續問題37

2.1.6　離散（組合）優化問題38

　2.2　連續凸問題的解析方法39

2.2.1　L2範數目標函數39

2.2.2　混合L2-L1範數目標
函數40

　2.3　連續凸問題的數值方法41

2.3.1　迭代重加權小二乘法41

2.3.2　梯度下降42

2.3.3　調整步長：線搜索43

2.3.4　牛頓方法45

2.3.5　其他梯度下降方法47

　2.4　不可微連續凸問題47

2.4.1　線性規劃48

2.4.2　二次規劃48

2.4.3　次梯度法49

2.4.4　原始對偶內點法50

2.4.5　路徑跟蹤方法52

　2.5　連續非凸問題53

　2.6　離散（組合）優化的啟發式算法53

2.6.1　貪婪搜索54

2.6.2　（簡單）禁忌搜索54

2.6.3　模擬退火55

2.6.4　隨機重啟56
第3章　隨機采樣57
　3.1　生成（均勻）隨機數57

　3.2　從連續分布中進行采樣58

3.2.1　分位數函數（逆累積分布
函數）與逆變換采樣58

3.2.2　隨機變量變換方法59

3.2.3　拒絕采樣59

3.2.4　對數凹密度的自適應
抑制采樣60

3.2.5　特殊分布的特殊方法62

　3.3　離散分布采樣63

3.3.1　基於順序查找的逆變換
采樣63

3.3.2　離散變量的拒絕采樣64

3.3.3　（大）有限樣本空間的逆序
二分查找64

　3.4　一般多元分布的采樣65

3.4.1　原始采樣65

3.4.2　吉布斯采樣66

3.4.3　MetropolisHastings算法68

3.4.4　其他馬爾可夫鏈蒙特卡羅
方法70
第4章　統計建模和推斷73
　4.1　統計模型73

4.1.1　參數模型和非參數模型73

4.1.2　貝葉斯模型和非貝葉斯
模型74

　4.2　概率推斷74

4.2.1　似然和小KL散度75

4.2.2　損失函數和經驗風險估計76

4.2.3　後驗和正則化77

4.2.4　正則化、模型複雜性和
數據壓縮79

4.2.5　交叉驗證和正則化82

4.2.6　自助法83

　4.3　貝葉斯推理84

　4.4　與度量和範數相關的分布86

4.4.1　小二乘法86

4.4.2　小Lq範數87

4.4.3　協方差、加權範數和
馬氏距離88

　4.5　指數族89

4.5.1　熵分布90

4.5.2　充分統計和規範90

4.5.3　共軛先驗93

4.5.4　先驗和後驗可預測指數族95

4.5.5　共軛指數族先驗混合95

　4.6　通過分位數定義的分布96

　4.7　與分段線性損失函數相關的
密度98

　4.8　非參數密度估計100

　4.9　采樣推理101

4.9.1　馬爾可夫鏈蒙特卡羅
推理101

4.9.2　馬爾可夫鏈蒙特卡羅方法
的收斂性評估102
第5章　概率圖模型104
　5.1　利用概率圖模型的統計建模104

　5.2　對概率圖模型中條件獨立性的
探討107

5.2.1　隱藏變量和觀察變量107

5.2.2　定向連接和分離108

5.2.3　節點的馬爾可夫毯109

　5.3　關於概率圖模型的推論110

5.3.1　精確推理110

5.3.2　近似推理113
第6章　統計機器學習117
　6.1　特徵和核函數117

　6.2　混合建模117

6.2.1　混合模型的吉布斯采樣119

6.2.2　混合模型的期望化119

　6.3　分類121

6.3.1　二次判別分析和線性判別
分析122

6.3.2　邏輯回歸123

6.3.3　支持向量機124

6.3.4　分類損失函數和誤分類
計數126

6.3.5　分類器的選擇127

　6.4　回歸127

6.4.1　線性回歸127

6.4.2　貝葉斯和正則線性回歸128

6.4.3　線性參數回歸129

6.4.4　廣義線性模型130

6.4.5　非參數、非線性回歸131

6.4.6　變量選擇133

　6.5　聚類134

6.5.1　K均值和變量135

6.5.2　軟K均值聚類、均值
漂移聚類及其變體137

6.5.3　半監督聚類和分類139

6.5.4　聚類數的選擇139

6.5.5　其他聚類方法140

　6.6　降維140

6.6.1　主成分分析141

6.6.2　概率主成分分析143

6.6.3　非線性降維145
第7章　線性高斯系統和信號
處理148
　7.1　預備知識148

7.1.1　三角信號和相關函數148

7.1.2　復數、單位根和復指數149

7.1.3　線性高斯模型的邊緣和
條件150

　7.2　線性時不變系統151

7.2.1　卷積和脈衝響應151

7.2.2　離散時間傅裡葉變換152

7.2.3　有限長周期信號：離散
傅裡葉變換156

7.2.4　連續時間線性時不變
系統159

7.2.5　海森堡不確定性160

7.2.6　吉布斯現象161

7.2.7　離散時間線性時不變系統的
傳遞函數分析162

7.2.8　快速傅裡葉變換164

　7.3　線性時不變信號處理167

7.3.1　有理濾波器設計：有限脈衝
響應和無限脈衝響應濾波167

7.3.2　數字濾波器設計方案175

7.3.3　超長信號的傅裡葉變換176

7.3.4　作為離散卷積的核回歸178

　7.4　線性高斯DSP的統計穩定性
研究179

7.4.1　離散時間高斯過程和
DSP179

7.4.2　非參數功率譜密度估計183

7.4.3　參數化功率譜密度估計187

7.4.4　子空間分析：在DSP中
使用主成分分析188

　7.5　卡爾曼濾波192

7.5.1　用於卡爾曼濾波計算的
連接樹算法193

7.5.2　前向濾波194

7.5.3　後向平滑195

7.5.4　不完全數據似然196

7.5.5　線性高斯系統中的
維特比譯碼196

7.5.6　BaumWelch參數估計197

7.5.7　信號子空間分析中的
卡爾曼濾波199

　7.6　時變線性系統200

7.6.1　短時傅裡葉變換和完美
重構200

7.6.2　連續時間小波變換202

7.6.3　離散化和離散小波變換204

7.6.4　小波設計207

7.6.5　離散小波變換的應用208
第8章　離散信號：采樣、量化
和編碼210
　8.1　離散時間采樣210

8.1.1　帶限采樣211

8.1.2　均勻帶限采樣：Shannon
Whittaker插值212

8.1.3　廣義均勻采樣214

　8.2　量化217

8.2.1　率失真理論218

8.2.2　LloydMax和熵約束量化器
設計220

8.2.3　統計量化和抖動223

8.2.4　矢量量化228

　8.3　有損信號壓縮229

8.3.1　音頻壓縮擴展229

8.3.2　線性預測編碼230

8.3.3　變換編碼232

　8.4　壓縮感知234

8.4.1　稀疏和不相干235

8.4.