可解釋機器學習：黑盒模型可解釋性理解指南（簡體書）

推薦序一

機器學習可解釋性（Interpretability）或XAI（Explainable Artificial Intelligence）是機器學習的研究者們始終存在的一個擔憂：目前主流的深度神經網絡沒有辦法以一種從人類角度完全理解的模型和決策。對於可解釋性能要求較高的關鍵領域，例如交通、醫療、法律和財經等，我們會發現仍然無法完全相信模型的預測能力。因此，廣大的機器學習研究者們希望探求出的是，我們有沒有辦法去解釋這些模型，從而真正建立人與模型之間的信任。

機器學習的一般流程包括：收集數據、清洗數據、訓練模型、基於驗證或測試錯誤或其他評價指標選擇最好的模型。第一步，選擇具有比較低的錯誤率和比較高的準確率的高精度模型。第二步，面臨準確率和模型復雜度之間的權衡，一個模型越復雜就越難以解釋。一個簡單的線性回歸非常好解釋，因為它只考慮了自變量與因變量之間的線性相關關係，但是也正因為如此，它無法處理更復雜的關係，模型在測試集上的預測精度也更可能比較低。而深度神經網絡處於另一個極端，因為它們能夠在多個層次進行抽象推斷，所以它們可以處理因變量與自變量之間非常復雜的關係，並且達到非常高的精度。但是這種復雜性也使模型成為黑箱，我們無法獲知所有產生模型預測結果的特征之間的關係，所以我們只能用準確率、錯誤率等評價標準來代替，進而評估模型的可信性。

然而事實上，每個分類問題的機器學習流程中都應該包括模型理解和模型解釋。比如，在模型改進方面，通過理解指標特征、分類、預測，進而理解為什麼一個機器學習模型會做出這樣的決定、什麼特征在決定中起最重要的作用，能讓我們判斷模型是否符合常理。再比如，在模型可信性與透明度，理解機器學習模型在提高模型可信度和提供審視預測結果透明度方面是非常有必要的。讓黑金模型來決定人們的生活是不現實的，比如貸款和監獄刑法。機器學習的可解釋性也可以很好地幫助我們識別和防止偏差，比如用於招聘的機器學習模型，揭示了在特定職位上的性別偏差，比如男性軟件工程師和女性護士。

要做好可解釋性，需要將數據科學與機器學習有機地結合起來。機器學習模型本身由算法組成，該算法試圖從數據中學習潛在的模式和關係，而無須硬編碼固定規則；數據科學家通常致力於構建模型並為業務提供解決方案。模型解釋作為一個概念，仍然主要是理論和主觀的。任何機器學習模型的核心都有一個響應函數，它試圖映射和解釋獨立（輸入）自變量和（目標或響應）因變量之間的關係和模式。我們在建立模型時，需要考慮What、Why 及How，輸出的結果可以包括自變量的重要性、分類，模型的可解釋範圍、評估及其特性，包括準確性、保真性、可用性、可靠性、健壯性和通用性等。最後，輸出的結果可否有人性化解釋，這通常可以與自然語言生成相結合。

目前，關於可解釋性的圖書還比較有限，Christoph Molnar 在2018 年撰寫的Interpretable Machine Learning 給大家提供了很好的指導。你可以從這本書中學習簡單的、可解釋的模型，如線性回歸、決策樹和決策規則等。該書後面幾章重點介紹了解釋黑盒模型的與模型無關的一般方法，如特征重要性和累積局部效應，以及用Shapley 值和LIME 解釋單個實例預測。對各種解釋方法進行了深入的解釋和批判性的討論。它們是如何工作的？優點和缺點是什麼？如何解釋它們的輸出？本書使你能夠選擇並正確應用最適合你的機器學習項目的解釋方法。這本書結合了各類現實生活中的例子來介紹相關的概念，同時搭配參考資料幫助讀者進一步學習了解。

隨著更多的深度學習模型框架的出現，比如最近流行的語言模型Transformer，打開這些“黑盒子”的正確方式將變得越來重要。這也是一個多學科交叉的綜合性學科，需要機器學習從業者、數據科學家和統計學家一起努力！

楊紅霞博士

阿裡巴巴達摩院資深算法專家

推薦序二

朱明超同學是2018 年作為推免研究生進入復旦大學計算機學院學習的。我作為他的導師，在兩年多工作和生活的接觸中，發現他是一位對生活積極樂觀、對學習認真專注的同學。

我們實驗室從事機器學習、深度學習和自然語言處理等方面的研究。在此次人工智能熱潮中，以深度學習為代表的大型復雜黑盒模型在不斷地大幅刷新各類學習任務SOTA 性能，同時也因缺乏解釋性而限制了其應用範圍。研究和建立事前、事中和事後的全過程可解釋性機制具有重要的理論研究意義和應用價值。結合實驗室的研究方向和朱明超同學的個人興趣，從入學開始，便選擇了可解釋機器學習作為他的研究課題，進行系統的學習和研究。

目前在可解釋機器學習方面的中文資料相當稀缺，缺少相關的系統性教學及科研資料。朱明超所翻譯的Christoph Molnar 博士撰寫的《可解釋機器學習》一書恰好填補了這一空白。他在翻譯本書過程中極其認真，傾注了大量的時間和心血。這種認真的態度，保障了本書內容的質量。

本書覆蓋了可解釋機器學習最基本的概念和算法，條分縷析，通俗易懂。更可貴的是，本書將可解釋性算法的理論、優缺點和實際使用過程結合起來，具有很強的實用性。在可解釋機器學習受到研究界高度關注、實踐需求快速增長的背景下，本書是一本很好的讀物，相信不同的讀者都會從中獲益。

謝志鵬

復旦大學計算機學院副教授

作者序

機器學習受到了很多研究人員和業內人士的關注，有很多可落地且有影響的應用。機器學習對於產品開發、科學研究和自動化來說是一種強大的技術。例如，機器學習可被用於金融交易欺詐檢測、電影推薦和圖像分類。機器學習模型是否具有可解釋性通常是至關重要的，因為可解釋性可以幫助開發人員調試和改進模型，建立對模型的信任，驗證模型預測並獲得洞察力。機器學習可解釋性需求的增加是機器學習使用量增加的自然結果。

撰寫本書一開始是我作為統計學家工作之餘的副業。起初，我沒有寫書的打算，相反，我只是對尋找更多關於可解釋機器學習的信息感興趣，尋找好的資源來學習。鑒於機器學習的成功和可解釋性的重要性，我以為市面上會有大量關於這個主題的圖書和教程。但是，我只在網上找到了一些相關的研究論文和博客文章，沒有找到很好的綜述論文。甚至可以說，沒有圖書，沒有教程，沒有綜述論文。這種現狀啟發我開始寫這本書。當我開始學習可解釋機器學習時，我希望這本書能夠出版。我寫這本書的意義是雙重的：既為了自己學習，也為了與他人分享新知識。

我在德國慕尼黑大學獲得了統計學學士和碩士學位。我的機器學習知識大部分是通過網絡課程、競賽、項目和專業活動自學的。我的統計學背景是學習機器學習的極好基礎，尤其是在可解釋性方面。在統計學中，一個主要的關注點是建立可解釋的回歸模型。在我取得統計學碩士學位後，我決定不去讀博士，因為我不喜歡寫論文，寫作給我的壓力太大了。因此，我在一家金融科技初創企業擔任數據科學家，並在臨床研究中擔任統計學家。在工業界工作三年之後，我開始寫這本書。幾個月後，我開始攻讀可解釋機器學習的博士學位。這本書讓我重新找到了寫作的樂趣，重新激發了我對研究的熱情。

本書主要內容

這本書涵蓋了可解釋機器學習的許多技術。第1 章介紹了可解釋性的概念，並闡述了可解釋性的必要性，以及一些短篇故事。第2 章討論了解釋的不同性質，以及人類認為什麼是好的解釋。第3 章介紹了本書中實驗用到的真實數據集。第4 章討論了內在可解釋的機器學習模型，例如回歸模型和決策樹。第5 章討論了本書的主要焦點，即與模型無關的可解釋性方法。與模型無關意味著這些方法可以應用於任何機器學習模型，並且是在模型訓練完成後才應用的。模型的獨立性使得這些與模型無關的方法非常靈活和強大。有些技術可以解釋單個實例預測是如何做出的，如局部代理和Shapley 值。還有一些技術描述模型在數據集的全局行為。我們將學習部分依賴圖、累積局部效應圖、置換特征重要性和其他方法。第6 章討論了基於樣本的解釋方法，它生成數據點作為解釋，反事實解釋、原型、有影響力的實例和對抗樣本都是在本書中討論的基於樣本的解釋方法。第7 章提出了一些思考，即可解釋機器學習的未來可能會是什麼樣子的。

如何閱讀本書

讀者不需要從頭到尾閱讀本書，可以集中精力在自己最感興趣的方法上。建議從引言和可解釋性開始閱讀。後面每一節著重於一種解釋方法：首先總結這種方法；然後試著不依賴數學公式直觀地描述它；最後詳細描述該方法的理論，得到一個深刻的理解。我認為，最好通過示例來理解一個新方法。因此，每種方法都運用在真實數據上。每一節還包含了對各自解釋方法優缺點的討論，最後給出了每種方法的軟件實現。這本書可以幫助讀者選擇適合自己的應用程序的解釋方法。

這本書已經成為許多人的寶貴資源。教師使用這本書向學生介紹可解釋機器學習的概念。我收到了很多碩士研究生和博士生的郵件，告訴我這本書是他們論文的起點和重要的參考。這本書幫助生物、金融、心理等領域的應用研究人員使用機器學習來理解他們的數據。工業界的數據科學家告訴我，他們在工作中使用並向同事推薦這本書。我很高興許多人能從本書中受益，成為模型解釋方面的專家。

我希望把這本書推薦給那些想要了解一些技術的從業者，以使他們的機器學習模型更具可解釋性。同時，也推薦給對這個主題感興趣的學生和研究人員。若要從這本書中受益，應該對機器學習和數學公式有基本的了解，即使在沒有足夠數學知識的情況下，也應該能夠理解每一節開頭對方法的直觀描述。

希望你能喜歡這本書!

Christoph Molnar

譯者序

機器學習的研究者們始終存在一種擔憂——人類無法理解現在的復雜模型的決策。即便機器學習在圖像、自然語言和語音等領域有了極高的性能，但我們仍然對這些預測心存戒備。這正是因為我們不了解這些模型的預測依據是什麼，也不知道它們會在什麼時候出現錯誤。正因如此，這些復雜模型難以部署到高風險決策的領域中，例如醫療、法律、軍事、金融，等等。因此，我們亟須找到方法去解釋這些模型，建立人與模型之間的信任。這便是可解釋機器學習如此重要的原因。

為什麼翻譯本書

盡管可解釋性的重要性不言而喻，但相關書籍卻一直空缺。本書是少有的系統性地整理可解釋性工作的圖書。書中每節介紹一種解釋方法，既通過通俗易懂的語言直觀地描述這種方法，也通過數學公式詳細地介紹方法的理論，無論是對技術從業者還是對研究人員均大有裨益。同時，書中將每種方法都在真實數據上進行了測試，我認為這是本書最大的特色，因為只有將方法落實到數據上進行實驗，才能讓人們真正理解這種方法。最後，書中對每種方法的優缺點都做了批判性討論，這同樣是非常值得閱讀的地方。

本書的英文版Interpretable Machine Learning由Christoph 所寫。英文版出版後就備受關注，廣受讀者喜愛。讓知識真正普及的方法一定是先讓知識能傳播，但這需要有人去推動才行。我看到這本書的原文後，覺得值得花時間去翻譯，不僅因為可解釋性領域的重要性以及它是第一本相關圖書，而且因為它符合我對好書的定義。我認為一本好書既能讓知識傳遞，又能讓讀者讀完後豁然開朗。從那之後，我便開始專注於譯本，翻譯過程耗時很久。在翻譯過程中，我與Christoph 一直保持交流。我沉浸於此書的譯本，既是因為可解釋性是我研究和喜歡的領域，也是因為我熱愛這件事，我喜歡將自己的時間和精力都專注在自己熱愛的事情上。

出版過程與致謝

完成本書譯稿後，我便將它放到了GitHub 上。在剛放出內容時，便登上了GitHub 熱榜榜首，被諸多公眾號和媒體轉載。雖然我在翻譯時力求忠於原文、表達簡練，但譯稿中難免有不足與錯誤，因此我對譯稿進行了反復修訂。在完成譯稿的過程中，電子工業出版社博文視點的宋亞東編輯幫助了我，他的熱情和敬業真的感染了我。他對譯稿進行了全面細致的校對，提出了極多寶貴的意見，在此表示由衷的感謝。

感謝為本書做出貢獻的劉蕊，在翻譯過程中幫助了我。

感謝謝志鵬老師給我的指導和幫助。

感謝好友李映江全程給予我的支持和幫助。

感謝通過郵件等方式告訴我書中錯誤與疏漏之處的朋友們，因為有你們的幫助才能有本書最終的譯稿。

由於水平有限，書中不足之處在所難免，敬請專家和讀者批評指正。

朱明超

目錄
推薦序一/III
推薦序二/V
作者序/Ⅶ
譯者序/Ⅸ

第1章引言/1
1．1故事時間/2
1．1．1閃電不會擊中兩次/2
1．1．2信任倒下/4
1．1．3費米的回形針/6
1．2什麼是機器學習/7
1．3術語/8

第2章可解釋性/13
2．1可解釋性的重要性/14
2．2可解釋性方法的分類/18
2．3可解釋性的範圍/20
2．3．1算法透明度/20
2．3．2全局、整體的模型可解釋性/21
2．3．3模塊層面上的全局模型可解釋性/21
2．3．4單個預測的局部可解釋性/22
2．3．5一組預測的局部可解釋性/22
2．4可解釋性評估/22
2．5解釋的性質/23
2．6 人性化的解釋/25
2．6．1 什麼是解釋/26
2．6．2 什麼是好的解釋/26
第3 章數據集/31
3．1 自行車租賃（回歸） /32
3．2 YouTube 垃圾評論（文本分類） /32
3．3 宮頸癌的危險因素（分類） /33

第4 章可解釋的模型/35
4．1 線性回歸/36
4．1．1 解釋/38
4．1．2 示例/40
4．1．3 可視化解釋/41
4．1．4 解釋單個實例預測/44
4．1．5 分類特征的編碼/45
4．1．6 線性模型是否有很好的解釋/46
4．1．7 稀疏線性模型/47
4．1．8 優點/50
4．1．9 缺點/50
4．2 邏輯回歸/51
4．2．1 線性回歸用於分類有什麼問題/51
4．2．2 理論/52
4．2．3 解釋/53
4．2．4 示例/55
4．2．5 優缺點/56
4．2．6 軟件/57
4．3 GLM、GAM 和其他模型/57
4．3．1 非高斯結果輸出――GLM /59
4．3．2 交互/63
4．3．3 非線性效應――GAM /66
4．3．4 優點/71
4．3．5 缺點/71
4．3．6 軟件/72
4．3．7 進一步擴展/72
4．4 決策樹/73
4．4．1 解釋/75
4．4．2 示例/76
4．4．3 優點/77
4．4．4 缺點/78
4．4．5 軟件/78
4．5 決策規則/79
4．5．1 OneR /81
4．5．2 順序覆蓋/85
4．5．3 貝葉斯規則列表/88
4．5．4 優點/93
4．5．5 缺點/94
4．5．6 軟件和替代方法/94
4．6 RuleFit /95
4．6．1 解釋和示例/96
4．6．2 理論/97
4．6．3 優點/100
4．6．4 缺點/101
4．6．5 軟件和替代方法/101
4．7 其他可解釋模型/101
4．7．1 樸素貝葉斯分類器/102
4．7．2 k-近鄰/102

第5 章與模型無關的方法/103
5．1 部分依賴圖/105
5．1．1 示例/106
5．1．2 優點/108
5．1．3 缺點/110
5．1．4 軟件和替代方法/110
5．2 個體條件期望/111
5．2．1 示例/111
5．2．2 優點/115
5．2．3 缺點/115
5．2．4 軟件和替代方法/115
5．3 累積局部效應圖/115
5．3．1 動機和直覺/115
5．3．2 理論/119
5．3．3 ALE 圖的估計/120
5．3．4 示例/123
5．3．5 優點/130
5．3．6 缺點/131
5．3．7 軟件和替代方法/132
5．4 特征交互/132
5．4．1 特征交互的概念/133
5．4．2 理論：弗裡德曼的H 統計量/134
5．4．3 示例/135
5．4．4 優點/137
5．4．5 缺點/138
5．4．6 實現/138
5．4．7 替代方法/138
5．5 置換特征重要性/139
5．5．1 理論/139
5．5．2 應該計算訓練數據的重要性還是測試數據的重要性/140
5．5．3 示例和解釋/142
5．5．4 優點/143
5．5．5 缺點/145
5．5．6 軟件和替代方法/146
5．6 全局代理模型/146
5．6．1 理論/146
5．6．2 示例/148
5．6．3 優點/150
5．6．4 缺點/150
5．6．5 軟件/150
5．7 局部代理模型（LIME） /150
5．7．1 表格數據的LIME /152
5．7．2 文本的LIME /155
5．7．3 圖像的LIME /156
5．7．4 優點/156
5．7．5 缺點/158
5．8 Shapley 值/158
5．8．1 總體思路/158
5．8．2 示例與解釋/162
5．8．3 詳細的Shapley 值/163
5．8．4 優點/167
5．8．5 缺點/168
5．8．6 軟件和替代方法/169
5．9 SHAP /169
5．9．1 SHAP 的定義/169
5．9．2 KernelSHAP /171
5．9．3 TreeSHAP /174
5．9．4 示例/175
5．9．5 SHAP 特征重要性/176
5．9．6 SHAP 概要圖/177
5．9．7 SHAP 依賴圖/178
5．9．8 SHAP 交互值/179
5．9．9 聚類SHAP 值/180
5．9．10 優點/180
5．9．11 缺點/181
5．9．12 軟件/182

第6 章基於樣本的解釋/183
6．1 反事實解釋/185
6．1．1 生成反事實解釋/187
6．1．2 示例/189
6．1．3 優點/190
6．1．4 缺點/190
6．1．5 軟件和替代方法/191
6．2 對抗樣本/191
6．2．1 方法與示例/192
6．2．2 網絡安全視角/198
6．3 原型與批評/199
6．3．1 理論/200
6．3．2 示例/205
6．3．3 優點/205
6．3．4 缺點/206
6．3．5 軟件和替代方法/206
6．4 有影響力的實例/206
6．4．1 刪除診斷/209
6．4．2 影響函數/213
6．4．3 識別有影響力的實例的優點/218
6．4．4 識別有影響力的實例的缺點/218
6．4．5 軟件和替代方法/219

第7 章水晶球/221
7．1 機器學習的未來/223
7．2 可解釋性的未來/224

參考文獻/227