圖說深度學習：用可視化方法理解複雜概念（簡體書）

[美]安德魯·格拉斯納：
擁有北卡羅來納州教堂山分校電腦科學博士學位，他是一位專門從事電腦圖形學和深度學習的研究的科學家。他目前是Weta Digital（維塔數位）的高級研究科學家，致力於將深度學習與電影和電視世界級視覺效果的製作相結合。他曾在IBM沃森實驗室、施樂PARC和微軟研究所等實驗室擔任研究員。同時他也是最早的圖形研究雜誌ACM-TOG9(計算機圖形學國際頂級期刊)的主編，和最早的計算機圖形學會議SIGGRAPH（Special Interest Group for Computer GRAPHICS，由美國計算機協會計算機圖形專業組組織的計算機圖形學頂尖年度會議）的技術論文主席。他撰寫或編輯了十幾本關於電腦圖形學的技術書籍，包括著名的Principles of Digital Image Synthesis、Graphics Gems系列等。

譯者簡介：
趙鳴，2006年獲華中師範大學電腦輔助教學碩士學位，2015年獲哈爾濱工業大學電腦應用方向博士學位，現任長江大學教授。目前主持在研省部級項目四項，橫向項目兩項。他的研究興趣包括計算智慧、影像和訊號處理、模式識別等。他是荊州市智慧警務專家成員，也是IEEE資深成員

曾小健，出版AI圖書多部，在量化金融和AI領域有多年經驗，計算機博士在讀，CSDN博客專家，多個大模型開源項目源碼貢獻人，曾在華為雲、中關村在線等多所大型互聯網科技企業擔任重要職務，GitHub：ArtificialZeng; CSDN:AI生成曾小健。

李現偉，日本早稻田大學博士畢業，碩士生導師，主要從事大數據、機器學習、物聯網等方向的教學與工作。發表SCI論文20餘篇，主持及參與安徽省自然科學基金、安徽省重點研究開發計畫、安徽省教育廳優秀青年基金計畫等多項。獲得中國發明協會創業獎成果獎二等獎，獲得綠色礦山科學技術獎二等獎一項。

任玉柱，畢業於國防科學技術大學網路工程專業，主要研究方向為資訊安全，機器學習，人工智慧，發表相關領域研究文章3篇。

詳細目錄
致謝
前言
這本書是為誰準備的······································ ········································
這本書沒有複雜的數學和代碼
如果你想要的話，這裡有程式碼
圖片也可以找到！
勘誤
關於本書
第1部分：基礎理論
第2部分：初級機器學習
第3部分：深度學習的基礎
第4部分：進階知識
最後的話·················· ·················· ····························

第一部分基礎理論1
第1 章機器學習技術概述2
1.1 專家系統
1.2 監督學習
1.3 無監督學習
1.4 強化學習
1.5 深度學習
1.6 本章總結

第2 章統計基礎11
2.1 描述隨機性
2.2 隨機變數與機率分佈
2.3 常見的分佈
詳細目錄VII
2.3.1 連續分佈
2.3.2 離散分佈
2.4 隨機值的集合
2.4.1 期望值
2.4.2 依賴
2.4.3獨立同分佈變數
2.5 取樣與替換
2.5.1 替換取樣法
2.5.2 無替換取樣法
2.6 自取樣法
2.7 協方差與相關性
2.7.1 協方差
2.7.2 相關性
2.8 統計資料的限制
2.9 高維空間
2.10 本章總結

第3 章表現測量37
3.1 不同類型的機率
3.1.1 投擲飛鏢
3.1.2 簡單機率
3.1.3 條件機率
3.1.4 聯合機率
3.1.5 邊緣機率
3.2 評估正確性
3.2.1 樣本分類
3.2.2 混淆矩陣
3.2.3 錯誤的特徵
3.2.4 評估正確與否
3.2.5 準確率
3.2.6 精確度
3.2.7 召回率
3.2.8 精確度與召回率的權衡
3.2.9 誤導性結果
3.2.10 F1分數
3.2.11關於這些指標
3.2.12 其他評估方式
3.3 正確構造混淆矩陣
3.4 本章總結

第4 章貝葉斯方法66
4.1 頻率法與貝氏機率
4.1.1 頻率法
4.1.2 貝葉斯方法
4.1.3 頻率派與貝葉斯派
4.2 頻率法擲硬幣
4.3 貝葉斯方法擲硬幣
4.3.1 啟發性的例子
4.3.2 繪製拋擲硬幣的機率
4.3.3 用機率表示拋擲硬幣
4.3.4 貝葉斯公式
4.3.5 關於貝葉斯公式的討論
4.4 貝葉斯公式與混淆矩陣
4.5 再論貝葉斯公式
4.5.1 後驗-先驗循環
4.5.2 貝葉斯循環實戰
4.6 多重假設
4.7 本章總結

第5 章曲線與曲面
5.1 函數的性質
5.2 導數
5.2.1 最大值與最小值
5.2.2 切線
5.2.3 以導數求最小值和最大值
5.3 梯度
5.3.1 水、重力和梯度
5.3.2 用梯度求最大值與最小值
5.3.3 鞍點
5.4 本章總結

第6 章資訊理論
6.1 資訊帶給我們的驚訝感
6.1.1 為什麼會驚訝
6.1.2 資訊解密
6.2 衡量資訊量
6.3 自適應碼
6.3.1 摩斯電碼
6.3.2 調整摩斯電碼
6.4 熵
6.5 交叉熵
6.5 .1 兩種自適應碼
6.5.2 使用編碼
6.5.3 實踐中的交叉熵·
6.6 KL散度
6.7 本章總結

第二部分初級機器學習
第7 章分類
7.1 二維空間的二元分類問題
7.2 二維空間的多分類問題
7.3 多元分類
7.3.1 一對多
7.3.2 一對一
7.4 聚類
7.5 維度詛咒
7.5. 1 維度與密度
7.5.2 高維奇異性
7.6 本章總結

第8 章訓練與測試
8.1 訓練
8.2 測試
8.2.1 測試集
8.2.2 驗證集
8.3 交叉驗證
8.4 k-Fold交叉驗證法
8.5 本章總結

第9 章過擬合與欠擬合
9.1 找到一個好的擬合
9.1.1 過擬合
9.1.2 欠擬合
9.2 檢測和解決過擬合
9.2.1 提前停止
9.2.2 正則化
9.3 偏差和方差
9.3.1 匹配基礎數據
9.3.2 高偏差與低方差
9.3.3 低偏差與高方差
9.3.4 比較曲線
9.4 用貝葉斯方法擬合直線
9.5 本章總結

第10 章資料預處理
10.1 基本資料清洗
10.2 資料一致性
10.3 資料類型
10.4 獨熱編碼
10.5 歸一化與標準化
10.5.1 歸一化
10.5.2 標準化
10.5.3 記錄轉換過程
10.6 其他轉換方式
10.6.1切片處理
10.6.2 樣本切片
10.6.3 特徵切片
10.6.4 元素切片
10.7 逆變換
10.8 交叉驗證中的資訊外洩
10.9 收縮資料集
10.9.1 特徵選擇10.9.2 降維10.10 主成分分析10.9.1 特徵選擇
10.9.2 降維
10.10 主成分分析
10.簡單圖像的PCA處理
10.10.2 真實影像的主成分分析
10.11 本章總結
第11 章分類器
11.1 常見分類器
11.2 k-最近鄰演算法
11.3 決策樹
11.3.1 決策樹概覽
11.3.2 決策樹建構
11.3.3 過擬合樹
11.3.4 分割節點
11.4 支援向量機
11.4.1 基礎演算法
11.4.2 支援向量機核函數
11.5 樸素貝葉斯
11.6 分類器的比較
11.7 本章總結

第12 章整合學習
12.1 投票
12.2 決策樹的整合
12.2.1 裝袋演算法
12.2.2 隨機森林
12.2.3 極端隨機樹整合
12.3 助推法
12.4 本章總結

第三部分深度學習的基礎
第13 章神經網路
13.1 生物神經元
13.2 人工神經元
13.2.1 感知器
13.2.2 現代人工神經元
13.3 繪製神經元
13.4 前饋網路
13.5 神經網路圖
13.6 初始化權重
13.7 深度神經網路
13.8 全連接層
13.9 張量
13.10 防止坍縮
13.11 激活函數
13.11.1 直線函數
13.11.2 階躍函數
13.11.3 分段線性函數
13.11.4 平滑函數
13.11.5 激活
函數圖像13.
13.12 Softmax函數
13.13 本章總結

第14 章反向傳播演算法
14.1 訓練過程概述
14.1.1 降低誤差
14.1.2 一個緩慢的學習演算法
14.1.3 梯度下降
14.2 快速開始
14.3 微型神經網路中的反向傳播
14.3.1 尋找輸出神經元的增量
14.3.2 使用δ來調整權重
14.3.3 其他神經元的δ值
14.4 大型神經網路中的反向傳播演算法
14.5 學習率
14.5.1 建構二分類器
14.5.2 選擇學習率
14.5.3 更小的學習率
14.6 本章總結

第15 章優化器
15.1 以二維曲線表示誤差
15.2 調整學習率
15.2.1 恆定大小的更新
15.2.2 隨著時間的推移改變學習率
15.2.3 衰減調整策略
15.3 更新策略
15.3.1 批量梯度下降法
15.3.2 隨機梯度下降法
15.3.3 小批次梯度下降法
15.4 梯度下降的變體
15.4.1 動量
15.4.2 內斯特羅夫動量
15.4.3 AdaGrad演算法
15.4.4 Adadelta和RMSProp15.4.5
15.4.5 15. Adam演算法
15.5 優化器的選擇
15.6 正規化
15.6.1 Dropout
15.6.2 BatchNorm
15.7 本章總結

第四部分進階知識
第16 章卷積神經網路
16.1 初識卷積
16.1.1 顏色檢測
16.1.2 權重共享
16.1.3 大一點的捲積核
16.1.4 卷積核和特徵
16.1.5 填充
16.2多維卷積
16.3 多重卷積核
16.4 卷積層
16.4.1 一維卷積
16.4.2 1×1卷積
16.5 更改輸出大小
16.5.1 池化
16.5.2 跨步前進
16.5.3 轉置卷積
16.6卷積核的層次結構
16.6.1 簡化假設
16.6.2 尋找面具
16.6.3 尋找眼睛、鼻子和嘴巴
16.6.4 應用卷積核
16.7 本章總結

第17 章卷積網路實務
17.1 手寫數字分類
17.2 VGG16
17.3 圖解卷積核（1）
17.4 圖解卷積核（2）
17.5 對抗樣本
17.6 本章總結

第18 章自編碼器
18.1 編碼簡介
18.2 混合表示
18.3 最簡單的自編碼器
18.4 更好的自編碼器
18.5 探索自編碼器
18.5.1 探索潛在變數
18.5.2 參數空間
18.5.3 混合潛在變數
18.5. 4 基於新輸入的預測
18.6 卷積自編碼器
18.6.1 混合潛在變數
18.6.2 基於新輸入的預測
18.7 去噪
18.8 可變自編碼器
18.8.1 潛在變數的分佈
18.8.2 可變自編碼器結構
18.9 探討VAE
18.9.1 使用MNIST樣本
18.9.2 使用兩個潛在變數
18.9.3 產生新的輸入
18.10 本章總結

第19 章循環神經網路
19.1 處理語言
19.1.1 常見的NLP任務
19.1.2 文字數值化
19.1.3 微調與下游網路
19.2 全連結預測
19.2.1 測試網路
19.2.2 失敗的原因
19.3 循環神經網路
19.3. 1 狀態
XVI
19.3.2 捲起圖表
19.3.3 實踐循環單元
19.3.4 訓練循環神經網路
19.3.5 長短期記憶與門控循環網絡
19.4 使用循環神經網路
19.4.1 處理太陽黑子資料
19.4.2 生成文本
19.4.3 其他架構
19.5 Seq2Seq
19.6 本章總結

第20 章註意力機制與Transformer模型
20.1 嵌入
20.1.1 詞嵌入技術
20.1.2 ELMo模型
20.2 注意力機制
20.2.1 形像比喻
20.2.2 自註意力機制
20.2.3 Q/KV注意力機制
20.2.4多頭注意力機制
20.2.5 層圖示
20.3 Transformer模型
20.3.1 跳躍連接
20.3.2 Norm-Add
20.3.3 位置編碼
20.3.4 建置Transformer模組
20.3.5 運行Transformer模組
20.4 BERT和GPT-2
20.4.1 BERT
20.4.2 GPT-2
20.4.3 生成器討論
20.4.4 資料中毒
20.5 本章總結

第21 章強化學習
21.1 基本思想
21.2 學習新遊戲
21.3 強化學習的結構
21.3.1 步驟1：代理選擇操作
21.3.2 步驟2：環境做出反應
21.3.3 步驟3：代理自我更新
21.3.4 回到全域
21.3.5 理解回報
21.4 Flippers
21.5 L-Learning
21.5.1 基礎知識
21.5.2 L-Learning演算法
21.5.3 效能測試
21.5.4 不可預測性21.6
Q-Learning 21.6.1 Q. -Learning策略21.6.3 策略總覽21.6.4 房間裡的大象21.6.5 Q-Learning的作用21.7 SARSA 21.7.1 SARSA演算法21.7.2 SARSA的角色21.7.3 Q-Learning與SARSA的比較21.8 縱觀全域 21.9 本章總結

第22 章生成對抗網路
22.1 偽造籌碼
22.1.1 從經驗中學習
22.1.2 訓練生成器網路
22.1.3 學習過程
22.1.4 理解對抗性
22.2 實現生成對抗網路
22.2.1 鑑別器
22.2.2 生成器
22.2 .3 訓練生成對抗網路
22.3 生成對抗網路的作用
22.3.1 建構鑑別器與生成器
22.3.2 訓練網路
22.3.3 測試網路
22.4 深度卷積生成對抗網路
22.5 挑戰
22.5.1 大樣本訓練
22.5.2 模態崩潰
22.5.3 使用產生的資料訓練
22.6 本章總結

第23 章創意應用
23.1 深夢系統
23.1.1 刺激卷積核
23.1.2 測試我們的演算法
23.2 神經風格遷移
23.2.1 表現風格
23.2.2 表現內容
23.2.3 風格與內容23.2.4 測試演算法23.3 生成演算法23.3
生成演算法
本書更多內容
23.4 本章總結
23.5 最後的思考
參考文獻
圖片來源
索引

第15章優化器

訓練神經網路通常是一個非常耗時的過程，任何能加速這個過程的方法都將受到我們的歡迎。本章將介紹一系列優化神經網路的方法，這些方法旨在透過提高梯度下降的效率來加快學習速

度。我們的目標是使梯度下降運行得更快，並避免一些可能導致其陷入困境的問題。這些方法還自動完成了一些尋找最佳學習率的工作，包括可以隨著時間的推移自動調整學習率的演算法。這些方法統稱為最佳化器。每個優化器都有其優點和缺點，為了在訓練神經網路時做出正確的選擇，我們需要了解它們。讓我們先繪製一些能夠直觀地表示誤差的圖形，並觀察誤差是如何變化的。這些圖形將幫助我們建立一些與後面介紹的演算法相關的基礎知識。

15.1 用二維曲線表示誤差

從幾何思想的角度來思考系統中的錯誤是比較直觀的，所以我們經常將誤差繪製為二維曲線。

為了熟悉這個二維誤差曲線，我們參考一個將兩個類別的樣本拆分為排列在一條線上的點的範例。負值處的點屬於一類，零及正值方向的點屬於另一類，如圖15-1所示。圖15-1：一條線上的兩類點。0值左邊的點為類別0，用藍色表示；其他點為類別1，用黃色表示讓我們為這些樣本建立一個分類器。在本例中，邊界僅包含一個數字。該數字左側的所有樣本都分配給類別0，右側的所有樣本則分配給類別1。想像如果我們沿著這條線移動這個分界點，就可以計算出被錯誤分類的樣本數量，並稱之為誤差。我們可以將結果總結為一張圖，其中X軸顯示了每個潛在的分界點，與該點相關的誤差繪製為其上方曲線中的一個點。圖15-2顯示了這個過程。

根據第14章介紹的使用平滑誤差函數曲線計算梯度（從而應用反向傳播演算法）的方法，我們可以對圖15-2的誤差曲線進行平滑處理，如下頁圖15-3所示。

對於這組特定的隨機數據，邊界點為0或0左邊一點時，誤差是0。因此不管從哪

裡開始，我們都希望分類器最終在0這一點結束。

我們的目標是找到一種方法來定位任何誤差曲線的最小值。如果能做到，就可以將

其應用於神經網路的所有權重，從而減少整個神經網路的誤差。

15.2 調整學習率

使用梯度下降來訓練系統時，最關鍵的超參數是學習率，通常用小寫希臘字母

η(eta)表示，取值範圍在0.01至0.0001之間。η取較大的值會帶來更快的學習，但可能

會導致我們過度調整神經元的參數，從而錯過誤差的最佳取值（波谷）。η取較小的值

（ 接近0，但始終為正）會導致學習速度減慢，並可能陷入局部的波谷（局部最優解），

即使附近有更深的波谷（全域最優解），它們可能永遠無法到達。下頁圖15-4以圖形

方式概括了這些現象。

許多優化器都包含一個重要思想，那就是我們可以透過改變學習率來提高學習效

率。這種想法類似於使用金屬探測器在海灘上尋找埋藏的金屬。我們首先要邁出大步，

在海灘上尋找大致的位置，但當探測器亮起，我們會採取越來越小的移動步伐來確定金

屬物體的詳細位置。同樣，我們通常在深度學習過程的早期沿著誤差曲線邁出大步，同

時尋找低谷。隨著時間的推移，越來越接近它的最低點，採取的學習率也越來越小，最

終找到那個山谷。

我們可以用一條簡單的誤差曲線來表示這個最佳化器，該曲線包含一個孤立的具有負

高斯曲線形狀的谷值，如圖15-5所示。

為了清晰展示，圖15-6中的坡度已縮小到其實際值的25%。我們可以看到，該曲線

小於0的輸入值，梯度為負值；而大於0的輸入數值，梯度為正值。輸入為0時，處於碗的

最底部，因此那裡的梯度為0，僅繪製為一個點。

15.2.1 恆定大小的更新

首先來觀察使用恆定的學習率時會發生什麼？換句話說，總是用相同的η值來縮放梯度，該值在整個訓練過程中保持不變。圖15-7顯示了恆定大小更新的基本步驟。