滿額折
深度強化學習落地指南（簡體書）
相關商品
商品簡介
作者簡介
目次
商品簡介
本書從工業界一線算法工作者的視角，對深度強化學習落地實踐中的工程經驗和相關方法論做出了深度思考和系統歸納。本書跳出了原理介紹加應用案例的傳統敘述模式，轉而在橫向上對深度強化學習落地過程中的核心環節進行了完整複盤。主要內容包括需求分析和算法選擇的方法，動作空間、狀態空間和回報函數設計的理念，訓練調試和性能衝刺的技巧等。本書既是前人智能與作者個人經驗的交叉印證和精心整合，又構成了從理論到實踐再到統一方法論的認知閉環，與市面上側重於算法原理和代碼實現的強化學習書籍形成了完美互補。
作者簡介
魏 甯
本科和碩士分別畢業於西安交通大學和中國科學院大學計算機專業，在國際頂級會議和期刊上發表多篇學術論文，曾就職於德國KUKA Robotics從事協作機器人智能應用研發工作，目前在海康威視研究院任算法專家，負責深度學習、強化學習等領域的創新研究和落地應用，同時也是互聯網社區“深度強化學習實驗室”核心成員。
目次
第1章 需求分析 1
1．1 需求分析：勿做DRL鐵錘人 1
1．2 一問“是不是” 2
1．2．1 Agent和環境定義 2
1．2．2 瑪律可夫決策過程和強化學習 3
1．3 二問“值不值” 5
1．3．1 試試規則和啟發式搜索 5
1．3．2 別忘了傳統強化學習 7
1．3．3 使用DRL的理由 7
1．4 三問“能不能” 9
1．4．1 場景固定：兩個分佈一致 9
1．4．2 數據廉價：多、快、好、費 13
1．5 四問“邊界在哪裡” 16
1．6 本章小結 18
參考文獻 19
第2章 動作空間設計 23
2．1 動作空間設計：這裡大有可為 23
2．1．1 被忽視的價值 23
2．1．2 動作空間的常見類型 24
2．1．3 動作空間設計的基本原則 26
2．2 動作空間的完備性 26
2．2．1 功能完備 27
2．2．2 時效完備 29
2．3 動作空間的高效性 30
2．3．1 化整為零：以精度換效率 31
2．3．2 有機組合：尺度很重要 33
2．4 動作空間的合法性 35
2．4．1 非法動作遮罩機制 36
2．4．2 Agent的知情權 37
2．5 本章小結 39
參考文獻 40
第3章 狀態空間設計 43
3．1 狀態空間設計：特徵工程的誘惑 43
3．2 狀態空間設計的兩種常見誤區 44
3．2．1 過分依賴端到端特徵學習 44
3．2．2 極致特徵工程 44
3．3 與動作空間和回報函數的協同設計 45
3．3．1 與動作空間尺度一致 45
3．3．2 以回報函數為中心 46
3．4 狀態空間設計的四個步驟 47
3．4．1 任務分析 47
3．4．2 相關信息篩選 49
3．4．3 泛化性考量 53
3．4．4 效果驗證 58
3．5 本章小結 61
參考文獻 62
第4章 回報函數設計 64
4．1 回報函數設計：面向強化學習的程序設計 64
4．2 稀疏回報問題 65
4．2．1 孤獨無援的主線回報 65
4．2．2 稀疏回報問題的本質 66
4．3 輔助回報 67
4．3．1 子目標回報 67
4．3．2 塑形回報 70
4．3．3 內驅回報 76
4．3．4 回報取值的注意事項 77
4．4 回報函數設計的常見陷阱 78
4．4．1 魯莽 79
4．4．2 貪婪 80
4．4．3 懦弱 82
4．5 最優回報問題 83
4．6 基於學習的回報函數 84
4．6．1 經典方法 84
4．6．2 前沿方法 85
4．7 本章小結 87
參考文獻 88
第5章 算法選擇 92
5．1 算法選擇：拿來主義和改良主義 92
5．1．1 DRL算法的發展脈絡 92
5．1．2 一篩、二比、三改良 94
5．1．3 從獨當一面到眾星捧月 96
5．2 牢記經典勿忘本 97
5．2．1 DQN 98
5．2．2 DDPG 99
5．2．3 A3C 102
5．3 關注SOTA算法別留戀 105
5．3．1 TD3 105
5．3．2 SAC 107
5．3．3 PPO 110
5．4 其他算法 112
5．5 本章小結 113
參考文獻 113
第6章 訓練調試 119
6．1 訓練調試：此事要躬行 119
6．2 訓練前的準備工作 120
6．2．1 制定訓練方案 120
6．2．2 選擇網絡結構 124
6．2．3 隨機漫步 128
6．2．4 數據預處理 129
6．3 訓練進行時 131
6．3．1 反脆弱：擁抱不確定性 131
6．3．2 調節超參數 134
6．3．3 監控訓練狀態 143
6．4 給初學者的建議 146
6．5 本章小結 148
參考文獻 149
第7章 性能衝刺 154
7．1 性能衝刺：為DRL注入強心劑 154
7．2 課程學習 155
7．2．1 源任務及其分類 155
7．2．2 應用方式 157
7．3 額外監督信號 162
7．3．1 有監督預訓練 163
7．3．2 輔助任務 164
7．4 進化策略 169
7．4．1 基本原理 169
7．4．2 關鍵細節 170
7．4．3 應用方式 174
7．5 本章小結 175
參考文獻 176
1．1 需求分析：勿做DRL鐵錘人 1
1．2 一問“是不是” 2
1．2．1 Agent和環境定義 2
1．2．2 瑪律可夫決策過程和強化學習 3
1．3 二問“值不值” 5
1．3．1 試試規則和啟發式搜索 5
1．3．2 別忘了傳統強化學習 7
1．3．3 使用DRL的理由 7
1．4 三問“能不能” 9
1．4．1 場景固定：兩個分佈一致 9
1．4．2 數據廉價：多、快、好、費 13
1．5 四問“邊界在哪裡” 16
1．6 本章小結 18
參考文獻 19
第2章 動作空間設計 23
2．1 動作空間設計：這裡大有可為 23
2．1．1 被忽視的價值 23
2．1．2 動作空間的常見類型 24
2．1．3 動作空間設計的基本原則 26
2．2 動作空間的完備性 26
2．2．1 功能完備 27
2．2．2 時效完備 29
2．3 動作空間的高效性 30
2．3．1 化整為零：以精度換效率 31
2．3．2 有機組合：尺度很重要 33
2．4 動作空間的合法性 35
2．4．1 非法動作遮罩機制 36
2．4．2 Agent的知情權 37
2．5 本章小結 39
參考文獻 40
第3章 狀態空間設計 43
3．1 狀態空間設計：特徵工程的誘惑 43
3．2 狀態空間設計的兩種常見誤區 44
3．2．1 過分依賴端到端特徵學習 44
3．2．2 極致特徵工程 44
3．3 與動作空間和回報函數的協同設計 45
3．3．1 與動作空間尺度一致 45
3．3．2 以回報函數為中心 46
3．4 狀態空間設計的四個步驟 47
3．4．1 任務分析 47
3．4．2 相關信息篩選 49
3．4．3 泛化性考量 53
3．4．4 效果驗證 58
3．5 本章小結 61
參考文獻 62
第4章 回報函數設計 64
4．1 回報函數設計：面向強化學習的程序設計 64
4．2 稀疏回報問題 65
4．2．1 孤獨無援的主線回報 65
4．2．2 稀疏回報問題的本質 66
4．3 輔助回報 67
4．3．1 子目標回報 67
4．3．2 塑形回報 70
4．3．3 內驅回報 76
4．3．4 回報取值的注意事項 77
4．4 回報函數設計的常見陷阱 78
4．4．1 魯莽 79
4．4．2 貪婪 80
4．4．3 懦弱 82
4．5 最優回報問題 83
4．6 基於學習的回報函數 84
4．6．1 經典方法 84
4．6．2 前沿方法 85
4．7 本章小結 87
參考文獻 88
第5章 算法選擇 92
5．1 算法選擇：拿來主義和改良主義 92
5．1．1 DRL算法的發展脈絡 92
5．1．2 一篩、二比、三改良 94
5．1．3 從獨當一面到眾星捧月 96
5．2 牢記經典勿忘本 97
5．2．1 DQN 98
5．2．2 DDPG 99
5．2．3 A3C 102
5．3 關注SOTA算法別留戀 105
5．3．1 TD3 105
5．3．2 SAC 107
5．3．3 PPO 110
5．4 其他算法 112
5．5 本章小結 113
參考文獻 113
第6章 訓練調試 119
6．1 訓練調試：此事要躬行 119
6．2 訓練前的準備工作 120
6．2．1 制定訓練方案 120
6．2．2 選擇網絡結構 124
6．2．3 隨機漫步 128
6．2．4 數據預處理 129
6．3 訓練進行時 131
6．3．1 反脆弱：擁抱不確定性 131
6．3．2 調節超參數 134
6．3．3 監控訓練狀態 143
6．4 給初學者的建議 146
6．5 本章小結 148
參考文獻 149
第7章 性能衝刺 154
7．1 性能衝刺：為DRL注入強心劑 154
7．2 課程學習 155
7．2．1 源任務及其分類 155
7．2．2 應用方式 157
7．3 額外監督信號 162
7．3．1 有監督預訓練 163
7．3．2 輔助任務 164
7．4 進化策略 169
7．4．1 基本原理 169
7．4．2 關鍵細節 170
7．4．3 應用方式 174
7．5 本章小結 175
參考文獻 176
您曾經瀏覽過的商品
購物須知
大陸出版品因裝訂品質及貨運條件與台灣出版品落差甚大，除封面破損、內頁脫落等較嚴重的狀態，其餘商品將正常出貨。
特別提醒：部分書籍附贈之內容(如音頻mp3或影片dvd等)已無實體光碟提供，需以QR CODE 連結至當地網站註冊“並通過驗證程序”，方可下載使用。
無現貨庫存之簡體書，將向海外調貨：
海外有庫存之書籍，等候約45個工作天;
海外無庫存之書籍，平均作業時間約60個工作天，然不保證確定可調到貨，尚請見諒。
為了保護您的權益，「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。
若要辦理退貨，請在商品鑑賞期內寄回，且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。