商品簡介
這是一本系統、全面、理論與實踐相結合的Embedding技術指南，由資深的AI技術專家和高級數據科學家撰寫，得到了黃鐵軍、韋青、張崢、周明等中國人工智能領域的領軍人物的一致好評和推薦。
在內容方面，本書理論與實操兼顧，一方面系統講解了Embedding的基礎、技術、原理、方法和性能優化，一方面詳細列舉和分析了Embedding在機器學習性能提升、中英文翻譯、推薦系統等6個重要場景的應用實踐；在寫作方式上，秉承復雜問題簡單化的原則，盡量避免復雜的數學公式，盡量采用可視化的表達方式，旨在降低本書的學習門檻，讓讀者能看得完、學得會。
全書一共16章，分為兩個部分：
第1部分（第1~9章）Embedding理論知識
主要講解Embedding的基礎知識、原理以及如何讓Embedding落地的相關技術，如TensorFlow和PyTorch中的Embedding層、CNN算法、RNN算法、遷移學習方法等，重點介紹了Transformer和基於它的GPT、BERT預訓練模型及BERT的多種改進版本等。
第二部分（第10 ~16章）Embedding應用實例
通過6個實例介紹了Embedding及相關技術的實際應用，包括如何使用Embedding提升傳統機器學習性，如何把Embedding技術應用到推薦系統中，如何使用Embedding技術提升NLP模型的性能等。
作者簡介
吳茂貴
資深大數據和人工智能技術專家，在BI、數據挖掘與分析、數據倉庫、機器學習等領域工作超過20年。在基於Spark、TensorFlow、PyTorch、Keras等的機器學習和深度學習方面有大量的工程實踐實踐，對Embedding有深入研究。
著有《深度實踐Spark機器學習》《Python深度學習：基於TensorFlow》《Python深度學習：基於Pytorch》等多部著作，廣受讀者好評。
王紅星
高級數據科學家，任職於博世（中國）投資有限公司蘇州分公司，負責BOSCH數據湖，數據分析與人工智能相關的產品與服務的設計和開發。在大數據、機器學習、人工智能方面有豐富的實踐經驗。
名人/編輯推薦
（1）作者背景資深：作者是有20餘年從業經驗的AI技術專家和高級數據科學家。
（2）豪華專家陣容：黃鐵軍（中國人工智能學會會士/北京智源人工智能研究院院長）、周明（創新工場首席科學家/中國計算機學會副理事長）。
（3）內容系統全面：系統講解了Embedding的基礎、技術、原理、方法和性能優化。
（4）注重實操：詳細列舉和分析Embedding在機器學習性能提升、中英文翻譯、推薦系統等6個重要場景的應用實踐。
（5）學習門檻低：秉承復雜問題簡單化原則，避免艱澀難懂數學公式，盡可能采用可視化的表達方式，內容循序漸進。
序
為什麼寫這本書
近年來，視覺處理和自然語言處理（NLP）技術都取得了不小的進步。更可喜的是，這些新技術的落地和應用也帶動了相關領域如傳統機器學習、推薦、排序等的快速發展。
這些新技術的背後都離不開Embedding（嵌入）技術，Embedding已成為這些技術的基本元素和核心操作。Embedding起源於Word Embedding，經過多年的發展，已取得長足進步。從橫向發展來看，由原來單純的Word Embedding，發展成現在的Item Embedding、Entity Embedding、Graph Embedding、Position Embedding、Segment Embedding等；從縱向發展來看，由原來靜態的Word Embedding發展成動態的預訓練模型，如ELMo、BERT、GPT、GPT-2、GPT-3、ALBERT、XLNet等，這些預訓練模型可以通過微調服務下遊任務。Embedding不再固定不變，從而使這些預訓練模型可以學習到新的語義環境下的語義，高效完成下遊的各種任務，如分類、問答、摘要生成、閱讀理解等，其中有很多任務的完成效率已超過人工完成的平均水平。
這些技術不但強大，而且非常實用。掌握這些技術因而成為當下很多AI技術愛好者的迫切願望。本書就是為實現廣大AI技術愛好者這個願望而寫的！
雖然本書不乏新概念、新內容，但仍采用循序漸進的方法。為了讓盡可能多的人掌握這些技術，書中先介紹相關基礎知識，如語言模型、遷移學習、注意力機制等，所以無須擔心沒有基礎看不懂本書。然後，本書通過多個典型實例，使用最新版本的PyTorch或TensorFlow實現一些核心代碼，並從零開始介紹如何實現這些實例，如利用Transformer進行英譯中、使用BERT實現對中文語句的分類、利用GPT-2實現文本生成等。為了幫助大家更好地理解各種原理和邏輯，書中盡量采用可視化的講解方法，並輔以相關關鍵公式、代碼實例進一步說明。總而言之，無須擔心沒有高等數學背景無法看懂、看透本書。
本書特色
本書把基本原理與代碼實現相結合，並精準定位切入點，將復雜問題簡單化。書中使用大量可視化方法說明有關原理和邏輯，並用實例說明使抽象問題具體化。
讀者物件
對機器學習、深度學習，尤其是NLP最新進展感興趣的在校學生、在職人員。
有一定PyTorch、TensorFlow基礎，並希望通過解決一些實際問題來進一步提升這方面水平的AI技術愛好者。
對機器學習、推薦排序、深度學習等前沿技術感興趣的讀者。
如何閱讀本書
本書分為兩部分，共16章。
第一部分為Embedding基礎知識（第1～9章），重點介紹了Embedding技術的發展歷史及最新應用，並對各種預訓練模型涉及的基礎知識做了詳細說明，如語言模型、遷移學習、注意力機制等。第1章說明萬物皆可嵌入；第2章講解如何獲取Embedding；第3、4章分別介紹視覺處理、文本處理方面的基礎知識；第5章為本書重點，介紹了多種注意力機制；第6～8章介紹了ELMo、BERT、GPT、XLNet等多種預訓練模型；第9章介紹了推薦排序系統。
第二部分為Embedding應用實例（第10～16章），以實例為主介紹了Embedding技術的多種應用，以及使用新技術解決NLP方面的一些問題。第10章介紹如何使用Embedding處理機器學習中的分類特征；第11章介紹如何使用Embedding提升機器學習性能；第12章介紹如何使用Transformer實現將英文翻譯成中文；第13章介紹Embedding在推薦系統中的前沿應用；第14章介紹如何使用BERT實現中文語句分類問題；第15章介紹如何使用GPT-2實現文本生成；第16章是對Embedding技術的總結。
勘誤和支持
由於筆者水平有限，加之編寫時間倉促，書中難免出現錯誤或不準確的地方，懇請讀者批評指正。你可以通過下載代碼和數據，也可以通過郵箱進行反饋。非常感謝你的支持和幫助，也非常歡迎大家加入圖書群進行在線交流。
致謝
在本書編寫過程中，我得到了很多同事、朋友、老師和同學的支持！感謝劉未昕、張粵磊、張魁等同事的支持（他們負責整個環境的搭建和維護），感謝博世王冬的鼓勵和支持！感謝上海交大慧谷的程國旗老師，上海大學的白延琴老師、李常品老師，上海師範大學的田紅炯老師、李昭祥老師，贛南師大的許景飛老師等的支持和幫助！
感謝機械工業出版社楊福川老師、李藝老師給予本書的大力支持和幫助。
最後，感謝我的愛人趙成娟在繁忙的教學之餘幫助審稿，並提出了不少改進意見和建議。
吳茂貴
2021年3月31日於上海
目次
第一部分 Embedding基礎知識
第1章 萬物皆可嵌入2
1.1 處理序列問題的一般步驟3
1.2 Word Embedding4
1.2.1 word2vec之前4
1.2.2 CBOW模型5
1.2.3 Skip-Gram模型6
1.2.4 可視化Skip-Gram模型實現過程8
1.2.5 Hierarchical Softmax優化14
1.2.6 Negative Sampling優化15
1.3 Item Embedding16
1.3.1 微軟推薦系統使用Item Embedding16
1.3.2 Airbnb推薦系統使用Item Embedding17
1.4 用Embedding處理分類特徵17
1.5 Graph Embedding20
1.5.1 DeepWalk方法21
1.5.2 LINE方法21
1.5.3 node2vec方法23
1.5.4 Graph Embedding在阿裡的應用23
1.5.5 知識圖譜助力推薦系統實例26
1.6 Contextual Word Embedding26
1.6.1 多種預訓練模型概述27
1.6.2 多種預訓練模型的發展脈絡29
1.6.3 各種預訓練模型的優缺點29
1.6.4 常用預訓練模型30
1.6.5 Transformer的應用32
1.7 使用Word Embedding實現中文自動摘要35
1.7.1 背景說明35
1.7.2 預處理中文語料庫35
1.7.3 生成詞向量36
1.7.4 把文檔的詞轉換為詞向量36
1.7.5 生成各主題的關鍵詞38
1.7.6 查看運行結果39
1.8 小結40
第2章 獲取Embedding的方法41
2.1 使用PyTorch的Embedding Layer41
2.1.1 語法格式41
2.1.2 簡單實例43
2.1.3 初始化44
2.2 使用TensorFlow 2.0的Embedding Layer45
2.2.1 語法格式45
2.2.2 簡單實例45
2.3 從預訓練模型獲取Embedding47
2.3.1 背景說明47
2.3.2 下載IMDB數據集47
2.3.3 進行分詞47
2.3.4 下載並預處理GloVe詞嵌入48
2.3.5 構建模型49
2.3.6 訓練模型50
2.3.7 可視化訓練結果50
2.3.8 不使用預訓練詞嵌入的情況51
2.4 小結53
第3章 計算機視覺處理54
3.1 卷積神經網絡54
3.1.1 卷積網絡的一般架構55
3.1.2 增加通道的魅力56
3.1.3 加深網絡的動機57
3.1.4 殘差連接58
3.2 使用預訓練模型59
3.2.1 遷移學習簡介59
3.2.2 使用預訓練模型的方法60
3.3 獲取預訓練模型63
3.4 使用PyTorch實現數據遷移實例64
3.4.1 特徵提取實例64
3.4.2 微調實例67
3.5 小結69
第4章 文本及序列處理70
4.1 循環網絡的基本結構70
4.1.1 標準循環神經網絡71
4.1.2 深度循環神經網絡72
4.1.3 LSTM網絡結構72
4.1.4 GRU網絡結構73
4.1.5 雙向循環神經網絡74
4.2 構建一些特殊模型75
4.2.1 Encoder-Decoder模型75
4.2.2 Seq2Seq模型77
4.3 小結77
第5章 注意力機制78
5.1 注意力機制概述78
5.1.1 兩種常見的注意力機制79
5.1.2 注意力機制的本質79
5.2 帶注意力機制的Encoder-Decoder模型81
5.2.1 引入注意力機制81
5.2.2 計算注意力分配值83
5.2.3 使用PyTorch實現帶注意力機制的Encoder-Decoder模型85
5.3 可視化Transformer88
5.3.1 Transformer的頂層設計89
5.3.2 Encoder與Decoder的輸入91
5.3.3 高併發長記憶的實現91
5.3.4 為加深Transformer網絡層保駕護航的幾種方法98
5.3.5 如何自監督學習98
5.4 使用PyTorch實現Transformer101
5.4.1 Transformer背景介紹101
5.4.2 構建Encoder-Decoder模型101
5.4.3 構建Encoder102
5.4.4 構建Decoder105
5.4.5 構建MultiHeadedAttention107
5.4.6 構建前饋網絡層109
5.4.7 預處理輸入數據109
5.4.8 構建完整網絡112
5.4.9 訓練模型113
5.4.10 實現一個簡單實例117
5.5 Transformer-XL119
5.5.1 引入循環機制119
5.5.2 使用相對位置編碼121
5.5.3 Transformer-XL計算過程122
5.6 使用PyTorch構建Transformer-XL123
5.6.1 構建單個Head Attention123
5.6.2 構建MultiHeadAttention126
5.6.3 構建Decoder129
5.7 Reformer130
5.7.1 使用局部敏感哈希130
5.7.2 使用可逆殘差網絡131
5.8 小結132
第6章 從Word Embedding到ELMo133
6.1 從word2vec到ELMo133
6.2 可視化ELMo原理134
6.2.1 字符編碼層135
6.2.2 雙向語言模型137
6.2.3 生成ELMo詞嵌入138
6.3 小結139
第7章 從ELMo到BERT和GPT140
7.1 ELMo的優缺點140
7.2 可視化BERT原理141
7.2.1 BERT的整體架構141
7.2.2 BERT的輸入143
7.2.3 掩碼語言模型144
7.2.4 預測下一個句子145
7.2.5 微調146
7.2.6 使用特徵提取方法147
7.3 使用PyTorch實現BERT148
7.3.1 BERTEmbedding類的代碼149
7.3.2 TransformerBlock類的代碼149
7.3.3 構建BERT的代碼150
7.4 可視化GPT原理151
7.4.1 GPT簡介151
7.4.2 GPT的整體架構151<
您曾經瀏覽過的商品
購物須知
大陸出版品因裝訂品質及貨運條件與台灣出版品落差甚大，除封面破損、內頁脫落等較嚴重的狀態，其餘商品將正常出貨。
特別提醒：部分書籍附贈之內容(如音頻mp3或影片dvd等)已無實體光碟提供，需以QR CODE 連結至當地網站註冊“並通過驗證程序”，方可下載使用。
無現貨庫存之簡體書，將向海外調貨：
海外有庫存之書籍，等候約45個工作天;
海外無庫存之書籍，平均作業時間約60個工作天，然不保證確定可調到貨，尚請見諒。
為了保護您的權益，「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。
若要辦理退貨，請在商品鑑賞期內寄回，且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。