概率圖模型學習理論及其應用（簡體書）

作為概率論和圖論相結合的產物，概率圖模型理論為解決智能信息處理領域中的不確定性、複雜性問題提供了直觀而自然的方法。近年來它逐步成為計算機視覺、語音識別、數據發掘與知識發現等領域中一個十分重要的研究方向，在國際上的影響不斷擴大。《概率圖模型學習理論及其應用》是系統論述概率圖模型的基本理論、學習算法及其應用的中文專著，內容包括概率圖模型基本概念；完整數據集的概率圖模型的學習理論；不完整數據集的概率圖模型學習理論；無向概率圖模型學習；新型學習方法；概率圖模型在計算機視覺、個人信用風險評估及語言識別領域中的應用等部分。《概率圖模型學習理論及其應用》從實例出發，由淺入深，直觀與嚴謹相結合，並提供了詳盡的參考文獻。
《概率圖模型學習理論及其應用》的讀者對象是相關專業的高年級本科生、研究生和科研人員。

趙悅，1997年本科畢業于東北大學工業電氣自動化專業，2006年在北京科技大學控制理論與控制工程專業取得工學博士學位，同年進入中央民族大學數學與計算機學院任教。2009年-2010年美國RensselaerPolytechnicInstitute訪問學者，現為中央民族大學信息工程學院副教授，碩土生導師。IEEE會員，國際期刊IEEETransactionsonSystems，Man，andCybernetics-PartB：Cybernet-ics和《北京科技大學學報》審稿人，ICAL2010SessionChair。主要研究方向為機器學習與數據挖掘、語音識別、嵌入式系統。主持和參與科研項目10項；專著2部、教材2部；發表SCI、EI檢索論文33篇，獲中央民族大學校級教學成果三等獎一次，獲北京市高等教育學會2012年度計算機教學精彩片段交流三等獎一次。

《概率圖模型學習理論及其應用》的讀者對象是相關專業的高年級本科生、研究生和科研人員。

第1章概率圖模型基礎知識
1．1概述
1．2圖論的相關基本概念
1．3概率論的相關基本概念
1．3．1隨機變量與概率函數
1．3．2古典概率與主觀概率
1．3．3聯合概率分佈
1．3．4邊緣概率分佈
1．3．5條件概率分佈
1．3．6邊緣獨立與條件獨立
1．3．7貝葉斯定理
1．4信息論的相關基本概念
1．4．1Jensen不等式
1．4．2熵
1．4．3聯合熵、條件熵和互信息
1．4．4相對熵
1．5生成模型與判別模型

第2章概率圖模型的基本原理
2．1概述
2．2有向概率圖模型
2．2．1隱馬爾可夫模型
2．2．2貝葉斯網絡
2．2．3動態貝葉斯網絡
2．3無向概率圖模型
2．3．1馬爾可夫隨機場
2．3．2條件隨機場
2．4概率圖模型學習與推理
2．4．1模型的學習
2．4．2模型的推理
2．4．3計算複雜度分析

第3章完整數據集下有向概率圖模型的學習
3．1概述
3．2結構學習
3．2．1基於評分搜索的結構學習
3．2．2基於條件獨立性測試的結構學習算法
3．3參數學習
3．3．1極大似然參數估計
3．3．2貝葉斯參數估計

第4章不完整數據集下的有向概率圖模型的學習
4．1概述
4．2參數估計
4．2．1EM算法
4．2．2Gibbs抽樣方法
4．3結構學習
4．3．1結構EM方法
4．3．2打分搜索方法

第5章無向概率圖模型學習
5．1概述
5．2馬爾可夫隨機場
5．2．1鄰域系統和團
5．2．2HC定理
5．2．3PairwiseMRF模型
5．2．4MRFs的參數學習
5．3條件隨機場
5．3．1問題分析
5．3．2模型訓練中的動態規劃
5．3．3參數估計的訓練算法
5．3．4參數估計的訓練過程

第6章概率圖模型的新型學習方法
6．1概述
6．2主動學習方法
6．2．1主動學習原理
6．2．2基於主動學習的貝葉斯網絡分類器學習算法
6．2．3基於半監督主動學習的動態貝葉斯網絡學習方法
6．2．4基於主動學習的貝葉斯網絡結構學習
6．3增量學習
6．3．1基本原理
6．3．2貝葉斯網絡參數的增量學習方法
6．3．3貝葉斯網絡結構的增量學習方法

第7章概率圖模型理論在計算機視覺中的應用
第8章貝葉斯網絡在電信個人信用風險分析中的應用
第9章概率圖模型理論在語音識別中的應用
附錄A概率圖模型常用開發工具
附錄B貝葉斯網工具箱BNT的研究與學習
參考文獻

使用MRF模型，目標檢測和識別可看作是一類圖像標注問題。DasGupta等提出了基于MRF模型從模糊不清的圖像中同時復原和識別目標物體的方法。他們引入了部分消息傳遞（Partial Message Propagation）的概念，任何給定的圖像分塊（Patch）只部分受近鄰影響，并且依賴于兩個近鄰間的空間交互關系。識別過程發生在不斷循環的復原階段，復原階段幫助其減少搜索空間。基于MRF的識別技術在給定手工初始化時，取得了相當好的結果。然而，由于缺乏清楚的形狀模型，這些方法在自動目標識別和圖像分割應用中往往會失敗。Kumar等在他們的ObjCut工作中，提出了一個用于目標檢測的貝葉斯方法，這個方法使用圖示結構表達（Pictorial Structures（PS）Formulation）和MRFs模型一起提供物體形狀的先驗知識。形狀模型（Shape Model）提供了一套潛在的變量，這些變量將傾向于某種物體形狀的分割。對于表情識別和動作識別，Zhang和Tong等提出了使用DBN模型捕捉在人臉表情（動作）與圖像觀測值之間的（Spatio—temporal）空間—時間關系。雖然形狀先驗知識能夠幫助減少分割錯誤，但是當物體偏離標準形狀模型時，形狀模型也引入了分割誤差。
為了識別可變形的目標物體，生成式星座圖模型（Generative Constellation Models）被引入到形狀的建模過程中。這個模型首先由Burl等提出，在這個模型內，目標物體由在可變形的結構（Deformable Configuration）中的特征部分所表示。相似的，Weber等提出了將一個目標類（Object Class）表示為一類由剛性部分群組成的可變星座圖模型（aFlexible Constellation of Rigid Parts），其中目標類被定義為具有相同特征屬性部分群（Parts）的集合或相似且在相似空間結構存在的部分群集合。星座圖（Constellation）模型有幾個優點：模型清楚地表示了形狀的變化和由于Occlusion和檢測器誤差而引起的屬性存在與否的隨機性。這個模型被Fergus等擴展到表示外觀的變化，他們擴展了，利用該模型從有大量形狀變化的目標物體訓練數據集中進行有效學習。Li提出了一個增量學習貝葉斯網絡的方法，其從101個變形目標物體類別中學習可視目標，每一類使用了少量的圖像訓練數據。Loeff等對于目標檢測和定位提出了一個生成式概率模型，其可以用最小監督方法被建立起來。他們的臨時星座圖模型（Improvised Constellation Model）能夠處理Occlusion和在屬性特征抽取中的誤差問題，并且使得模型以圖像中的部分群數量和屬性數量級進行線性推理。
除了生成式模型，判別PGM模型也已經被廣泛應用在目標檢測和識別中。對于在圖像中檢測人造結構的問題，判別隨機場（Discriminative Random Fields，DRFs）被用來建立類別變量之間高層次上下文關系。關聯A（Xi，y）和交互勢能（In）被引入進來，表示近鄰區域的觀測和交互。在DRFs框架中，A（Xi，y）用Logistic Regression判別模型建立，而Iij作為代價函數用來懲罰每一對相異的類別。這種交互形式有益于對離散的觀測數據進行類別平滑分段。然而，由于DRFs中交互勢函數的額外計算量，使得其比MRF計算更為復雜。