人臉表情辨識算法及應用

隨著電腦技術的不斷發展，人們在享受電腦帶來的方便與快捷的同時，對人機互動的需求也不斷增加。人機智慧互動變得尤為重要。如果電腦像人類一樣能主動適應周圍的環境，並且還能觀察、理解和產生各種「情感」，這將從根本上改變人與電腦之間的關係，最終實現自然、富有情感、和諧的人機交互，使電腦能夠更好、更全方位地為人類服務。由於人臉表情傳遞著豐富的個人情感資訊，是人們非語言交流的一種重要方式，在人與人之間的交流中扮演著重要的角色，因此電腦通過對人臉表情進行辨識，可以感知人的情感和意圖，與人類的交互就會變得更加智慧。近年來，人臉表情辨識已成為國內外模式辨識和人工智慧領域的研究熱點，其內容涉及到心理學、社會學、數學、認知科學、生物學、電腦科學等眾多學科，是一個極富挑戰性的交叉課題。

本書以人臉表情辨識為研究對象，比較全面系統地研究了人臉表情辨識系統的基本理論、演算法設計和應用，設計了一套主動視覺人臉追蹤與表情辨識系統。書中分別以動態人臉表情、微表情、魯棒表情為辨識對象，介紹了相關特徵提取、分類演算法的技術方法。書中各部分主要內容如下：第1章是人臉表情辨識系統的概述，還介紹了相關技術的國內外發展現狀。第2章針對複雜背景彩色圖像人臉快速檢測的問題，提出了一種人臉檢測與定位的方法。第3章針對動態人臉表情特徵提取的問題，提出了基於Candide3 模型的人臉表情追蹤及動態特徵提取方法。第4章詳細討論了基於動態圖像序列的表情圖像分類及實現方法。第5章研究並討論了基於主動外觀模型的人臉動態序列圖像表情特徵提取演算法。第6章設計了基於子空間分析和改進最近鄰分類的表情辨識演算法。第7章針對微表情序列圖像的分析，提出了一種微表情序列圖像的預處理方法。第8章設計了基於多尺度LBP-TOP 的微表情特徵提取方法。第9章提出了基於全域光流特徵提取與LBP-TOP 特徵結合的微表情特徵提取演算法。第10章討論了基於支持向量機和隨機森林的微表情辨識的分類器設計方法。第11章提出了一種基於Gabor 多方向特徵融合與分塊長條圖的表情特徵提取方法。第12章針對光照變化下的表情分析問題，研究了基於對稱雙線性模型的光照魯棒性人臉表情分析。第13章針對局部遮擋情況下的表情特徵提取問題，研究了一種基於局部特徵徑向編碼的局部遮擋表情特徵提取方法。第14章針對局部遮擋表情特徵提取，設計了局部累加核支援向量機分類器演算法。第15章設計了一套基於主動視覺的人臉追蹤與表情辨識系統。

本書可供從事模式辨識、表情辨識、人臉辨識系統研究的科研人員、相關專業的研究生或高年級大學生使用。

田彥濤，通訊與電子系統工學博士，丹麥奧爾堡大學訪問學者。現為通訊工程學院院長，教授、博士生指導教授，控制科學與工程學科召集人，自動化研究所所長。

劉帥師，控制理論與控制工程博士，加拿大渥太華大學訪問學者，現為電氣與電子工程學院副院長。

萬川，科研學者。

第1章 緒論
1.1 人臉表情辨識系統概述
1.2 基於動態圖像序列的人臉表情辨識的研究情況
1.3 微表情辨識的研究情況
1.3.1 微表情辨識的應用研究
1.3.2 微表情表達的研究
1.3.3 微表情辨識的算法研究
1.3.4 微表情數據庫的研究
1.4 魯棒性人臉表情辨識的研究情況
1.4.1 面部有遮擋的表情辨識研究現狀
1.4.2 非均匀光照下的表情辨識研究現狀
1.4.3 與視角無關的表情辨識研究現狀
1.5 人臉表情辨識相關資料匯總
參考文獻
第2章 人臉檢測與定位
2.1 概述
2.2 基於膚色分割和模板匹配算法的快速人臉檢測
2.2.1 基於彩色資訊的圖像分割
2.2.2 自適應模板匹配
2.2.3 仿真實驗及結果分析
2.3 改進Adaboost算法的人臉檢測
2.3.1 由擴展的Haar-like特徵生成弱分類器
2.3.2 Adaboost算法生成強分類器
2.3.3 級聯分類器的生成
2.3.4 極端學習機
2.3.5 仿真實驗及結果分析
參考文獻
第3章 基於Candide3模型的人臉表情追蹤及動態特徵提取
3.1 概述
3.2 基於Candide3臉模型的追蹤算法研究
3.2.1 Candide3臉模型的研究
3.2.2 基於Candide3模型的追蹤算法研究
3.3 追蹤算法改進
3.3.1 光照處理
3.3.2 基於在線表觀模型的追蹤算法
3.3.3 模型的自動初始化研究
3.3.4 改進算法後追蹤實驗
3.4 動態特徵提取
3.4.1 特徵點的追蹤
3.4.2 動態特徵提取
3.4.3 基於k均值的聚類分析
參考文獻
第4章 表情分類的實現
4.1 概述
4.2 K近鄰分類器
4.2.1 K近鄰規則
4.2.2 K近鄰分類的距離度量
4.2.3 基於K近鄰分類器的分類實驗
4.3 流形學習
4.3.1 主成分分析 （PCA）
4.3.2 拉普拉斯映射 （LE）
4.3.3 基於流形學習的降維分類實驗
4.4 支持向量機
4.4.1 支持向量機的基本思想
4.4.2 非線性支持向量機
4.4.3 基於支持向量機的分類實驗
4.5 基於Adaboost的分類研究
4.5.1 Adaboost算法
4.5.2 基於Adaboost的分類實驗
參考文獻
第5章 人臉動態序列圖像表情特徵提取
5.1 概述
5.2 基於主動外觀模型的運動特徵提取
5.2.1 主動形狀模型
5.2.2 幾何特徵提取
5.3 基於Candide3 三維人臉模型的動態特徵提取
5.3.1 Candide3 三維人臉模型
5.3.2 提取表情運動參數特徵
5.4 動態時間規整（ DTW）
5.5 特徵選擇
5.5.1 基於Fisher準則的特徵選擇
5.5.2 基於分布估計算法的特徵選擇
5.6 仿真實驗及結果分析
5.6.1 基於主動外觀模型的運動特徵提取
5.6.2 基於Candide3 模型的動態特徵提取
參考文獻
第6章 基於子空間分析和改進最近鄰分類的表情辨識
6.1 概述
6.2 特徵降維
6.2.1 非線性流形學習方法
6.2.2 線性子空間方法
6.3 改進最近鄰分類法
6.4 仿真實驗及結果分析
參考文獻
第7章 微表情序列圖像預處理86
7.1 概述
7.2 灰階歸一化
7.3 尺度歸一化
7.4 序列長度歸一化
7.4.1 時間插值法原理
7.4.2 時間插值法建模
7.4.3 時間插值法實現
參考文獻
第8章 基於多尺度LBP-TOP的微表情特徵提取
8.1 概述
8.2 多尺度分析
8.2.1 平滑濾波
8.2.2 高斯微分
8.3 局部二值模式
8.3.1 原始LBP
8.3.2 改進LBP
8.3.3 降維
8.3.4 靜態特徵統計
8.4 時空局部二值模式
8.4.1 LBP-TOP
8.4.2 動態特徵統計
8.5 多尺度LBP-TOP
參考文獻
第9章 基於全局光流與LBP-TOP特徵結合的微表情特徵提取
9.1 概述
9.2 相關理論
9.2.1 運動場及光流場
9.2.2 經典運算方法
9.3 問題描述
9.3.1 約束條件
9.3.2 模型構建
9.4 算法實現
9.4.1 目標優化
9.4.2 多解析度策略
9.4.3 特徵統計
9.5 光流與LBP-TOP特徵結合
參考文獻
第10章 人臉微表情分類器設計及實驗分析
10.1 概述
10.2 支持向量機
10.2.1 分類原理
10.2.2 樣本空間
10.2.3 模型參數優化
10.3 隨機森林
10.3.1 集成學習
10.3.2 決策樹
10.3.3 組合分類模型
10.4 評價準則
10.5 實驗對比驗證
10.5.1 辨識LBP-TOP特徵
10.5.2 辨識GDLBP-TOP特徵
10.5.3 辨識OF特徵
10.5.4 辨識LBP-TOP＋OF特徵
參考文獻
第11章 基於Gabor多方向特徵融合與分塊直方圖的表情特徵提取
11.1 概述
11.2 人臉表情圖像的Gabor特徵表徵
11.2.1 二維Gabor濾波器
11.2.2 人臉表情圖像的Gabor特徵表徵
11.3 二維Gabor小波多方向特徵融合
11.3.1 融合規則1
11.3.2 融合規則2
11.4 分塊直方圖特徵選擇
11.5 基於Gabor特徵融合與分塊直方圖統計的特徵提取
11.6 算法可行性分析
11.7 實驗描述及結果分析
11.7.1 實驗流程
11.7.2 表情圖庫中圖像預處理
11.7.3 實驗描述
11.7.4 實驗結果分析
11.7.5 所選融合特徵的尺度分析
參考文獻
第12章 基於對稱雙線性模型的光照魯棒性人臉表情分析
12.1 概述
12.2 雙線性模型
12.3 基於對稱雙線性變換的表情圖像處理
12.4 光照變換
12.5 實驗描述及結果分析
12.5.1 實驗描述
12.5.2 實驗對比
參考文獻
第13章 基於局部特徵徑向編碼的局部遮擋表情特徵提取
13.1 概述
13.2 表情圖像預處理
13.3 局部特徵提取與表徵
13.4 Gabor特徵徑向編碼
13.5 算法可行性分析
13.6 實驗描述及結果分析
13.6.1 局部子塊數對辨識結果的影響
13.6.2 徑向網格尺寸對辨識結果的影響
13.6.3 左/右人臉區域遮擋對辨識結果的影響
13.6.4 不同局部特徵編碼方法的實驗對比分析
13.6.5 遮擋對於表情辨識的影響
參考文獻
第14章 局部累加核支持向量機分類器
14.1 概述
14.2 支持向量機基本理論
14.2.1 廣義最佳分類面
14.2.2 線性分類問題
14.2.3 支持向量機
14.2.4 核函數
14.3 局部徑向基累加核支持向量機
14.4 局部歸一化線性累加核支持向量機
14.5 實驗描述及結果分析
14.5.1 實驗描述
14.5.2 對比實驗
參考文獻
第15章 基於主動視覺的人臉追蹤與表情辨識系統
15.1 概述
15.2 系統架構
15.2.1 硬體設計
15.2.2 使用者介面的設計
15.3 相關算法
15.3.1 雲臺追蹤算法
15.3.2 表情辨識算法
15.4仿真實驗及結果分析
15.4.1 人臉定位追蹤實驗
15.4.2 人臉表情辨識實驗
參考文獻

1.1 人臉表情辨識系統概述

人臉表情辨識的過程一般包含三個主要步驟：人臉檢測與定位、表情特徵提取、人臉表情分類。

（1）人臉檢測與定位

建立一個人臉表情辨識系統，首先通過人臉檢測算法對輸入的人臉圖像或圖像序列進行檢測和定位，並且可以按照需求增加對眼睛、嘴巴等臉部關鍵部位的檢測和定位。其次在處理圖像序列時，可以對每幀進行人臉檢測，或者只檢測首幀，其餘用於人臉追蹤。同時考慮到背景、光照會對檢測和定位造成干擾，所以增加了圖像處理環節，對採集回來的圖像進行歸一化、均衡化、去除光照等，盡可能地減少外部環境對檢測結果造成的影響。

（2）表情特徵提取

這一步驟是人臉表情辨識系統中最為重要的部分，主要目的是從人臉圖像或圖像序列中提取出能夠有效表徵人臉表情特徵的資訊，去除一些多餘的資訊，即去冗餘處理，這樣可以提高圖像資訊的利用率。在提取特徵資訊之後，往往還需要對提取到的特徵進行降維，避免特徵維數過高而導致運算速度過慢。根據提取表情特徵類型的不同，可以將其分為靜態圖像序列的人臉表情辨識和動態圖像序列的人臉表情辨識。

大量實驗研究表明，行之有效的表情特徵提取工作可以大大提高系統的工作效率，簡化人臉分類器的設計，提高辨識率。表情特徵提取能夠完整地表達出人臉表情的特質，並且能夠去除噪音、光照等對表情特徵有著很強干擾的外部資訊，其數據表達形式簡單緊湊，維數不高，同時對於不同的表情之間有良好的區分性。

（3）人臉表情分類

對第二步提取到的表情特徵進行分析，利用模式辨識的方法首先對樣本進行訓練，然後對待檢樣本進行表情分類，可以將表情特徵劃分為六大基本表情，或劃分為人臉表情活動單元的組合。

1.2 基於動態圖像序列的人臉表情辨識的研究情況

早在1970年代，Suwa和Sugie等人就對基於動態圖像序列的人臉表情辨識進行了最初的嘗試。他們追蹤一段臉部影片動畫，得到每幀圖片上20個關鍵點的運動規律，將此運動規律與預先建立的不同表情的關鍵點運動模型相比較，從而進行表情分析。

基於動態圖像序列的人臉表情辨識的真正發展是在1990年代。日本的ART媒體整合與通訊研究實驗室的Kenji Mase等人提出使用光流法來追蹤表情運動單元，從而進行表情的辨識工作。其表情分析思想為：首先，假定臉部圖像被分解成肌肉單元，把肌肉單元集合成矩形;其次，在矩形區域中運算光流，量化成4個方向，每個視窗提取一個主要的肌肉收縮方向。定義提取一個長度為15維的特徵向量來表徵表情序列中光流變化最活躍的點，數據來源於若干組不同的表情圖像序列：20組作為樣本數據，30組作為測試數據，圖像像素大小為256×240。研究者對高興、憤怒、厭惡、驚奇四種基本表情進行了分類實驗，分類器應用了基於K近鄰的方法，辨識率達到了80％。

美國喬治亞理工學院MIT媒體實驗室的Alex Pentland教授和Irfan Essa教授設計了一個以圖像序列作為輸入的電腦視覺系統，並用該系統來觀察面部表情運動單元。系統的觀察和感知是通過優化估計光流方法與描述面部的幾何結構以及建立肌肉的物理模型相結合的方法實現的。這種方法產生了一個隨時間變化的面部形狀的空間模板和一個獨立的肌肉運動群的參數化表徵。這些肌肉運動模板可以被用於分析、解析與合成表情。其中實驗所用序列圖像像素大小為450×380，來源於7個對象的52組表情圖像序列。辨識的表情包括高興、驚奇、憤怒、厭惡和抬眉，辨識率達到了98％。

來自美國匹兹堡大學的Cohn和來自美國卡內基梅隆大學的Kanade等人使用光流法進行面部表情細微變化的辨識。通過評價光流的分級算法自動追蹤獲取人臉表情的動態特徵，並對眉毛和嘴部區域以及混合動作單元進行辨識。

美國馬里蘭大學的Yaser Yacoob和Larry Davis等人所使用的表情辨識方法都是基於面部動作編碼系統（Facial Action Coding System，FACS）的。他們集中於分析和嘴、眼睛、眉毛邊緣相關的運動，把光流的方向場量化成8個方向。同時建立Beginning-Apex-Ending時間模型，規定每種表情的這個過程均以中性表情開始和結束，並定義了變化過程中每個階段開始與結束的規則。辨識算法使用簡化的FACS規則來辨識六種基本表情。他們的數據來源於32個對象的105組表情圖像序列，圖像像素大小為120×160。對六種基本表情的辨識率分別為：

高興86％、驚奇94％、厭惡92％、憤怒92％、恐懼86％、悲傷80％。Mark Rosenblum 和Yaser Yacoob等人使用徑向基函數網路（Racial Basis Function Network, RBFN）結構學習臉部特徵運動。該結構在最高一級辨識表情，在中間一級決定臉部的運動方向，在最低一級恢復臉部的運動方向。特徵提取中不關注臉部的肌肉運動模型，只關注特徵部位的邊緣運動。此系統的辨識率達到了88％。

英國劍橋大學電腦實驗室的Rana El Kaliouby和Peter Robinson等人的研究主要是為了通過表情辨識能夠自動並實時地分析使用者的精神狀態。他們首先截取影片流中的頭肩圖像序列，接著對圖像序列進行運動單元分析，最後利用HMM 分類器分析頭部運動和表情。實驗中使用了207組圖像序列，其中包括90組基本表情和107組混合表情，系統對基本表情的辨識率達到了86％，而對混合表情的辨識率為79％。

在中國，哈爾濱工業大學的金輝和中科院的高文提出了一種人臉面部混合表情辨識系統。該系統首先把臉部分成各個表情特徵區域，分別提取其運動特徵，並按照時序組成特徵序列，然後分析不同特徵區域包含的不同表情資訊的含義和表情的含量，最後通過機率融合來理解、辨識任意時序長度的、複雜的混合表情圖像序列，此系統的辨識率達到了96.9％。

楊鵬、劉青山等人提出了一種基於動態特徵編碼的人臉表情辨識方法，並且將這種方法應用到基於影片的人臉表情辨識中。楊鵬等人應用Cohn-Kanade表情庫，對所提出的算法做了實驗，並且與靜態圖像下的人臉表情辨識方法做了對比，對比結果表明動態圖像序列的辨識結果要優於靜態圖像的辨識結果。