多媒體計算機技術(第5版)（簡體書）

本書為普通高等教育“十一五”國家級規劃教材。本書系統地介紹了多媒體計算機技術的基本原理和多媒體計算機系統的組成，詳述了數字聲音、圖像和視頻處理中的關鍵技術；簡要介紹了多媒體數據的採集與編輯、多媒體文檔的組織與設計、多媒體數據存儲與管理、多媒體計算機網絡及多媒體數據安全涉及的關鍵技術。在此基礎上，本書對多媒體技術的一些典型應用――數據可視化與信息可視化、指紋識別、人臉識別、唇語識別、視頻監控與目標跟蹤相關技術以及多媒體即時通信系統等進行了扼要介紹。本書還結合即時通信系統的設計案例以附錄形式給出了一個綜合應用課程設計。本書既可作為高等院校相關課程的教材，也可供從事多媒體應用研究與開發的工程技術人員參考。

魯宏偉，華中科技大學計算機學院教授，工學博士，主持與某研究院合作項目5項、校教學改革項目1項、其他各類橫向項目10余項。

前 言
在現代人的信息交流中，電子郵件、網絡即時聊天等各種社交軟件代替了傳統郵政系統的書信往來甚至手機短信，這些新的通信手段不但方便、快捷，而且極大地降低了成本。多媒體網絡的應用也很廣泛，在線直播、網絡遊戲和流媒體技術正在逐步改變著人們的傳統娛樂與通信方式。
目前，雖然已經有不少多媒體技術方面的參考書，但計算機和網絡技術超乎尋常的發展使得多媒體技術推陳出新的速度日益加快，因而需要在已有參考書的基礎上不斷補充一些新的內容。作者近年來一直從事多媒體計算機技術的應用研究，並承擔研究生和本、專科生的課程教學工作，編寫此書的目的是希望能使讀者在學習和掌握多媒體計算機技術的基本理論與方法的同時，熟悉一些新的技術，瞭解常見多媒體應用系統的基本原理，並能夠利用這些技術去開發一些新的應用。
本書自第1版（2002年）發行以來，已重印幾十次。第5版是在第4版（2011年）基礎上修訂完成的，除刪除一些作者認為已經不太前沿的技術內容外，重點增加了近年來出現的一些新技術的介紹，使本書能夠與時俱進。
具體增刪的內容概括如下：
考慮到基於USB接口存儲設備容量的不斷增大，無論是臺式計算機還是便攜式計算機已經不再將光盤驅動器作為基本配置，因此這一版刪除了第4版中關於光存儲方面的內容；在第2章有關多媒體計算機系統組成的介紹中簡化了關於USB接口的內容，重點介紹各種類型的I/O接口，將第4章中關於聲卡的相關介紹移到了本章；第3章中簡化了JPEG標準的介紹，增加了目前廣泛應用的二維碼、最新的視頻編碼標準H.265、AVS2（國內標準）及免專利費的WebM標準的介紹；第4章增加了目前普遍採用的音頻壓縮編碼標準和移動平臺常用的音頻編碼技術，增加了有關聲紋識別技術的內容；刪除了第5章的內容，增加了“多媒體數據安全”一章，並將其放在第9章；原第6章調整為第5章，刪除了部分內容，更新了關於DirectX的介紹，增加了圖像特效的內容，以滿足讀者對目前廣泛使用的“美圖”原理的理解；原第7章調整為第6章，增加了對HTML5及其在移動App開發中的應用；原第8章調整為第7章，刪除了“多媒體數據庫構造”一節，增加了“多媒體數據的管理”一節，在基於內容搜索方面，增加了“以圖搜圖”內容的介紹；原第9章調整為第8章，更新了短距離無線通信和移動通信技術及標準的內容，增加了物聯網三維體系結構的介紹；第9章為增加的“多媒體數據安全”；第10章僅保留了“即時通信系統”一節，增加了數據可視化與信息可視化、圖像識別及其應用、視頻監控與目標跟蹤等相關內容。
為了加強實踐環節，本次修訂增加了應用案例的內容作為第11章，包括7個圍繞多媒體技術應用的設計實例。
除以上變化外，在前面的部分章節中，為了讓讀者更好地瞭解其中的一些細節，嵌入了“百度百科”鏈接的二維碼，讀者用手機掃描二維碼即可獲取更詳細的內容介紹。
多媒體計算機技術涵蓋的內容涉及多個學科領域，完整地理解所有內容不僅對非計算機專業的讀者是非常困難的，而且對計算機及相關專業的讀者也是困難的，原因是讀者的專業基礎不同，更重要的是很多內容只能在實踐中去領會和掌握。因此，在課程教學過程中，可以根據學時適當地進行取捨，並輔以一定的實踐環節，以達到理論與實踐相結合的目的。
第5版主要由魯宏偉和甘早斌編著。第11章的幾個實例中，有的源于作者指導本科生課程設計或畢業設計的內容，有的源于指導研究生而專門設計的案例。其中，11.1節和11.6節的內容由廖暢同學提供，11.3節源于肖天冉、龔慧媛、裴淩楓、唐珊珊和陳藝欣等同學的“物聯網應用系統綜合設計”，11.4節和11.5節分別來源於李智煒和代卓斌同學的本科畢業設計論文，11.7節由中央美術學院的魯宇時同學編寫，在此一併表示感謝。
應該說明的是，多媒體計算機技術涉及的領域多、發展速度快，儘管作者盡最大努力將這些最新的技術介紹給讀者，但限於學識和能力，難免挂一漏萬，錯誤在所難免。對於書中的錯誤和不當之處，懇請讀者批評指正。
最後感謝所有對本書的寫作和出版提供了幫助的人們。
本書為教師提供配套的教學資源（如電子課件等），有需要者，請登錄到華信教育資源網（http://www.hxedu.com.cn），免費註冊後下載。
讀者在閱讀本書的過程中如有反饋信息，請加入QQ群192910558交流。


作 者

目 錄
第1章 多媒體計算機技術概述 1
1.1 多媒體計算機技術的基本概念 1
1.1.1 媒體 1
1.1.2 多媒體 2
1.2 多媒體計算機技術的發展歷史 4
1.3 多媒體計算機技術 5
1.3.1 多媒體的軟件和硬件平臺 6
1.3.2 高速處理器 6
1.3.3 數據壓縮及編碼技術 7
1.3.4 多媒體同步 8
1.3.5 多媒體計算機網絡與分布式處理技術 9
1.3.6 信息的組織與管理 9
1.3.7 多媒體數據存儲 10
1.3.8 虛擬現實和增強現實技術 10
1.3.9 人機界面設計 12
1.3.10 高速多媒體通信技術 13
1.4 多媒體計算機技術的應用 13
1.5 多媒體計算機技術的發展趨勢 15
思考與練習1 16
第2章 多媒體計算機系統的組成 17
2.1 概述 17
2.2 計算機I/O接口 18
2.2.1 計算機I/O的變遷史 18
2.2.2 USB接口發展史 19
2.2.3 顯示器接口 20
2.3 常用I/O設備 22
2.3.1 輸入設備 22
2.3.2 輸出設備 24
2.4 數字音頻/視頻設備 30
2.4.1 聲卡 31
2.4.2 顯卡 33
2.4.3 視頻採集卡 36
2.4.4 數碼產品 36
2.5 存儲設備和存儲技術 40
2.5.1 存儲設備 40
2.5.2 存儲技術 43
思考與練習2 45
第3章 圖形、圖像處理技術及其應用 46
3.1 信號處理的基本術語 46
3.1.1 採樣和量化 47
3.1.2 採樣長度的選擇與頻率分辨率 48
3.1.3 離散傅裡葉變換 48
3.1.4 小波變換 49
3.2 圖像數據壓縮基礎 51
3.2.1 色彩的基本概念 51
3.2.2 彩色空間及其變換 53
3.2.3 圖像數據壓縮的可能性 55
3.3 圖像數據壓縮算法 56
3.3.1 信息熵編碼 57
3.3.2 詞典編碼 60
3.3.3 預測編碼 61
3.3.4 變換編碼 62
3.3.5 模型編碼 63
3.4 常用圖形、圖像文件 63
3.4.1 BMP文件格式 64
3.4.2 GIF文件格式 68
3.4.3 PNG文件格式 69
3.4.4 JPEG文件格式 70
3.5 二維碼編碼原理及其應用 73
3.5.1 QR碼的基本結構 73
3.5.2 QR碼的編碼過程 74
3.5.3 二維碼應用 75
3.6 動態圖像壓縮技術和標準 76
3.6.1 MPEG標準概述 76
3.6.2 MPEG-1標準 77
3.6.3 MPEG-2標準 80
3.6.4 MPEG-4標準 82
3.6.5 MPEG-7標準 84
3.7 H.26x標準 85
3.7.1 H.261標準 86
3.7.2 H.263標準 86
3.7.3 H.264標準 88
3.7.4 H.265標準 91
3.8 AVS標準 92
3.8.1 AVS與H.264比較 93
3.8.2 AVS2的特點 94
3.9 Theora和WebM簡介 96
思考與練習3 97
第4章 音頻信號及其處理 98
4.1 音頻編碼基礎 98
4.1.1 音頻信號的特點 98
4.1.2 音頻信號處理的方法 100
4.1.3 音頻文件的存儲格式 101
4.1.4 音頻質量的度量 102
4.2 音頻信號壓縮技術 103
4.2.1 脈沖編碼調制 105
4.2.2 增量調製 106
4.2.3 DSD編碼 107
4.2.4 自適應脈沖編碼調制 108
4.2.5 差分脈沖編碼調制 109
4.2.6 自適應差分脈沖編碼調制 109
4.2.7 子帶編碼 109
4.3 音頻編碼標準 110
4.3.1 CCITT G系列音頻壓縮標準 110
4.3.2 MP3壓縮標準 112
4.3.3 AAC編碼 112
4.3.4 Ogg Vobis 113
4.3.5 移動平臺常用的音頻編碼 114
4.4 語音合成技術及應用 117
4.4.1 語音合成的基本方法 117
4.4.2 語音合成的三個層次 119
4.4.3 語音合成技術的應用 119
4.5 語音識別技術的發展及應用 120
4.5.1 語音識別的發展歷史 120
4.5.2 語音識別技術 121
4.5.3 語音識別系統的類型 123
4.6 聲紋識別技術及其應用 126
思考與練習4 127
第5章 多媒體數據采集與編輯 129
5.1 多媒體數據采集 129
5.1.1 Windows環境下聲音數據的採集 129
5.1.2 Windows環境下視頻數據的採集 132
5.2 Microsoft DirectX 135
5.2.1 DirectX的特性 136
5.2.2 Microsoft DirectSound簡介 139
5.2.3 Microsoft DirectShow簡介 141
5.2.4 DirectShow應用程序的開發 144
5.2.5 DirectShow應用示例 145
5.3 多媒體創作工具 147
5.3.1 多媒體創作工具的分類 147
5.3.2 音頻處理軟件 147
5.3.3 圖形、圖像及動畫製作與編輯軟件 148
5.3.4 網絡音頻、視頻文件製作 150
5.4 圖像特效 150
5.4.1 圖像特效的常用手法 151
5.4.2 圖像特效的技術手段 152
5.4.3 圖像特效在人臉美化中的應用 157
5.5 多媒體應用軟件 158
5.6 多媒體播放器 159
思考與練習5 160
第6章 多媒體文檔的組織與設計 161
6.1 超文本和超媒體 161
6.1.1 超文本概述 161
6.1.2 超文本系統的基本特徵 162
6.2 HTML簡介 165
6.2.1 HTML的發展歷史 165
6.2.2 HTML文件結構 166
6.2.3 HTML的標簽和屬性 167
6.2.4 超鏈接 167
6.2.5 HTML的多媒體實現 169
6.3 HTML5 171
6.3.1 HTML5的主要特性 171
6.3.2 HTML5在移動開發中的應用 175
6.4 XML簡介 176
6.4.1 XML的特點 177
6.4.2 XML與HTML的區別 177
6.5 SMIL及其應用示例 178
6.5.1 SMIL簡介 178
6.5.2 SMIL的基本語法規則 178
6.5.3 SMIL應用設計 179
6.5.4 SMIL應用示例 183
6.6 設計超文本的工具 184
6.6.1 JavaScript 184
6.6.2 動態網頁設計 190
6.6.3 Ajax技術 191
6.6.4 SVG 192
6.6.5 Web 2.0和Web 3.0 192
思考與練習6 194
第7章 多媒體數據存儲與管理 195
7.1 多媒體數據的特點 195
7.2 多媒體數據的管理 196
7.2.1 多媒體數據模型 196
7.2.2 多媒體數據庫體系結構 198
7.3 多媒體數據檢索與查詢 200
7.3.1 查詢方法 200
7.3.2 萬維網文檔的檢索技術 201
7.3.3 基於內容的多媒體數據檢索 203
7.4 結構化查詢語言SQL 210
7.4.1 SQL簡介 210
7.4.2 SQL的數據類型 211
7.4.3 SQL的基本語法 214
7.4.4 多媒體數據保存與獲取示例 216
7.5 多媒體數據挖掘 218
7.5.1 數據挖掘的概念 218
7.5.2 Web挖掘 219
7.5.3 多媒體數據挖掘 219
思考與練習7 221
第8章 多媒體計算機網絡 222
8.1 多媒體網絡通信技術 222
8.1.1 三大定律和互聯網的特性 222
8.1.2 多媒體通信網絡的基本結構和特點 223
8.1.3 計算機網絡概述 224
8.1.4 網絡接入技術 226
8.1.5 短距離無線通信技術 229
8.1.6 移動通信技術及標準 233
8.2 分布式多媒體計算機系統 240
8.2.1 分布式多媒體計算機系統的基本特徵 240
8.2.2 分布式多媒體計算機系統服務模型 241
8.2.3 分布式多媒體系統的層次結構 242
8.2.4 網格 243
8.2.5 雲計算 244
8.3 P2P網絡 246
8.3.1 P2P技術體系結構與分類 246
8.3.2 P2P網絡的特點 248
8.3.3 P2P技術的應用 248
8.4 無線多媒體傳感器網絡 250
8.4.1 無線傳感器網絡的特點 251
8.4.2 無線傳感器網絡的結構 252
8.4.3 無線傳感器網絡的設計 252
8.4.4 無線多媒體傳感器網絡 253
8.5 物聯網 254
8.6 流媒體傳輸協議 257
8.6.1 RTP/RTCP 257
8.6.2 RSVP 259
8.6.3 RTSP 260
思考與練習8 261
第9章 多媒體數據安全 262
9.1 多媒體數據安全的主要內容 262
9.2 基於多媒體數據的信息隱藏 263
9.2.1 基於圖像的信息隱藏 264
9.2.2 基於音頻的信息隱藏 266
9.2.3 基於視頻的信息隱藏 269
9.3 多媒體內容安全 271
9.3.1 語音數據加密 272
9.3.2 視