信息論、編碼及應用（簡體書）

《高等學校電子與通信類專業“十二五”規劃教材：信息論、編碼及應用》主要內容包括緒論、離散信源及其信息測度、離散信道及其信道容量，連續信源與連續信道、無失真信源編碼和有噪信道編碼簡介、保密通信的基本概念與方法、數字圖像加密。《高等學校電子與通信類專業“十二五”規劃教材：信息論、編碼及應用》壓縮了一部分偏深偏難的內容和一些偏重于理論證明方面的內容，重點突出對信息論、編碼理論及保密通信的基本原理和基本概念的分析與敘述，便于教學與自學。

第1章 緒論
1.1 信息的一般含義
1.2 信息論的基本思路
1.3 信息論研究的對象和內容
1.4 保密通信的基本理論及其應用
1.5 信息論的劃分范疇
1.6 信息論的發展簡史
習題1

第2章 離散信源及其信息測度
2.1 單符號離散信源的數學模型
2.2 自信息和信息函數
2.3信息熵
2.3.1 信息熵的數學表達式
2.3.2 信息熵的物理含義
2.4 信息熵的基本性質
2.4.1 信息熵及其熵函數表示
2.4.2 對稱性
2.4.3 非負性
2.4.4 確定性
2.4.5 連續性
2.4.6 擴展性
2.4.7 歸一化聯合概率和條件概率及其推廣形式
2.4.8 強可加性
2.4.9 可加性
2.5 聯合熵和條件熵的分解與計算
2.6 信息熵的解析性質
2.6.1 ∩型凸函數及其不等式
2.6.2 ∪型凸函數及其不等式
2.6.3 熵函數的極值性
2.6.4 熵函數的上凸性
2.7 離散信源的量大熵值
2.8 多符號離散平穩信源
2.9 多符號離散平穩無記憶信源及其信息熵
2.9.1 信源XN的信源空間
2.9.2 信源XN的聯合熵
2.10 多符號離散平穩有記憶信源及其信息熵2. 10. 1多符號離散平穩有記憶信源及其完備性
2.10.2 多符號離散平穩有記憶信源的聯合熵
2.10.3 多符號離散平穩有記憶信源的條件熵
2.10.4 多符號離散平穩有記憶信源的極限熵及其性質
2.11 信源的相關性與冗余度
附錄2-1 熵函數的上凸性證明的另外兩種方法
習題2

第3章 離散信道及其信道容量
3.1 單符號離散信道的數學模型
3.2 單符號的互信息量
3.3 後驗概率與單符號互信息量關系的進一步討論
3.4 平均互信息、損失熵（疑義度）和噪聲熵
3.5 平均互信息的特性
3.5.1 平均互信息的非負性
3.5.2 平均互信息的極值性
3.5.3 平均互信息的對稱性（交互性）
3.5.4 平均互信息的凸函數性
3.6 單符號離散信道的信道容量
3.6.1 信道容量的定義
3.6.2 信道容量的一般計算方法
3.6.3 無噪無損離散信道及其信道容量
3.6.4 有噪無損離散信道及其信道容量
3.6.5 無噪有損離散信道及其信道容量
3.6.6 對稱離散信道及其信道容量
3.6.7 準對稱離散信道及其信道容量
3.6.8 一般離散信道的信道容量迭代計算方法
3.7 多符號離散信道的數學模型
3.8 單符號離散無記憶的N次擴展信道
3.9 擴展信道的信息傳輸特性
3.10 平均互信息量的不增性與數據處理定理
3.11 信源與信道的匹配
附錄3-1 定理3-1的證明
附錄3-2 定理3-2的證明
附錄3-3 式（3-82）的證明
附錄3-4 式（3-86）的證明
附錄3-5 定理3-5的物理意義解釋
習題3

第4章 連續信源與連續信道
4.1 一維連續隨機變量的離散化及其差熵
4.1.1 連續信源空間的數學模型
4.1.2 連續信源的離散化及其差熵
4.2 維連續隨機變量的差熵
4.2.1 N維聯合差熵
4.2 2 N維條件差熵
4.3 平穩隨機過程的N維和無窮維差熵
4.4 兩種特殊連續信源的差熵
4.4.1 一維均勻分布連續信源的差熵
4.4.2 N維均勻分布連續信源的差熵
4.4.3 一維高斯分布連續信源的差熵
4.4.4 N維高斯分布連續信源的差熵
4.5 差熵的基本性質
4.6 差熵的極值性與上凸性
4.6.1 差熵的值性
4.6.2 差熵的上凸性
4.7 量大差熵定理
4.7.1 峰值功率受限條件下連續信源的最大差熵定理
4.7.2 平均功率受限條件下連續信源的最大差熵定理
4.8 差熵的變換
4.8.1 概率守恒和概率密度的坐標變換
4.8.2 差熵的坐標變換
4.9 連續信道的平均互信息及其上凸性和極值性
4.9.1 平均互信息的非負性
4.9.2 平均互信息的上凸性
4.9.3 平均互信息的極值性
4.10 平均互信息的不變性與不增性
4.10.1 平均互信息的不變性
4.10.2 平均互信息的不增性
4.11 高斯隨機變量加性連續信道及其信道容量
4.12 高斯隨機過程加性連續倍道及其信道容量
4.13 香農公式及其應用的有關問題
習題4

第5章 無失真信源編碼和有噪信道編碼簡介
5.1 單義可譯定理
5.2 平均碼長界限定理
5.3 無失真信源編碼定理
5.4 霍夫曼（Huffrnan）編碼
5.5 有噪信道的譯碼和編碼
5.5.1 譯碼規則
5.5.2 平均錯誤譯碼概率
5.5.3 最大後驗概率譯碼準則
5.5.4 最大似然譯碼準則
5.5.5 信道編碼與最小平均錯誤譯碼概率
5.5.6 有噪離散信道編碼定理
習題5

第6章 保密通信的基本概念與方法
6.1 密碼體制
6.1.1 換位與代替密碼體制
6.1.2 序列與分組密碼體制
6.1.3 對稱與非對稱密鑰密碼體制
6.2 保密通信的數學理論
6.2.1 數論
6.2.2 信息熵與保密通信的本質聯系
6.2.3 復雜度理論
6.3 密碼破譯
6.3.1 密碼破譯概述
6.3.2 密碼破譯規律
6.3.3 密碼破譯方式
6.3.4 密碼破譯方法
6.3.5 密碼破譯步驟
6.4 Shannon保密理論
6.4.1 理論保密體制
6.4.2 實際保密體制
6.4.3 密碼系統的評測
習題6

第7章 數字圖像加密
7.1 混沌映射與密碼學的聯系
7.1.1 從分組密碼的定義比較密碼變換與混沌映射的關系
7.1.2 從分組密碼的設計原理比較密碼變換與混沌映射的關系
7.1.3 從分組密碼的整體結構比較密碼變換與混沌映射的關系
7.2 混沌分組密碼的構造方法
7.2.1 混沌映射數字化帶來的性能下降
7.2.2 混沌映射的選擇
7.3 基于二維可逆映射的圖像分組加密方案
7.3.1 已有圖像加密算法回顧
7.3.2 一類基于二維可逆混沌映射的圖像分組加密方案
7.3.3 混沌貓映射
7.3.4 貓映射的離散化
7.3.5 基于混沌貓映射的圖像加密方法
7.3.6 安全性能分析
7.4 圖像分組加密程序
習題7
參考文獻

第1章 緒 論
信息論是人們在長期的通信工程實踐中，將通信技術、概率論、隨機過程和數理統計相結合而逐步發展起來的一門科學信息息論的奠基人是當代數學家、美國貝爾實驗室杰出的科學家香農（C．E．Shannon）．他在1948年發表了著名的論文《通信的數學理論》，為信息論奠定了理論基礎。近半個世紀以來，以通信理論為核心的經典信息論，正以信息技術為物化手段，把人類社會推進到了一個信息化時代。隨著信息理論的發展和概念的不斷深化，信息論所涉及的內容早已超越了狹義的通信工程范疇，進入了信息科學這一更廣闊的領域。
在涉及這門課程的具體內容之前，有必要首先從一般意義上闡述信息的基本含義，然後，再把視野集中到信息論特定的研究范疇中，并指明信息論的假設前提和解決問題的基本思路。這樣，才能幫助讀者在學習這門課程之前,有一個正確的思路，以便其更好地理解和掌握本書各章中的具體內容。
1.1 信息的一般含義
自古以來，人類就生活在信息的海洋之中。當今，人們越來越廣泛地采用“信息”這一詞語，那么．信息的含義到底是什么呢？從信息論的眾多應用中，我們大致可以從以下幾個方面來理解信息的含義。
1．信息是作為通信的消息來理解的
從這個意義上講，信息是人們在通信‥寸所要告訴對方的“某種內容”。例如，你給朋友寫一封信，你所告訴他的是關于你的學習、工作和生活等方面的信息；醫生從聽診器中聽到關于心臟病患者的信息；等等。總之，這些通信者要告訴對方的消息，或是想要得到的消息，就是人們常說的所謂信息。
一般而言，我們可以把任意兩點問的通信或信息在其問的流通情況，歸納為圖1-1所示的簡化模型。發出信息的通信者稱為”信源”，接收信息者稱為“信宿”，信息流通的通道稱為“信道”。只要發生了信息的流通過程，我們就說進行了某種形式的通信；反之．只要進行了通信，就必定有信息的流通與交換。
通過上述分析可知．信息流通的主要功能是，把本來相互離散的人類個體，連接成為緊密相關的社會整體。因此，信息不但是人與人之間，而且也是整個人類社會，以至于人類社會與自然界之間的“黏合劑”。沒有信息的世界，必定是一個沉寂的世界。沒有信息的流通與交換，對于人類社會來說，簡直是不可思議的事情。
2．信息是作為運算的內容而明確起來的
在這種情況下，信息是人們進行運算和處理所需要的條件、內容和結果，常常表現為數字、數據、圖表、內容和結果，并以數字、數據、圖表和曲線等形式出現。
例如，商品價格表上的數字是告訴顧客商品價格的信息，出租汽車的計程表上的數字是顯示汽車行駛路程的信息，等等。
信息已廣泛應用于計算機科學技術領域中。圖1 2是計算機的一般功能示意圖。用作計算用的計算機，根據計算的方法和條件（原始輸入信息），編制出計算程序，經過運算之後（一般稱做處理）得到相應的解答，并以數字或圖形的形式送至用戶（輸出信息）。稍為復雜的計算過程往往不是一次完成的，它需要把中間的運算結果作為補充的輸入信息，反饋到適當的環節，再進行演算。作控制用的計算機，首先要將理想的控制目標和被控對象的實際原始狀態（輸入信息）送給計算機，經過處理得到相應的輸出信息，并根據這個信息去控制被控對象，然後將理想控制目標與實際控制的誤差作為補充信息反饋回去，修正和調整相應的控制程序，直至控制的誤差在允許的范圍內，達到控制的。
無論用于運算或用下控制，計算機的作用都是對輸入信息進行某種形式的處理，從而獲得所需的輸出信息。
3．信息是作為人類感知的來源而存在的
信息也是人類自身進化的一個基本條件，人類在與外部世界的聯系中產生了感知信息和利用信息的需求，閃而逐漸形成和發展了自己的信息器官，如眼、耳、口、腦等。形成和發展這些器官，正是為了從自然界獲取信息和利用信息來強化自己，戰勝自然。
任何一種生物，如果完全不能從外部世界獲得必要的信息，它就無法感知外部世界的變化，當然也就不可能實時地調整自己的狀態，改善外部環境的關系來適應這種變化。
這樣的生物必然受到自然的淘汰而無法生存，更無從談到改造外部世界了。
今天能夠存在的一切生物，不論它們多么簡單和低級，都必然有它獨特的從外界獲取信息的本領。在這種意義上，我們可以說，具備從外部世界獲取信息和利用信息的能力，是一切生物得以生存的必要條件。生物越高級，它獲取和利用信息的本領也就越高強。
4．國內外字、詞典中有關信息的定義
我們可以在國內外字、詞典中找到有關信息的定義。我國的《辭海》中對信息一詞的注釋是：“信息是指對消息接受者來說預先不知道的報道。”
……