信息論與編碼(第4版)（簡體書）

《信息論與編碼（第4版 研究生教學用書）》系統介紹、論述香農信息論的基本理論、編碼基本定理和方法。《信息論與編碼（第4版 研究生教學用書）》共9章，內容包括：信息的定義、信息論基本思路；單符號離散信源與信道、信息熵、互信息、條件互信息、聯合互信息、信道容量、數據處理、加權熵、效用信息熵；多符號離散信源與信道、極限熵、獨立並列信道的信道容量；連續信源與信道、相對熵、高斯白噪聲加性信道的信道容量；無失真信源編碼定理；抗干擾信道編碼定理；限失真信源編碼定理、信息率失真函數、數據壓縮原理、信息價值、廣義信息率失真函數；信源信道編碼定理等。《信息論與編碼（第4版 研究生教學用書）》各章節配置大量例題，並提供完整、詳實的解題過程。
《信息論與編碼（第4版 研究生教學用書）》可作為高等院校、科研院所相關專業的研究生和高年級本科生的教材或教學參考書，也可供信息理論、信息技術和信息科學領域的教學、科研和工程技術人員參考。

第4版前言
第3版前言
再版前言
前言
引言

第1章 單符號離散信源
1．1 信源的信息熵
1．1．1 信源的數學模型
1．1．2 信源符號的自信量
1．1．3 信源的信息熵
1．2 信息熵的代數性質
1．2．1 對稱性
1．2．2 非負性和確定性
1．2．3 連續性和擴展性
1．2．4 可加性
1．2．5 遞推性
1．3 信息熵的解析性質
1．3．1 極值性
1．3．2 上凸性
1．3．3 信息熵的最大值（I）
1．3．4 信息熵的最大值（Ⅱ）
1．4 熵函數的唯一性
1．5 效用信息熵
1．5．1 加權熵的定義
1．5．2 權熵的數學特性
1．5．3 權熵的唯一性
1．5．4 效用信息熵的定義
1．5．5 效用信息熵的數學特性
習題

第2章 單符號離散信道
2．1 平均互信息
2．1．1 信道的數學模型
2．1．2 信道兩端符號的概率變化
2．1．3 兩個符號之間的互信息
2．1．4 兩個隨機變量之間的平均互信息
2．1．5 信息距離
2．1．6 交互係數
2．2 平均互信息的數學特性
2．2．1 交互性
2．2．2 非負性
2．2．3 極值性
2．2．4 下凸性
2．2．5 上凸性
2．3 信道容量和匹配信源
2．3．1 信道容量的定義
2．3．2 信道容量的一般算法
2．3．3 匹配信源的等量平衡特性
2．4 幾種特殊信道的信道容量
2．4．1 無噪信道的信道容量
2．4．2 對稱信道的信道容量
2．4．3 強對稱信道的信道容量
2．4．4 准對稱信道的信道容量
2．4．5 可逆矩陣信道的信道容量
2．5 信道容量的迭代計算
2．5．1 信道容量的迭代算法
2．5．2 迭代算法的收斂性
2．6 平均條件互信息
2．6．1 串接信道的數學描述
2．6．2 條件互信息
2．6．3 平均條件互信息
2．6．4 中心信息差
2．6．5 隨機變量序列的平均條件互信息
2．7 平均聯合互信息
2．7．1 聯合互信息的表達式
2．7．2 聯合互信息的對稱性
2．7．3 平均聯合互信息
2．7．4 信源的信息測量
2．8 數據處理
2．8．1 兩個信道串接的平均互信息不增性
2．8．2 N個信道串接平均互信息的不增性
2．8．3 信道兩端平均互信息的不增性
習題

第3章 多符號離散信源與信道
3．1 離散平穩信源的數學模型
3．1．1 多符號離散信源的一般概念
3．1．2 離散平穩信源的定義
3．1．3 離散平穩信源的數學模型
3．2 擴展信源的信息熵
3．2．1 無記憶擴展信源的信息熵
3．2．2 有記憶擴展信源的信息熵
3．2．3 擴展信源信息熵的比較
3．3 平均符號熵和極限熵
3．3．1 平均符號熵
3．3．2 極限熵
3．4 馬爾可夫（Markov）信源的極限熵
3．4．1 M信源的定義
3．4．2 m-M信源消息轉移特性
3．4．3 各態歷經m-M信源消息極限概率分佈
3．4．4 各態歷經m-M信源的數學模型
3．4．5 各態歷經m-M信源的極限熵
3．4．6 有記憶信源的剩餘度
3．5 擴展信道的平均互信息
3．5．1 擴展信道的由來
3．5．2 擴展信道的數學模型
3．5．3 擴展信道平均互信息的數學特性
3．6 無記憶擴展信道的獨立並列特性
3．6．1 無記憶性
3．6．2 無預感性
3．6．3 獨立並列與信道無記憶
3．7 獨立並列信道的信道容量
3．7．1 並列信道的數學模型
3．7．2 並列信道的概率變化關係
3．7．3 獨立並列信道平均互信息的極值性
3．7．4 信道容量的計算
習題

第4章 單維連續信源與信道
4．1 連續信源的相對熵
4．1．1 相對熵的由來及其內涵
4．1．2 幾種連續信源的相對熵
4．1．3 相對熵的數學特性
4．1．4 相對熵的最大值
4．1．5 熵功率與信息變差
4．1．6 相對熵的變換
4．2 連續信道的平均互信息
4．2．1 連續信道的數學描述
4．2．2 “信息熵差”與“相對熵差
4．2．3 平均互信息的三種表達式
4．2．4 平均互信息的不增性
4．2．5 平均互信息的不變性
4．2．6 連續信道的測量信息
4．3 連續信道的信道容量
4．3．1 信道容量的定義
4．3．2 加性信道的信道容量
4．3．3 高斯加性信道的信道容量
習題

第5章 多維連續信源與信道
5．1 隨機過程的離散化
5．1．1 傅裡葉（Fourier）分析的基本概念
5．1．2 隨機過程在時間域上的離散化
5．1．3 隨機過程在頻率域上的離散化
5．1．4 時域和頻域隨機變量序列的轉換
5．2 多維連續信源的相對熵
5．2．1 均勻分佈N維連續信源的要對熵
5．2．2 高斯分佈N維連續信源的相對熵
5．3 多維連續信源的最大相對熵
5．3．1 取值區域受限的N維連續信源的最大相對熵
5．3．2 協方差矩陣受限的N維連續信源的最大相對熵
5．4 多維相對熵的變換
5．5 無記憶擴展連續信道的平均互信息
5．5．1 N次擴展連續信道的統計特性
5．5．2 無記憶N次擴展連續信道的傳遞特性
5．5．3 無記憶N次擴展信道平均互信息的極值性
5．6 高斯白噪聲的統計特性
5．7 高斯白噪聲加性信道的傳遞特性
5．8 高斯白噪聲加性信道的信道容量
5．9 獨立並列高斯加性信道容量的最大化
習題

第6章 無失真信源編碼定理
6．1 單義可譯結構定理
6．1．1 單義可譯碼
6．1．2 非延長碼及其構成
6．1．3 單義可譯定理
6．2 平均碼長界限定理
6．2．1 平均碼長與碼率
6．2．2 平均碼長界限定理
6．2．3 最佳碼
6．3 符號傳輸速率極限定理
6．3．1 平均碼長極限定理
6．3．2 符號傳輸速率極限定理
習題

第7章 抗干擾信道編碼定理
7．1 譯碼規則和誤碼率
7．1．1 譯碼規則
7．1．2 誤碼率
7．2 最小誤碼率譯碼準則
7．2．1 最大後驗概率譯碼準則
7．2．2 最大似然譯碼準則
7．3 漢明（Hamming）距離
7．3．1 漢明距離的數學特性
7．3．2 漢明距離與檢糾能力
7．3．3 漢明距離與最小誤碼率
7．4 抗干擾信道編碼定理
7．4．1 費諾（Fano）不等式
7．4．2 可靠性與有效性之間的制約關係
7．4．3 誤碼率極限定理
習題

第8章 限失真信源編碼定理
8．1 R（D）函數的定義
8．1．1 平均互信息量的下凸性
8．1．2 平均失真度
8．1．3 信息率一失真函數R（D）的定義
8．1．4 R（D）函數的定義域
8．2 R（D）函數的數學特性
8．2．1 R（D）的下凸性
8．2．2 R（D）的單調遞減性
8．2．3 R（D）的連續性
8．3 離散信源的R（D）
8．3．1 二元離散信源的R（D）
8．3．2 r元等概率散信源的R（D）
8．3．3 離散信源R（D）函數的參量表述
8．3．4 二元離散信源R（D）函數的參量計算
8．4 連續信源的R（D）
8．4．1 高斯連續信源的R（D）
8．4．2 連續信源R（D）的參量表述
8．4．3 高斯連續信源R（D）的參量計算
8．5 R（D）的迭代計算
8．6 R（D）與信息價值
8．7 廣義信息率一失真函數
8．7．1 定義平均互信息
8．7．2 廣義信息率一失真函數
8．8 K次擴展信源的信息率一失真函數Rk（D）
8．8．1 擴展信源的平均失真度DK
8．8．2 RK（D）的定義及其數學特性
8．9 限失真信源編碼定理
8．9．1 數據壓縮的一般概念
8．9．2 限失真信源編碼極限定理
習題

第9章 信源一信道編碼定理
9．1 信息傳輸速率的上界
9．2 信源一信道編碼極限定理
習題
附錄 供熵函數計算用的幾種函數表
參考文獻