信息論簡明教程（簡體書）

本書是專為應用型高等院校電子信息類專業本科生撰寫的一本教材。考慮到讀者的實際情況，本書選取了信息論中的核心內容和基礎內容作為講述的重點，對于信息論中比較艱深的概念和數學推導做了適當的刪減。全書分為正文和附錄兩個部分。正文分為7章，內容包括：數學基礎回顧、信息的度量、信源與信源熵、信道與信道容量、信源編碼初步、信道編碼初步等；附錄分為5個部分，附錄A給出了各章習題的詳細解答，附錄B～E給出了若干定理的證明以及部分算法的源程序。與同類信息論書籍相比，本書閱讀門檻較低，習題解答詳細，可供獨立學院學生、自考生、成教生和廣大自學愛好者使用。

第1章 緒論
1.1 信息的概念及香農信息論的發展史
1.2 香農信息論的研究對象、目的和內容
1.3 信息論的發展
1.4 如何學好信息論
第2章 數學基礎回顧
2.1 離散概率論
2.1.1 隨機事件的概率
2.1.2 條件概率、全概率公式與貝葉斯公式
2.1.3 離散型隨機變量及其分布
2.1.4 二維離散型隨機變量的聯合分布、邊緣分布和條件分布
2.1.5 離散型隨機變量函數的分布
2.1.6 離散型隨機變量的數字特征
2.2 隨機過程初步
2.2.1 隨機過程與隨機序列
2.2.2 馬爾可夫鏈
第3章 信息的度量
3.1 自信息、平均自信息和熵
3.1.1 單個隨機事件的自信息
3.1.2 單個隨機事件集合的平均自信息(隨機變量的信息熵)
3.1.3 熵函數的性質
3.2 聯合熵與條件熵
3.2.1 兩個隨機事件的聯合自信息
3.2.2 兩個隨機事件集合(二維隨機變量)的聯合熵
3.2.3 兩個隨機事件的條件自信息
3.2.4 兩個隨機事件集合(二維隨機變量)的條件熵
3.3 互信息與平均互信息
3.3.1 兩個隨機事件的互信息
3.3.2 兩個隨機事件集合(二維隨機變量)的平均互信息
3.3.3 平均互信息的性質
3.4 平均自信息、聯合熵、條件熵和平均互信息的數量關系
3.4.1 數量關系總結
3.4.2 數量關系的證明
3.4.3 熵的鏈規則
3.5 本章小結
習題3
第4章 信源與信源熵
4.1 信源的分類及其數學模型
4.2 離散單符號信源
4.3 離散多符號信源
4.3.1 離散平穩無記憶信源
4.3.2 離散平穩有記憶信源
4.3.3 馬爾可夫信源
4.3.4 信源的相關性和剩余度
4.4 連續信源簡介
4.5 本章小結
習題4
第5章 信道與信道容量
5.1 信道的分類與描述
5.1.1 信道的分類
5.1.2 信道描述
5.2 離散單符號信道及其信道容量
5.2.1 離散單符號信道的數學模型
5.2.2 信道容量的概念
5.2.3 無損信道和無噪信道的信道容量
5.2.4 離散對稱信道的信道容量
5.2.5 一般離散信道的信道容量與信道容量定理
5.3 離散多符號信道及其信道容量
5.3.1 離散多符號無記憶信道的數學模型
5.3.2 離散多符號無記憶信道的信道容量
5.4 組合信道及其信道容量
5.4.1 獨立并聯信道
5.4.2 串聯信道
5.5 連續信道及其信道容量介紹
5.6 本章小結
習題5
第6章 信源編碼初步
6.1 信源編碼的概念與分類
……
第7章 信道編碼初步
附錄
參考文獻