農業經濟調查數據的缺失值處理：模型和方法（簡體書）

任何調查都會存在缺失值問題，農業經濟調查亦不例外。在實踐中，絕大部分農業經濟管理研究人員都將這個問題忽略了。本書在充分探討農業經濟調查的特點和數據缺失原因的基礎上，對農業經濟調查數據中產生的缺失值問題進行了專門研究，構建了處理農業經濟調查缺失數據的基本模型和方法，從理論分析和模擬分析兩個角度充分比較了這些模型和方法的優劣以及使用條件，並最終應用於實際農業經濟調查缺失數據的處理，本書還為這些缺失值的處理編寫了基於R的語言程序。本書的研究成果對於農業經濟管理方面的研究具有指導意義。

目錄



1 導 論… ………………………………………………… 1

1.1 研究背景和研究意義… ………………………………………… 1

1.1.1 研究背景… ……………………………………………… 1

1.1.2 研究意義… ……………………………………………… 4

1.2 主要概念界定… ………………………………………………… 5

1.2.1 農業經濟調查… ………………………………………… 5

1.2.2 缺失值… ………………………………………………… 6

1.3 問題的提出與研究目標… ……………………………………… 7

1.3.1 問題的提出… …………………………………………… 7

1.3.2 研究目標… ……………………………………………… 8

1.4 技術路線與結構框架… ………………………………………… 8

1.4.1 技術路線… ……………………………………………… 8

1.4.2 結構框架… ……………………………………………… 9

1.5 研究方法與數據來源… ………………………………………… 11

1.5.1 研究方法… ……………………………………………… 11

1.5.2 數據來源… ……………………………………………… 12

1.6 可能的創新與不足… …………………………………………… 13

1.6.1 可能的創新… …………………………………………… 13

1.6.2 不足之處與展望… ……………………………………… 14



2 農業經濟調查數據缺失值處理的文獻綜述… ………… 15

2.1 缺失值處理的理論和方法的研究綜述… ……………………… 16

2.1.1 國外缺失值處理的理論和方法的研究綜述… ………… 16

2.1.2 國內缺失值處理的理論和方法的研究綜述… ………… 20

2.2 農業經濟調查數據缺失值問題的研究綜述… ………………… 21

2.2.1 國外農業經濟調查數據缺失值問題的研究綜述… …… 21

2.2.2 國內農業經濟調查數據缺失值問題的研究綜述… …… 23

2.3 結論和評價… …………………………………………………… 25



3 農業經濟調查數據缺失值處理的研究基礎和假設… … 27

3.1 農業經濟調查的特點和數據缺失原因… ……………………… 28

3.1.1 農業經濟調查的特點… ………………………………… 28

3.1.2 農業經濟調查數據缺失的原因… ……………………… 30

3.2 基本概念及符號表示… ………………………………………… 31

3.2.1 基本概念及符號… ……………………………………… 31

3.2.2 缺失數據及缺失信息的轉換… ………………………… 32

3.3 模擬方法介紹… ………………………………………………… 34

3.3.1 模擬方法的含義… ……………………………………… 34

3.3.2 採取模擬方法的原因… ………………………………… 34

3.3.3 模擬方法的優勢… ……………………………………… 35

3.4 農業經濟調查數據的缺失模式… ……………………………… 35

3.4.1 一般缺失模式… ………………………………………… 35

3.4.2 單一缺失模式… ………………………………………… 36

3.4.3 單調缺失模式… ………………………………………… 37

3.5 農業經濟調查數據的缺失機制… ……………………………… 37

3.5.1 農業經濟調查數據缺失機制及模型… ………………… 37

3.5.2 農業經濟調查數據缺失機制的模擬… ………………… 39

3.6 基本假設… ……………………………………………………… 41

3.6.1 農業經濟調查總體分佈的假設… ……………………… 41

3.6.2 農業經濟調查樣本隨機性的假設… …………………… 42

3.6.3 農業經濟調查的變量假設… …………………………… 42

3.6.4 農業經濟調查數據缺失模式的假設… ………………… 43

3.6.5 農業經濟調查數據缺失機制的假設… ………………… 44

3.7 缺失值處理的統計軟件… ……………………………………… 44

3.7.1 分析軟件… ……………………………………………… 44

3.7.2 本研究使用的軟件… …………………………………… 45

3.7.3 本研究自編的R 程序代碼… …………………………… 45



4 農業經濟調查數據缺失值處理的刪除及模擬分析… … 46

4.1 成列刪除及其缺陷分析… ……………………………………… 46

4.1.1 成列刪除及其爭議… …………………………………… 46

4.1.2 成列刪除引致的估計錯誤分析… ……………………… 48

4.1.3 成列刪除引致數據損失和估計錯誤的模擬分析… …… 50

4.2 成對刪除及比較分析… ………………………………………… 54

4.2.1 成對刪除及其爭議… …………………………………… 54

4.2.2 成對刪除的估計複雜性分析… ………………………… 55

4.2.3 成對刪除和成列刪除在相關關係估計上的模擬

比較分析… …………………………………………… 57

4.3 隨機缺失下成列刪除有偏估計的加權調整分析… …………… 60

4.3.1 加權調整的基本模型… ………………………………… 60

4.3.2 加權調整的方法… ……………………………………… 61

4.3.3 加權調整效果的模擬分析… …………………………… 63

4.4 結論和討論… …………………………………………………… 65



5 農業經濟調查數據缺失值處理的單一插補及

模擬比較分析…………………………………………… 67

5.1 單一插補的模型和缺陷分析… ………………………………… 67

5.1.1 單一插補的基本思想… ………………………………… 67

5.1.2 單一插補的基本模型… ………………………………… 68

5.1.3 單一插補的缺陷分析… ………………………………… 69

5.2 均值插補及其改進分析… ……………………………………… 70

5.2.1 關於均值插補的討論… ………………………………… 70

5.2.2 簡單均值插補對總體方差的低估分析… ……………… 71

5.2.3 均值插補離散性的改進分析… ………………………… 73

5.2.4 隨機缺失下均值插補估計偏差的修正… ……………… 75

5.2.5 簡單均值插補對相關關係低估的模擬分析… ………… 76

5.3 回歸插補及其插補效果的比較分析… ………………………… 78

5.3.1 關於回歸插補的討論… ………………………………… 78

5.3.2 簡單回歸插補及對總體方差的低估分析… …………… 79

5.3.3 回歸插補的改進分析… ………………………………… 81

5.3.4 回歸插補效果的模擬比較分析… ……………………… 83

5.4 基於模糊後驗分佈的熱平臺插補及比較分析… ……………… 86

5.4.1 關於熱平臺插補的討論… ……………………………… 86

5.4.2 簡單隨機插補的穩健性分析… ………………………… 87

5.4.3 隨機缺失下隨機插補的改進… ………………………… 87

5.4.4 最近距離插補及其模型方法… ………………………… 88

5.4.5 熱平臺插補效果的模擬比較分析… …………………… 89

5.5 結論和討論… …………………………………………………… 90