Hadoop大數據分析（簡體書）

本書適合作為高等學校計算機、通信與網絡工程等本科專業的教材，也可作為相關學科專業碩士研究生、信息網絡規劃設計人員、網絡運行管理維護人員和網絡管理技術科研人員的參考用書。

高永彬，博士、講師，就職于上海工程技術大學，博士畢業于韓國全北國立大學，在模式識別、機器學習領域積累了大量的研究與實戰經驗。特別地，在基於深度學習技術的人臉識別以及車型檢測技術進行了深入地研究，發表了近30篇期刊/會議論文，取得了豐厚的研究成果，發表在包括Information Sciences, Pattern Recognition Letters等高水平期刊中，其中SCI收錄5篇，EI收錄4篇。錢亮宏，男，畢業于上海交通大學電子信息與電氣工程學院，1989年8月出生，擁有10年R語言使用經驗，一直奮戰在數據分析與挖掘領域的第一線，作為金融和互聯網行業資深數據挖掘專家。方志軍，男，教授，現任上海工程技術大學電子電氣工程學院院長，1971年9月出生，主要從事人工智能、機器視覺、大數據分析等方面的研究，主講課程包括數字圖像處理、機器視覺、計算機導論、大數據導論和程序設計等。

第1部分 Hadoop核心基礎
第1章 Hadoop簡介 2
1.1 Hadoop產生背景 2
1.2 Hadoop簡要歷史 3
1.3 Hadoop生態系統組件 3
1.4 Hadoop版本和商用支持 5
1.5 Hadoop的基礎環境配置 6
1.6 Hadoop的安裝 7
1.7 Hadoop的配置 11
1.8 Hadoop的運行 14
小結 19
習題 19
第2章 HDFS文件系統 20
2.1 HDFS簡介 20
2.2 HDFS架構 20
2.3 HDFS文件塊 21
2.4 HDFS常用操作 22
小結 24
習題 24
第3章 YARN資源管理 25
3.1 YARN架構 25
3.2 YARN調度策略 26
3.3 YARN常用操作 28
小結 30
習題 31
第4章 MapReduce計算框架 32
4.1 MapReduce原理 32
4.2 MapReduce作業數據流 33
4.3 Hadoop流處理 35
4.4 MapReduce程序實現詞頻
統計 35
4.5 MapReduce程序的Reducer
數量 40
4.6 MapReduce程序的Combiner 41
4.7 MapReduce程序實現數據
連接 43
小結 49
習題 49
第2部分 Hive數據倉庫
第5章 Hive簡介 52
5.1 Hive概述 52
5.2 Hive的安裝 53
5.3 Hive的運行 56
小結 59
習題 59
第6章 Hive數據定義 60
6.1 數據庫操作 60
6.2 數據表基本操作 62
6.3 存儲格式和行格式 65
6.4 數據類型 67
6.5 外部表 70
6.6 分區表 72
小結 74
習題 74

第7章 Hive數據操作 75
7.1 數據導入 75
7.2 數據插入 78
7.3 數據導出 82
小結 84
習題 84
第8章 Hive數據查詢 85
8.1 基本查詢 85
8.2 數據聚合 87
8.3 數據連接 90
小結 92
習題 93
第3部分 Spark數據分析
第9章 Spark簡介 96
9.1 Spark概述 96
9.2 Spark原理 97
9.3 Spark的安裝 98
9.4 Spark運行方式 99
9.5 Spark運行位置 101
9.6 Spark運行參數 104
小結 104
習題 104
第10章 Spark大數據處理 105
10.1 數據框的創建 105
10.2 數據框的選擇 107
10.3 數據框的運算和聚合 110
10.4 數據框的增加、刪除
和修改 114
10.5 數據框的連接 116
10.6 數據框的變形 119
小結 120
習題 120
第11章 Spark機器學習流程 121
11.1 數據探索 122
11.2 數據劃分 123
11.3 數據填充 124
11.4 類別變量處理 125
11.5 特徵選擇 128
11.6 建模與調優 131
11.7 測試與評估 133
小結 135
習題 135
第12章 Spark有監督學習模型 136
12.1 線性回歸模型 140
12.2 邏輯回歸模型 142
12.3 決策樹模型 145
12.4 隨機森林模型 152
12.5 神經網絡 158
12.6 協同過濾 163
小結 166
習題 166
第13章 Spark無監督學習模型 167
13.1 k均值聚類模型 168
13.2 主成分分析模型 172
13.3 關聯分析模型 173
小結 176
習題 176