TOP
0
0
魅麗。花火原創小說66折起
Hadoop構建數據倉庫與實戰分析(簡體書)
滿額折

Hadoop構建數據倉庫與實戰分析(簡體書)

人民幣定價:49 元
定  價:NT$ 294 元
優惠價:87256
領券後再享89折
無庫存,下單後進貨(採購期約45個工作天)
可得紅利積點:7 點
相關商品
商品簡介
目次

商品簡介

本書從Hadoop背景、特性、安裝等開始,逐步講解其配置、解決方案、元數據解析等內容。本書共10章,主要內容包括:Hadoop簡介,Hadoop的安裝與配置,HDFS HA及解決方案,HDFS元數據解析,Hadoop的元數據備份方案,Hadoop的BackupNode方案,MapReduce設計理念與基本架構,MapReduce編程模型,YARN設計理念與基本架構,YARN基礎庫。本書可作為高等院校計算機等相關專業的大數據或相關課程的教材,也可供大數據領域的工程技術人員學習、參考。

目次

目 錄
第1章 Hadoop簡介 1
1.1 Hadoop相關介紹 1
1.1.1 Hadoop概述 1
1.1.2 Hadoop的歷史 1
1.1.3 Hadoop的功能與作用 1
1.1.4 Hadoop的優勢 2
1.1.5 Hadoop的應用現狀與趨勢 2
1.2 Hadoop的項目 2
1.3 Hadoop的體系結構 4
1.4 Hadoop與分布式開發 5
1.5 Hadoop計算模型 8
1.6 Hadoop的數據管理 8
1.6.1 HDFS的數據管理 8
1.6.2 HBase的數據管理 10
1.6.3 Hive的數據管理 11
1.7 Hadoop集群安全策略 12
思考練習 14
第2章 Hadoop的安裝與配置 15
2.1 在Linux上安裝與配置Hadoop 15
2.1.1 安裝JDK1.6 15
2.1.2 配置SSH免密碼登錄 16
2.1.3 安裝並運行Hadoop 17
2.2 在Mac OSX上安裝與配置Hadoop 19
2.2.1 安裝Homebrew 19
2.2.2 使用Homebrew安裝Hadoop 19
2.2.3 配置SSH和使用Hadoop 19
2.3 在Windows上安裝與配置Hadoop 19
2.3.1 安裝JDK1.6或更高版本 19
2.3.2 安裝Cygwin 20
2.3.3 配置環境變量 20
2.3.4 安裝sshd服務 20
2.3.5 啟動sshd服務 20
2.3.6 配置SSH免密碼登錄 20
2.3.7 安裝並運行Hadoop 21
2.4 安裝與配置Hadoop集群 21
2.4.1 網絡拓撲 21
2.4.2 定義集群拓撲 22
2.4.3 建立和安裝Cluster 22
2.5 日誌分析及幾個小技巧 28
思考練習 29
第3章 HDFS HA及解決方案 30
3.1 HDFS系統架構 30
3.2 HA定義 31
3.3 HDFS HA原因分析及應對措施 31
3.3.1 可靠性 31
3.3.2 可維護性 32
3.4 Hadoop的HA解決方案 32
3.4.1 Hadoop的元數據備份方案 32
3.4.2 Hadoop的SecondaryNameNode方案 33
3.4.3 Hadoop的CheckpointNode方案 33
3.4.4 Hadoop的BackupNode方案 34
3.4.5 DRDB方案 34
3.4.6 Facebook的AvatarNode方案 34
3.5 方案的優點與缺點比較 35
思考練習 36
第4章 HDFS元數據解析 37
4.1 概述 37
4.2 內存元數據結構 37
4.2.1 INode 37
4.2.2 Block 38
4.2.3 BlockInfo和DatanodeDescriptor 39
4.2.4 小結 39
4.2.5 代碼分析―元數據結構 39
4.3 磁盤元數據文件 43
4.4 format情景分析 45
4.5 元數據應用場景分析 56
思考練習 57
第5章 Hadoop的元數據備份方案 58
5.1 運行機制分析 58
5.1.1 NameNode啟動加載元數據情景分析 59
5.1.2 元數據更新及日誌寫入情景分析 67
5.1.3 Checkpoint過程情景分析 73
5.1.4 元數據可靠性機制 95
5.2 使用說明 95
思考練習 96
第6章 Hadoop的BackupNode方案 97
6.1 BackupNode概述 97
6.1.1 系統架構 97
6.1.2 使用原則 97
6.2 運行機制分析 98
6.2.1 運行機制 98
6.2.2 元數據操作情景分析 113
6.2.3 日誌池機制 119
6.2.4 故障切換機制 122
6.3 實驗方案說明 124
6.4 構建實驗環境 124
6.4.1 網絡拓撲 124
6.4.2 系統安裝及配置 124
6.4.3 安裝JDK 131
6.4.4 虛擬機集群架設 132
6.4.5 NameNode安裝及配置 133
6.4.6 BackupNode安裝及配置 133
6.4.7 DataNode安裝及配置 134
6.4.8 Clients安裝及配置 134
6.5 異常解決方案 134
6.5.1 異常情況分析 134
6.5.2 NameNode配置 134
6.5.3 BackupNode配置 139
6.5.4 DataNode 配置 141
6.5.5 NameNode 宕機切換實驗 143
6.5.6 NameNode 宕機讀/寫測試 148
思考練習 153
第7章 MapReduce設計理念與基本架構 154
7.1 Hadoop MapReduce設計目標 154
7.2 MapReduce編程模型概述 154
7.2.1 MapReduce編程模型簡介 154
7.2.2 MapReduce編程實例 156
7.3 Hadoop基本架構 157
7.3.1 HDFS架構 158
7.3.2 Hadoop MapReduce架構 159
7.4 Hadoop MapReduce作業的生命週期 160
思考練習 162
第8章 MapReduce編程模型 163
8.1 MapReduce編程模型概述 163
8.1.1 MapReduce編程接口體系結構 163
8.1.2 新版與舊版MapReduce API比較 164
8.2 MapReduce API基本概念 165
8.2.1 序列化 165
8.2.2 Reporter參數 166
8.2.3 回調機制 166
8.3 Java API解析 167
8.3.1 作業配置與提交 167
8.3.2 InputFormat接口的設計與實現 170
8.3.3 OutputFormat接口的設計與實現 174
8.3.4 Mapper與Reducer解析 177
8.3.5 Partitioner接口的設計與實現 180
8.4 非Java API解析 181
8.4.1 Hadoop Streaming的實現原理 181
8.4.2 Hadoop Pipes的實現原理 184
8.5 Hadoop工作流 187
8.5.1 JobControl的實現原理 187
8.5.2 ChainMapper/ChainReducer的實現原理 189
8.5.3 Hadoop工作流引擎 191
思考練習 192
第9章 YARN設計理念與基本架構 193
9.1 YARN產生背景 193
9.1.1 MRv1的局限性 193
9.1.2 輕量級彈性計算平臺 194
9.2 Hadoop基礎知識 195
9.2.1 術語解釋 195
9.2.2 Hadoop的版本變遷 196
9.3 YARN基本設計思想 198
9.3.1 基本框架對比 198
9.3.2 編程模型對比 200
9.4 YARN基本架構 200
9.4.1 YARN基本組成結構 200
9.4.2 YARN通信協議 202
9.5 YARN工作流程 203
9.6 多角度理解YARN 204
9.6.1 並行編程 204
9.6.2 資源管理系統 204
9.6.3 雲計算 204
思考練習 205
第10章 YARN基礎庫 206
10.1 YARN基礎庫概述 206
10.2 第三方開源庫 206
10.2.1 Protocol Buffers 206
10.2.2 Apache Avro 209
10.3 底層通信庫 211
10.3.1 RPC通信模型 212
10.3.2 Hadoop RPC的特點概述 213
10.3.3 RPC總體架構 213
10.3.4 Hadoop RPC使用方法 214
10.3.5 Hadoop RPC類詳解 215
10.3.6 Hadoop RPC參數調優 219
10.3.7 YARN RPC實現 219
10.3.8 YARN RPC應用實例 221
10.4 服務庫與事件庫 225
10.4.1 服務庫 225
10.4.2 事件庫 226
10.4.3 YARN服務庫和事件庫的使用方法 226
10.4.4 事件驅動帶來的變化 229
10.5 狀態機庫 230
10.5.1 YARN狀態轉換方式 230
10.5.2 狀態機類 230
10.5.3 狀態機的使用方法 230
10.5.4 狀態機可視化 233
10.6 源代碼閱讀引導 233
思考練習 234
參考文獻 235

您曾經瀏覽過的商品

購物須知

大陸出版品因裝訂品質及貨運條件與台灣出版品落差甚大,除封面破損、內頁脫落等較嚴重的狀態,其餘商品將正常出貨。

特別提醒:部分書籍附贈之內容(如音頻mp3或影片dvd等)已無實體光碟提供,需以QR CODE 連結至當地網站註冊“並通過驗證程序”,方可下載使用。

無現貨庫存之簡體書,將向海外調貨:
海外有庫存之書籍,等候約45個工作天;
海外無庫存之書籍,平均作業時間約60個工作天,然不保證確定可調到貨,尚請見諒。

為了保護您的權益,「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。

若要辦理退貨,請在商品鑑賞期內寄回,且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。

優惠價:87 256
無庫存,下單後進貨
(採購期約45個工作天)

暢銷榜

客服中心

收藏

會員專區