企業數據湖（簡體書）

本書分為三個主要部分。第一部分介紹了數據湖的概念、企業中數據湖泊的重要性，以及Lambda架構的最新進展。第二部分將深入研究使用Lambda架構構建數據湖的主要組件，介紹了一些流行的大數據技術，如Apache Hadoop、Spark、Sqoop、Flume和彈性搜索。第三部分以實際操作的方式展示如何實現一個企業數據湖，並介紹了幾個實際的用例，而且展示了如何將其他外圍組件添加到湖中以提高效率。在本書的最後，讀者將能夠選擇正確的大數據技術，使用lambda架構模式來構建企業數據湖。

譯者序



推薦序



關於作者



關於技術審核人員



前言



第一部分 概述



第1章 數據導論 2



1.1 探索數據 3



1.2 什麼是企業數據 4



1.3 企業數據管理 5



1.4 大數據相關概念 6



1.5 數據與企業的相關性 8



1.6 數據質量 9



1.7 企業中數據如何存放 10



1.7.1 內聯網（企業內部） 10



1.7.2 互聯網（企業外部） 10



1.7.3 數據持久化存儲（RDBMS或者NoSQL） 12



1.7.4 傳統的數據倉庫 13



1.7.5 文件存儲 13



1.8 企業現狀 14



1.9 企業數字化轉型 15



1.10 數據湖用例啟示 16



1.11 總結 17



第2章 數據湖概念概覽 18



2.1 什麼是數據湖 18



2.2 數據湖如何幫助企業 19



2.3 數據湖是如何工作的 20



2.4 數據湖與數據倉庫的區別 21



2.5 數據湖的構建方法 22



2.6 Lambda架構驅動的數據湖 22



2.6.1 數據攝取層――攝取數據用於處理和存儲 23



2.6.2 批處理層――批量處理已提取數據 23



2.6.3 快速處理層――近實時數據處理 24



2.6.4 數據存儲層――存儲所有數據 24



2.6.5 服務層――數據交付與導出 25



2.6.6 數據獲取層――從源系統獲取數據 25



2.6.7 消息層――數據傳輸的保障 26



2.6.8 探索數據攝取層 27



2.6.9 探索Lambda層 28



2.7 總結 35



第3章 Lambda架構：一種數據湖



實現模式 36



3.1 什麼是Lambda架構 36



3.2 Lambda 架構簡史 37



3.3 Lambda架構的原則 37



3.3.1 容錯原則 38



3.3.2 不可變數據原則 38



3.3.3 重新計算原則 38



3.4 Lambda架構的組件 38



3.4.1 批處理層 39



3.4.2 快速處理層 41



3.4.3 服務層 43



3.5 Lambda架構的完整工作原理 44



3.6 Lambda架構的優勢 45



3.7 Lambda架構的劣勢 46



3.8 Lambda架構技術概覽 46



3.9 應用Lambda 47



3.9.1 企業級日誌分析 47



3.9.2 獲取和分析傳感器數據 47



3.9.3 電子郵件平臺實時統計 48



3.9.4 實時賽事分析 48



3.9.5 推薦引擎 48



3.9.6 安全威脅分析 48



3.9.7 多渠道用戶行為分析 48



3.10 Lambda架構運行範例 48



3.11 Kappa架構 49



3.12 總結 50



第4章 數據湖中的Lambda應用 51



4.1 Hadoop發行版本介紹 51



4.2 影響企業大數據技術棧選擇的因素 53



4.2.1 技術能力 53



4.2.2 是否易於部署和維護 53



4.2.3 集成準備 53



4.3 批處理層與數據處理 53



4.3.1 NameNode服務器 54



4.3.2 Secondary NameNode服務器 55



4.3.3 YARN 55



4.3.4 數據存儲節點 55



4.3.5 快速處理層 56



4.3.6 Flume用於數據獲取 57



4.3.7 Spark Streaming 58



4.4 服務層 62



4.4.1 數據存儲層 62



4.4.2 數據訪問層 63



4.5 總結 64



第二部分 數據湖的技術組件



第5章 基於Apache Sqoop的批量數據獲取 68



5.1 數據湖背景中的數據獲取 68



5.1.1 數據獲取層 68



5.1.2 批量數據獲取――技術路線圖 69



5.2 為什麼使用Apache Sqoop 70



5.2.1 Sqoop簡史 71



5.2.2 Sqoop的優勢 71



5.2.3 Sqoop的劣勢 72



5.3 Sqoop的功能 72



5.3.1 Sqoop 2的架構 74



5.3.2 Sqoop 1與Sqoop 2 75



5.3.3 Sqoop的功能 77



5.3.4 使用Sqoop導入數據 77



5.3.5 使用Sqoop導出數據 78



5.4 Sqoop connector 79



5.5 Sqoop對HDFS的支持 81



5.6 Sqoop運行範例 81



5.6.1 安裝與配置 81



5.6.2 數據源配置 90



5.6.3 Sqoop配置（數據庫驅動） 91



5.6.4 將HDFS配置為目的地 91



5.6.5 Sqoop數據導入 91



5.6.6 Sqoop數據導出 97



5.6.7 Sqoop job 98



5.6.8 Sqoop 2 99



5.6.9 SCV用例視角中的Sqoop 102



5.7 適合使用Sqoop的場景 103



5.8 不適合使用Sqoop的場景 104



5.9 實時Sqooping是否可行 104



5.10 其他選項 104



5.10.1 原生大數據connector 105



5.10.2 Talend 106



5.10.3 Pentaho Kettle（PDI――Pentaho數據集成）
106



5.11 總結 106



第6章 基於Apache Flume的流式數據獲取 108



6.1 數據獲取 108



6.1.1 什麼是流式數據 109



6.1.2 批量數據和流式數據 110



6.1.3 流式數據獲取――技術路線圖 110



6.1.4 什麼是Flume 111



6.1.5 Sqoop和Flume 112



6.2 為什麼使用Flume 113



6.2.1 Flume簡史 113



6.2.2 Flume的優勢 113



6.2.3 Flume的劣勢 114



6.3 Flume的架構原則 114



6.4 Flume架構 115



6.4.1 Flume 架構之一：分布式數據流水線 116



6.4.2 Flume 架構之二：扇出 117



6.4.3 Flume 架構之三：扇入 117



6.4.4 Flume架構中的3層設計 118



6.4.5 高級Flume架構 118



6.4.6 Flume的可靠性級別 120



6.5 Flume事件――流式數據 120



6.6 Flume Agent 120



6.7 Flume Source 122



6.8 Flume Channel 123



6.9 Flume Sink 125



6.10 Flume配置 126



6.11 Flume事務管理 127



6.12 Flume的其他組件 128



6.12.1 Channel Processor 128



6.12.2 Interceptor 129



6.12.3 Channel Selector 129



6.12.4 Sink Group 130



6.12.5 事