大數據技術叢書：Clojure數據分析秘笈（簡體書）

本書共11章，主要內容包括：第1章討論如何從不同種類數據源中讀入數據。第2章提供標準化數據、修正拼寫錯誤和使用大數據集的策略和實現。第3章包含Clojure的并發特性和如何通過這些特性簡化程序。第4章包含使用Clojure的并行處理能力提高處理數據的速度。第5章包含在Hadoop和Cascading庫上使用Cascalog處理分布在多臺計算機上的大量數據。第6章包含使用Incanter數據集的基礎知識。第7章包含在數據分析中用到的一系列統計處理過程和測試。有此很簡單，例如生成匯總統計。第8章講解如何配置Clojure以便與Mathematica和R交互。第9章包含更多高級的機器學習技術。第10章展示如何在Incanter中生成圖和進行可視化。第11章展示如何安裝一個簡單的網頁應用來展現數據分析的發現。

Eric Rochester　資深數據分析專家，精通Python、Java、R、C#等多種編程語言，有豐富的編程經驗。目前，他重點關注函數式編程語言，包括Clojure和Haskell。他現任職于弗吉尼亞大學圖書館的學者實驗室，負責幫助人文學科和本科生實現數字信息方面的研究計劃。

（1）國內首部系統介紹Clojure數據分析技術的著作，內容全面而深入，為高效利用Clojure進行數據分析提供最佳指導（2）通過大量典型Clojure數據分析案例全面解析Clojure數據分析的各種技術細節、方法和最佳實踐，實戰性強

前言
關于技術審校者
第1章　導入分析數據
　1.1　引言
　1.2　新建項目
　1.3　將CSV數據讀入Incanter數據集
　1.4　將JSON數據讀入Incanter數據集
　1.5　使用Incanter讀入Excel數據
　1.6　從JDBC數據庫讀取數據
　1.7　將XML數據讀入Incanter數據集
　1.8　從網頁表中抓取數據
　1.9　從網頁中抓取文本數據
　1.10　讀取RDF數據
　1.11　使用SPARQL讀取RDF數據
　1.12　整合不同格式的數據 前言
關于技術審校者
第1章　導入分析數據 
　1.1　引言 
　1.2　新建項目 
　1.3　將CSV數據讀入Incanter數據集 
　1.4　將JSON數據讀入Incanter數據集 
　1.5　使用Incanter讀入Excel數據 
　1.6　從JDBC數據庫讀取數據 
　1.7　將XML數據讀入Incanter數據集 
　1.8　從網頁表中抓取數據 
　1.9　從網頁中抓取文本數據 
　1.10　讀取RDF數據 
　1.11　使用SPARQL讀取RDF數據 
　1.12　整合不同格式的數據 
第2章　清洗和校驗數據 
　2.1　引言 
　2.2　使用正則表達式清洗數據 
　2.3　使用同義詞映射保持一致性 
　2.4　識別并去除重復數據 
　2.5　標準化數字格式 
　2.6　調整詞頻值的度量 
　2.7　標準化日期和時間 
　2.8　大數據集的延遲處理 
　2.9　大數據集抽樣 
　2.10　修正拼寫錯誤 
　2.11　解析自定義數據格式 
　2.12　使用Valip校驗數據 
第3章　使用并發編程管理復雜度 
　3.1　引言 
　3.2　使用STM管理程序復雜度 
　3.3　使用agent管理程序復雜度 
　3.4　使用commute獲得更好的性能 
　3.5　將agent和STM結合使用 
　3.6　使用ensure維護一致性 
　3.7　將安全的副作用引入STM中 
　3.8　使用validator維護數據一致性 
　3.9　使用watcher追蹤處理過程 
　3.10　使用watcher調試并發程序 
　3.11　從agent中錯誤恢復 
　3.12　使用sized queue管理輸入 
第4章　使用并行編程提高性能 
　4.1　引言 
　4.2　使用pmap并行處理 
　4.3　使用Incanter并行處理 
　4.4　將蒙特卡羅模擬進行劃分使pmap性能提升 
　4.5　使用模擬退火算法最優化分塊大小 
　4.6　使用reducers并行處理 
　4.7　使用reducers生成在線統計 
　4.8　使用OpenCL和Calx駕馭你的GPU 
　4.9　使用類型提示 
　4.10　使用Criterium制定基準 
第5章　使用Cascalog進行分布式數據處理 
　5.1　引言 
　5.2　使用Cascalog和Hadoop分布式處理 
　5.3　使用Cascalog查詢數據 
　5.4　使用Apache HDFS分布數據 
　5.5　使用Cascalog解析CSV文件 
　5.6　使用Cascalog執行復雜查詢 
　5.7　使用Cascalog聚合數據 
　5.8　定義新Cascalog操作符 
　5.9　組成Cascalog查詢 
　5.10　處理Cascalog工作流中的錯誤 
　5.11　使用Cascalog轉換數據 
　5.12　使用Pallet在云上執行Cascalog查詢 
第6章　使用Incanter數據集 
　6.1　引言 
　6.2　加載Incanter樣例數據集 
　6.3　將Clojure數據結構加載到數據集中 
　6.4　使用view交互式查看數據集 
　6.5　將數據集轉換為矩陣 
　6.6　在Incanter中使用infix公式 
　6.7　使用$選擇列 
　6.8　使用$選擇行 
　6.9　使用$where過濾數據集 
　6.10　使用$group-by對數據分組 
　6.11　將數據集另存為CSV和JSON 
　6.12　使用$join進行多數據集投影 
第7章　使用Incanter準備并執行統計數據分析 
　7.1　引言 
　7.2　使用$rollup生成匯總統計 
　7.3　通過變量差別展示變化 
　7.4　調整變量以簡化變量關系 
　7.5　使用Incanter Zoo處理時間序列數據 
　7.6　平滑數據以降低噪聲 
　7.7　使用bootstrapping驗證抽樣統計 
　7.8　線性關系建模 
　7.9　非線性關系建模 
　7.10　多峰貝葉斯分布建模 
　7.11　使用本福德定律找出數據錯誤 
第8章　使用Mathematica和R 
　8.1　引言 
　8.2　在Mac OS X和Linux系統中配置Mathematica與Clojuratica的交互環境 
　8.3　在Windows系統中配置Mathematica與Clojuratica的交互環境 
　8.4　在Clojuratica中調用Mathematica函數 
　8.5　在Clojuratica中向Mathematica發送矩陣 
　8.6　在Clojuratica中運行Mathematica腳本 
　8.7　從Mathematica中創建函數 
　8.8　在Mathematica中并行處理函數 
　8.9　配置R與Clojure交互 
　8.10　在Clojure中調用R的函數 
　8.11　將向量傳入R 
　8.12　在Clojure中執行R文件 
　8.13　在Clojure中使用R繪圖 
第9章　聚類、分類和使用Weka 
　9.1　引言 
　9.2　將CSV和ARFF文件加載到Weka中 
　9.3　在Weka數據集中對列進行過濾和重命名 
　9.4　使用K-means聚類發現成組數據 
　9.5　在Weka中尋找層次聚類結構 
　9.6　在Incanter中使用SOM聚類 
　9.7　使用決策樹分類數據 
　9.8　使用樸素貝葉斯分類器分類數據 
　9.9　使用支持向量機分類數據 
　9.10　使用Apriori算法發現數據中的關聯 
第10章　使用Incanter繪圖 
　10.1　引言 
　10.2　使用Incanter創建散點圖 
　10.3　使用Incanter創建柱形圖 
　10.4　在柱形圖中繪制非數值型數據 
　10.5　使用Incanter創建直方圖 
　10.6　使用Incanter繪制函數 
　10.7　為Incanter圖表加入方程式 
　10.8　為散點圖加入直線 
　10.9　使用JFreeChart定制圖表 
　10.10　將Incanter圖保存為PNG格式 
　10.11　使用PCA繪制多維數據 
　10.12　使用Incanter創建動態圖表 
第11章　創建網頁圖表 
　11.1　引言 
　11.2　使用Ring和Compojure提供數據 
　11.3　使用Hiccup創建HTML網頁 
　11.4　配置和使用ClojureScript 
　11.5　用NVD3創建散點圖 
　11.6　用NVD3創建條形圖 
　11.7　用NVD3創建直方圖 
　11.8　使用力向布局進行圖像可視化 
　11.9　用D3創建交互式可視化 

顯示全部信息

第1章<br> 導入分析數據<br> 1.1　引言<br> 如果沒有大量數據是無法進行數據分析的，因此任何項目的第一步都是評估有什么樣的數據和需要什么樣的數據。一旦知道需要什么樣的數據，就要想辦法得到它。<br> 本章和本書中的許多方法使用Incanter（http://incanter.org/）導入數據并規定使用Incanter數據集。Incanter是Clojure中完成統計分析和圖形化顯示的庫，其作用類似于R。Incanter可能并不適用于所有任務（后面將使用Weka庫進行聚類和機器學習），但它仍是在Clojure中進行數據分析的重要工具。本章介紹如何收集數據和使數據適用于Clojure。首先來看一下如何創建一個新的項目。我們將從以逗號分隔值（Comma-Separated Value，CSV）的簡單數據格式開始，然后學習使用JDBC從關系數據庫中讀取數據。最后考慮更復雜的數據源，例如從網絡上抓取的數據和鏈接數據（RDF）。<br> 1.2　新建項目<br> 本書將用到許多第三方庫和外部依賴包，因此需要一款下載并記錄它們的工具，也需要一款工具用于搭建環境并啟動交互式終端解釋器（REPL），以便查看代碼或者執行程序。<br> 可以使用Leiningen（http://leiningen.org/）完成這項工作，它已經成為標準的自動打包和管理系統。<br> 1.2.1　準備工作<br> 訪問Leiningen官方網站（http://leiningen.org/）并下載lein腳本，執行該腳本會下載Leiningen所需的JAR文件。安裝說明很清晰，整個安裝過程比較簡單。<br> 1.2.2　具體實現<br> 用lein new命令生成一個新項目，將項目名稱作為參數傳入：<br> 現在你會發現一個名為getting-data的子目錄，其中將包含getting-data.core命名空間和測試用的樁程序。<br> 下載樣例代碼<br> 你可以從http://www.packtpub.com你的賬戶中下載購買的所有Packt書籍中的樣例代碼文件。如果你通過其他渠道購書，可以訪問http://www.packtpub.com/support并注冊，這些文件會通過郵件直接發送給你。<br> 1.2.3　實現原理<br> 新建項目目錄下有一個名為project.clj的文件，這個文件中包含關于該項目的元數據信息：項目名、版本和許可。文件中也包含代碼需要使用的依賴列表。該文件中所使用的規范允許在Maven倉庫目錄和Clojure庫目錄（Clojars，https://clojars.org/）搜索下載項目的依賴包。<br> 在每種方法的準備部分，都可以從這個文件的:dependencies部分看到項目需要列出的庫。<br> 1.3　將CSV數據讀入Incanter數據集<br> 以逗號分隔值（CSV）是最簡單的數據格式之一，并且這種數據格式應用非常普遍。Excel可以直接讀寫CSV文件，而且多數數據庫也可以。由于CSV文件就是無格式的文本，因此使用任何編程語言都很容易生成或者訪問它。<br> 1.3.1　準備工作<br> 首先，確保加載了正確的庫。Leiningen（https://github.com/technomancy/leiningen）的項目文件project.clj file應該包含以下依賴（也可以使用更新的版本）：<br> 另外，在REPL或者代碼文件中，包含以下代碼：<br> 最后，我將包含以下數據的文件命名為data/small-sample.csv。<br> 這個文件可以從http://www.ericrochester.com/clj-data-analysis/data/small-sample.csv下載，還有一個帶有標題行的版本，可以從http://www.ericrochester.com/clj-data-analysis/data/small-sample-header.csv下載。<br> 1.3.2　具體實現<br> 1. 使用incanter.io/read-dataset函數。<br> 2. 如果CSV文件中有標題行，在調用read-dataset函數時應包含 :header true。<br> ……<br>