大話存儲(終極版)：存儲系統底層架構原理極限剖析（簡體書）

網路存儲是一個涉及電腦硬體以及網路通訊協定/技術、作業系統以及專業軟體等各方面綜合知識的領域。目前國內闡述網路存儲的書籍少之又少，大部分是國外作品，對存儲系統底層細節的描述不夠深入，加之術語太多，初學者很難真正理解網路存儲的精髓。
本書以特立獨行的行文風格向讀者闡述了整個網路存儲系統。從硬碟到應用程式，對這條路徑上的每個節點，作者都進行了闡述。書中內容涉及：電腦IO基本概念，硬碟物理結構、碟片資料結構和工作原理，七種常見RAID原理詳析以及性能細節對比，虛擬磁片、卷和檔案系統原理，磁碟陣列系統，OSI模型，FC協定，眾多磁碟陣列架構等。另外，本書囊括了存儲領域幾乎所有的新興技術，比如機械磁片、SSD、FC/SAS協定、HBA卡、存儲控制器、集群存儲系統、FC SAN、NAS、iSCSI、FCoE、快照、鏡像、虛擬化、同步/非同步遠端複製、Thin Provision自動精簡配置、VTL虛擬磁帶庫、資料容災、應用容災、業務容災、性能優化、存儲系統IO路徑、雲計算與雲存儲等。
其中每一項技術作者都進行了建模和分析，旨在幫助讀者徹底理解每一種技術的原理和本質。本書結尾，作者精心總結和多年來在論壇以及各大媒體發表的帖子內容，超過一百條的問與答，這些內容都是與實際緊密結合的經驗總結，頗具參考價值。
本書第一版於2008年出版，受到業界一致肯定，歷經6年技術沉澱重裝出版。
本書適合初入存儲行業的研發人員、技術工程師、售前工程師和銷售人員閱讀，同時適合資深存儲行業人士用以互相切磋交流提高。另外，網路工程師、網管、伺服器軟硬體開發與銷售人員、Web開發者、資料庫開發者以及相關專業師生等也非常適合閱讀本書。

張冬

資深系統工程師，精通網絡互聯技術、存儲系統、網絡存儲系統以及DB2數據庫系統。先後設計過多個省級網絡架構，曾經為多個知名企業設計了存儲子系統架構，在某知名企業擔任DB2數據庫管理員，設計並主持實施了DB2數據庫以及SAP系統的整合容災項目。作者曾經在中國民航總局擔任民航NG（Next Generation）離港系統開發的通信協議和系統架構支持顧問，為我國自主研發的打破國際壟斷的新一代高實時性離港系統提供了關鍵技術支持，包括大型機通信協議分析、系統架構分析等，得益於作者深厚的講授和文檔功底，使得開發人員編寫代碼的時候如魚得水。

目前為z大的CISCO中文社區NET130大版主，網絡上具有相當大的名氣和號召力。

該作者對網絡、存儲系統有深刻的理解和洞察力，具有深厚的知識背景和技術能力。正因如此，作者曾經應邀擔任多家培訓機構的高級技術顧問和講授顧問。作者對教授技巧有很好的領悟，所培訓的學員對其講授水平有很高的評價。由於極其通俗易懂，作者的講義被學員讚譽為“無需老師講授的教材”。

該作者的著作特點為：通俗易懂，極大的激發讀者的興趣，善於運用各種比喻和類比。

該作者不但在IT領域有所造詣，而且還研究過生物化學，分子生物學，分子免疫學，分子生態學等生物科學領域的內容。作者對萬物有自己獨到的見解，對未來世界的發展也有自己深邃的看法。

作者曾經在各大媒體雜誌發表過的文章有：

1、《深入剖析各種RAID技術的原理細節》，發表於《計算機世界》2007年3月26日《網絡存儲》

2、《信息的哲學－從信息到數據再到數據存儲》，發表於《信息存儲》2006年11月15日刊。

3、《論存儲領域各種通信協議之間的相互作用》，發表於《信息存儲》2006年11月15日刊。

4、《分而治之－論當今存儲集群的發展趨勢》，發表於IT168網絡存儲頻道。

5、《深入分析單口NAT的實現原理》，發表於NET130網絡技術頻道。

6、《從“徹底網絡化”看存儲區域網絡和系統區域網絡的發展歷程》，發表於IT168網絡存儲頻道。

7、《大話虛擬化》，發表於《信息存儲》2007年6月15日刊。

8、《對一個網絡界討論已久問題的分析解釋》，發表於NET130網絡技術頻道。

一個無比嚴謹的技術痴迷者創作的一本飽含誠意與想像力的經典存儲著作。

作者感言

各位讀者好，很高興再次為大家“大話”存儲，記得上一次是在3年前。6年前，當《大話存儲》一書在2008年出版面世之後，我當時就許下承諾，要寫《大話存儲終極版》。當時之所以敢誇下海口要繼續寫第二本，是因為《大話存儲》介紹了存儲領域最基本的概念和架構，但並沒有深入涉及存儲領域最新的技術，比如重複數據刪除、Thin Provision、動態分級存儲、CDP連續數據保護、SSD固態硬盤、FCoE、SAS、雲計算和雲存儲等。

當年的《大話存儲》確實滿足了廣大讀者的一定需求，出版之後也獲得了諸多好評和官方的、民間的很多獎項。這些成果逐漸讓我感覺到更大的責任和壓力。正因如此，所以我深知絕對不能就此停歇，學習是永無止境的，技術是不斷發展的，所以我先向大家做了承諾，這樣就可以無時無刻地激勵我繼續學習研究下去了。

寫作過程是極其困難的，尤其是當一字一句都需要精雕細琢，並且時刻以通俗表達且讓所有人都能看懂的原則和基準去寫的時候，其所耗費的精力和腦力是巨大的。記得在一年前撰寫本書主體的時候，基本上每天都是早晨七八點鐘起來，從床上直接到書桌前開始寫，直到中午吃飯，吃飯過程中依然在腦海中構思著，就這樣一直到晚上，最晚的一次記得是做一個實驗，通宵達旦，直到第二天天亮，實在體力不支，去床上躺到中午，然後繼續寫。每次睡覺之前，都會帶著一個疑問入睡，躺下之後就在腦海中構思、建模，一旦想到某些重要的東西，就用筆記下幾個關鍵詞，否則第二天準忘。大部分情況一般都是沒想到什麼思路就已經呼呼大睡了。這種狀態持續了半年之久，當完成了主體稿件之後，真的有一種如釋重負的感覺。可惜，好景不長，隨著不斷的學習和深入，逐漸發現已經寫完的內容當中有大量需要補充完善、修飾的部分，在修飾完善的過程中，繼續思考，結果發現又引申出更多的東西，有些甚至推翻了以前的結論。這種狀態又持續了半年，最終定稿交給編輯之後，依然發現還有零碎的東西需要完善甚至推翻，結果一再將更新的內容同步給編輯，導致出版日期一推再推，出版社相關編輯、校對叫苦不迭，還好咱的老戰友大成編輯一如既往地支持，我們都頂住了壓力，直到最後一個月時間內沒有再發現需要完善的內容，達到了最終收斂。後面這個過程感覺更加耗費精力，因為當你重新審視之前內容的時候，一旦發現不完善甚至錯誤，就會感覺到一種挫敗感和愧疚感，使你的激情和鬥誌有所喪失。

寫書不但是給他人共享知識的過程，它更是一個總結自身知識體系、提高自身修養以及讓自己學習更多知識的途徑。比如，我在寫書過程中，不但通過各方面渠道糾正了之前對某項技術的一些錯誤認識，而且還學習了更多的知識，並且將這些知識進行深度理解分析，之後通俗地表達出來。當你發現其他人通過你的知識快速提高之後，這種感覺是最充實的。只有在奉獻之後才會感到充實，而不是一味的去索取，這樣只能更加空虛。

本次終極修訂版，一是針對《大話存儲》和《大話存儲終極版》這兩本書中的錯誤進行修改，二是將前兩本書徹底整合成為一本，三是增加了一些前沿內容，四是針對前作中讀者反映不太好懂的地方進行了重新詮釋。鄙人的下一本書已經在寫作當中，本著十年磨一劍、磨不好絕不拿出來的態度，相信不會讓讀者失望。

感謝家人對我的支持！長達半年的無業狀態，沒有家人支持就沒有這本書。

感謝那些曾經幫助過我的不計其數的網友和同事！沒有鼓勵也不會有這本書。

感謝清華大學出版社的工作人員為本書所付出的工作！沒有信任更不會有這本書。

 

感謝華中科技大學武漢光電國家重點實驗室博士生導師謝長生教授對鄙人和本書的大力支持！

感謝本書的廣大讀者，你們的支持給了我持續前進的動力！

致本書最終修訂版交稿之前，我的女兒誕生了，感謝妻子。不知道她成人之後，能否還能看到20多年前的這本由他父親所著的著作，雖然那時候本書可能早已過時。我會努力把鑽研、毅力、執著、忘我這些亙古不變的東西，在女兒成長過程中傳授給她，我相信，有了這些，做什麼都會成功。

第1章混沌初開--存儲系統的前世今生
1.1存儲歷史
1.2信息、數據和數據存儲
1.2.1信息
1.2.2什麼是數據
1.2.3數據存儲
1.3用計算機來處理信息、保存數據
第2章IO大法--走進計算機IO世界
2.1 IO的通路--總線
2.2計算機內部通信
2.2.1 IO總線是否可以看作網絡
2.2.2 CPU、內存和磁盤之間通過網絡來通信
2.3網中之網
第3章磁盤大挪移--磁盤原理與技術詳解
3.1硬盤結構
3.1.1盤片上的數據組織
3.1.2硬盤控制電路簡介
3.1.3磁盤的IO單位
3.2磁盤的通俗演繹
3.3磁盤相關高層技術
3.3.1磁盤中的隊列技術
3.3.2無序傳輸技術
3.3.3幾種可控磁頭掃描方式概論
3.3.4關於磁盤緩存
3.3.5影響磁盤性能的因素
3.4硬盤接口技術
3.4.1 IDE硬盤接口
3.4.2 SATA硬盤接口
3.5 SCSI硬盤接口
3.6磁盤控制器、驅動器控制電路和磁盤控制器驅動程序
3.6.1磁盤控制器
3.6.2驅動器控制電路
3.6.3磁盤控制器驅動程序
3.7內部傳輸速率和外部傳輸速率
3.7.1內部傳輸速率
3.7.2外部傳輸速率
3.8並行傳輸和串行傳輸
3.8.1並行傳輸
3.8.2串行傳輸
3.9磁盤的IOPS和傳輸帶寬（吞吐量）
3.9.1 IOPS
3.9.2傳輸帶寬
3.10固態存儲介質和固態硬盤
3.10.1 SSD固態硬盤的硬件組成
3.10.2從Flash芯片讀取數據的過程
3.10.3向Flash芯片中寫入數據的過程
3.10.4 Flash芯片的通病
3.10.5 NAND與NOR
3.10.6 SSD給自己開的五劑良藥
3.10.7 SSD如何處理Cell損壞
3.10.8 SSD的前景
3.11 Memblaze閃存產品介紹
3.11. 1技術能力
3.11.2產品能力
3.12小結：網中有網，網中之網
第4章七星北斗--大話/詳解七種RAID
4.1大話七種RAID武器
4.1.1 RAID 0陣式
4.1.2 RAID 1陣式
4.1.3 RAID 2陣式
4.1.4 RAID 3陣式
4.1.5 RAID 4陣式
4.1.6 RAID 5陣式
4.1.7 RAID 6陣式
4.2七種RAID技術詳解
4.2.1 RAID 0技術詳析
4.2.2 RAID 1技術詳析
4.2.3 RAID 2技術詳析
4.2.4 RAID 3技術詳析
4.2.5 RAID 4技術詳析
4.2.6 RAID 5技術詳析
4.2.7 RAID 6技術詳析
第5章降龍傳說--RAID、虛擬磁盤、捲和文件系統實戰
5.1操作系統中RAID的實現和配置
5.1.1 Windows Server 2003高級磁盤管理
5.1.2 Linux下軟RAID配置示例
5.2 RAID卡
5.3磁盤陣列
5.3.1 RAID 50
5.3.2 RAID 10和RAID 01
5.4虛擬磁盤
5.4.1 RAID組的再劃分
5.4.2同一通道存在多種類型的RAID組
5.4.3操作系統如何看待邏輯磁盤
5.4.4 RAID控制器如何管理邏輯磁盤
5.5捲管理層
5.5.1有了邏輯盤就萬事大吉了麼？
5.5.2深入捲管理層
5.5.3 Linux下配置LVM實例
5.5.4捲管理軟件的實現
5.5.5低級VM和高級VM
5.5.6 VxVM捲管理軟件配置簡介
5.6大話文件系統
5.6.1成何體統--沒有規矩的倉庫
5.6.2慧眼識人--交給下一代去設計
5.6.3無孔不入--不浪費一點空間
5.6 .4一箭雙雕--一張圖解決兩個難題
5.6.5寬容似海--設計也要像心胸一樣寬
5.6.6老將出馬--權威發布
5.6.7一統江湖--所有操作系統都在用
5.7文件系統中的IO方式
第6章陣列之行--大話磁盤陣列
6.1初露端倪--外置磁盤櫃應用探索
6.2精益求精--結合RAID卡實現外置磁盤陣列
6.3獨立宣言--獨立的外部磁盤陣列
6.4雙龍戲珠--雙控制器的高安全性磁盤陣列
6.5龍頭鳳尾--連接多個擴展櫃
6.6錦上添花--完整功能的模塊化磁盤陣列
6.7一脈相承--主機和磁盤陣列本是一家
6.8天羅地網--SAN
第7章熟讀寶典--系統與系統之間的語言OSI
7.1人類模型與計算機模型的對比剖析
7.1.1人類模型
7.1.2計算機模型
7.1.3個體間交流是群體進化的動力
7.2系統與系統之間的語言--OSI初步
7.3 OSI模型的七個層次
7.3.1應用層
7.3.2表示層
7.3.3會話層
7.3.4傳輸層
7.3.5網絡層
7.3.6數據鏈路層
7.3.7物理層
7.4 OSI與網絡
第8章勇破難關--Fibre Channel協議詳解
8.1 FC網絡--極佳的候選角色
8.1.1物理層
8.1.2鏈路層
8.1.3網絡層
8.1.4傳輸層
8.1.5上三層
8.1.6小結
8.2 FC協議中的七種端口類型
8.2.1 N端口和F端口
8.2.2 L端口
8.2.3 NL端口和FL端口
8.2.4 E端口
8.2.5 G端口
8.3 FC適配器
8.4改造盤陣前端通路--SCSI遷移到FC
8.5引入FC之後
8.6多路徑訪問目標
8.7 FC交換網絡節點4次Login過程簡析
第9章天翻地覆--FC協議的巨大力量
9.1 FC交換網絡替代並行SCSI總線的必然性
9.1.1面向連接與面向無連接
9.1.2串行和並行
9.2不甘示弱- -後端也升級換代為FC
9.3 FC革命--完整的盤陣解決方案
9.3.1 FC磁盤接口結構
9.3.2一個磁盤同時連入兩個控制器的Loop中
9.3.3共享環路還是交換--SBOD芯片級詳解
9.4 SAS大革命
9.4.1 SAS物理層
9.4.2 SAS鏈路層
9.4.3 SAS網絡層
9.4.4 SAS傳輸層和應用層
9.4.5 SAS的應用設計和實際應用示例
9.4.6 SAS目前的優勢和麵臨的挑戰
9.5中高端磁盤陣列整體架構簡析
9.5.1 IBM DS4800和DS5000控制器架構簡析
9.5.2 NetApp FAS系列磁盤陣列控制器簡析
9.5.3 IBM DS8000簡介
9.5.4富士通ETERNUS DX8000磁盤陣列控制器結構簡析
9.5.5 EMC公司Clariion CX/CX3及DMX系列盤陣介紹
9.5 .6 HDS公司AMS2000和USP系列盤陣介紹
9.5.7 HP公司MSA2000和EVA8000存儲系統架構簡介
9.5.8傳統磁盤陣列架構總結
9.6磁盤陣列配置實踐
9.6.1基於IBM的DS4500盤陣的配置實例
9.6. 2基於EMC的CX700磁盤陣列配置實例
9.7 HBA卡邏輯架構詳析與SAN Boot示例
9.7.1 HBA卡邏輯架構
9.7.2支持Boot的HBA卡訪問流程
9.8國產中高端FC磁盤陣列
9.8.1 Infortrend中低端ESDS系列存儲系統
9.8.2 Infortrend中高端ESVA系列存儲系統
9.8.3 Infortrend存儲軟件特性及配置界面
9.9小結
第10章三足鼎立--DAS、SAN和NAS
10.1 NAS也瘋狂
10.1. 1另闢蹊徑--亂談NAS的起家
10.1.2雙管齊下--兩種方式訪問的後端存儲網絡
10.1.3萬物歸一--網絡文件系統
10.1.4美其名曰--NAS
10.2龍爭虎鬥--NAS與SAN之爭
10.2.1 SAN快還是NAS快
10.2.2 SAN好還是NAS好
10.2.3與SAN設備的通信過程
10.2.4與NAS設備的通信過程
10.2.5文件提供者
10.2.6 NAS的本質
10.3 DAS、SAN和NAS
10.4最終幻想--將文件系統語言承載於FC網絡傳輸
10.5長路漫漫--存儲系統架構演化過程
10.5.1第一階段：全整合階段
10.5.2第二階段：磁盤外置階段
10.5.3第三階段：外部獨立磁盤陣列階段
10.5.4第四階段：網絡化獨立磁盤陣列階段
10.5.5第五階段：瘦服務器主機、獨立NAS階段
10.5.6第六階段：全分離式階段
10.5.7第七階段：統一整合階段
10.5.8第八階段：迅速膨脹階段
10.5.9第九階段：收縮階段
10.5.10第十階段：強烈坍縮階段
10.6泰山北斗--NetApp的NAS產品
10.6. 1 WAFL配合RAID 4
10.6.2 Data ONTAP利用了數據庫管理系統的設計
10.6.3利用NVRAM來記錄操作日誌
10.6.4 WAFL從不覆寫數據
10.7初露鋒芒--BlueArc公司的NAS產品
10.8寶刀未老-- Infortrend公司NAS產品
第11章大師之作--大話以太網和TCP/IP協議
11.1共享總線式以太網
11.1.1連起來
11.1.2找目標
11.1.3發數據
11.2網橋式以太網
11.3交換式以太網
11.4 TCP/IP協議
11.4.1 TCP/IP協議中的IP
11.4.2 IP的另外一個作用
11.4.3 TCP/IP協議中的TCP和UDP
11.5 TCP/IP和以太網的關係
第12章異軍突起--存儲網絡的新軍IP SAN
12.1橫眉冷對--TCP/IP與FC
12.2自嘆不如--為何不是以太網+TCP/IP
12.3天生我才必有用--攻陷Disk SAN陣地
12.4 iSCSI交互過程簡析
12.4.1實例一：初始化磁盤過程
12.4.2實例二：新建一個文本文檔
12.4.3實例三：文件系統位圖
12.5 iSCSI磁盤陣列
12.6 IP SAN
12.7增強以太網和TCP/IP的性能
12.8 FC SAN節節敗退
12.9 iSCSI配置應用實例
12.9.1第一步：在存儲設備上創建LUN
12.9.2第二步：在主機端掛載LUN
12.10 iSCSI卡Boot配置示例
12.11 10Gb以太網的威力初顯
12.12小結
第13章握手言和--IP與FC融合的結果
13.1 FC的窘境
13.2協議融合的迫切性
13.3網絡通信協議的四級結構
13.4協議融合的三種方式
13.5 Tunnel和Map融合方式各論
13.5.1 Tunnel方式

世上最高的刀法在心中，而不是手上！雙刀大俠練就的是一門“浩瀚”絕學，一招一式都是鋪天蓋地，勢不可擋！
幾百年後，七星大俠在修煉了磁盤大挪移神功和龍譜之後的某一天，他突然兩眼發楞：“我悟到了！”然後奮筆疾書，成就了“七星北斗陣”這個空前絕後的陣式！RAID 0陣式就是這個陣式的第一個陣式！下面來看看這個陣式的絕妙之處吧！
4.1.1 RAID 0陣式
首先，這位七星大俠一定是對磁盤大挪移神功有很高的造詣，因為他熟知每塊磁盤上面的磁性區域的構造，包括磁道、磁頭、扇區和柱面等，這些口訣心法已經爛熟於心。在他看來，盤片就像一個蜂窩，上面的每一個孔都是一個扇區，可以說他已經參透了磁盤。其次，七星大俠一定是對合一刀法的精髓有很深的領悟，即他能領會雙刀大俠那4句詩的含義，特別是第二句給了他很大的啟發！“橫分豎割成龍絛”，暗示著雙刀大俠把他的刀在心中分割成了橫條帶和豎條帶，所以叫“橫分豎割”。分割完畢之後，雙刀大俠把這些分割後所謂的“絛”，即細條帶，在心中組合起來形成一條虛擬的“龍”，然後用龍來當作武器，即“龍在我心任逍遙”。
這顯然給了七星大俠很大的啟發，何不把幾塊磁盤也給“橫分豎割”，然後組成“龍”呢？對，就這麼幹！七星大俠賣血換來兩塊磁盤，找了個破廟，在後面搭了個草堆，成天擺弄他那兩塊用血換來的磁盤。白天出去要飯，晚上回來潛心鑽研！他首先決定把兩塊磁盤都分割成條帶，形成“絛”，可是該怎麼分好呢？合一刀法的思想主要有兩條路；一條是懶人做法，不想動腦子，即威力小、後勁足那種；另一種是需要動腦子算的，即威力足、後勁也足那種。
第一種怎麼實現呢？七星大俠冥思苦想，卻發現被誤導了。因為第一種根本不需要做“絛”。雙刀大俠的詩只是描述了威力巨大的第二種路子。所以三下五除二，七星大俠寫出了RAID 0陣式中的第一個套路：累加式。也就是說，磁盤還是那些磁盤，什麼都不動，也不用“橫分豎割”。數據來了，先往第一塊磁盤上寫。等寫滿之後，再往第二塊上寫。然後將這兩塊磁盤在心中組成一條龍，這就符合了合一刀法的思想。只不過這條龍威力比較弱，因為每次IO只用到了一塊磁盤，另一塊磁盤沒有動作。但是這條龍的後勁，比單個磁盤足了，因為容量相對一塊磁盤來說，增大了。
第一套路子實現了，可第二套路子就難了。其實磁盤已經被分割了，扇區不就是被分割的麼？但是一個扇區只有512B大小，這不符合合一刀法。因為合一刀法中是“絛”而不是“粒”，分割成粒的話，不僅開銷太大，而且組合起來也很困難。所以七星大俠決定完全照搬合一刀法的思想，但是又不能丟棄磁盤已經分割好的扇區，所以七星絞盡腦汁想出這麼一個辦法，如圖4-1和圖4-2所示。
圖4-1正常的4塊硬盤圖4-2被分割的4塊硬盤
圖4-1所示的是4塊普通硬盤，其上佈滿了扇區。扇區是實實在在存在於盤片上的，具有自己的格式。圖4-2所示的是引入分割思想之後的硬盤。由於許多文件系統或者捲管理軟件都使用塊而不是扇區作為基本存儲單元，所以圖4-2中也使用由4個扇區組成的塊作為基本單元。不同磁盤的相同偏移處的塊組合成Stripe，也就是條帶。
塊的編號也是以橫向條帶方向開始一條一條的向下。這樣，對於一個全新的文件系統和RAID 0磁盤組，如果有大塊數據寫入時，則數據在很大機率上可以以條帶為單位寫入。也就是說數據被分成多塊寫入4個硬盤，而不是單硬盤系統中的順序寫入一個硬盤，這就大大提高了速度。圖4-3所示的為多塊磁盤組成的邏輯磁盤示意圖。
圖4-3心中之龍
提示：磁盤上實實在在存在的只有扇區結構，Stripe並不是一個實實在在的結構，它只是由程序根據算法公式現套現用的。就像戴了一副有格子的眼鏡看一張白紙，那麼會認為這張白紙被格式化了，其實並沒有。另外，條帶化之後的多塊硬盤，數據是被並行寫入所有磁盤的，也就是多管齊下，而不是橫向寫滿一個條帶，再寫下一個條帶。
七星大俠就這樣埋頭苦苦思考了整整1年，基於合一刀法的橫分豎割的思想，完成了“七星北斗陣”的第一個陣式——RAID 0陣式。
……