應急管理在銀行業數據中心的策略與實踐（簡體書）

本書從應急管理的基本概念出發，結合大型商業銀行數據中心的業務連續性要求特性，通過應急管理的對象、組織架構、管理制度、主動運維與場景應用等方面的論述，系統地介紹了應急管理體系的基本理論與方法。全書共11章，包括應急管理基礎，銀行業數據中心應急管理概述，應急管理組織架構，應急管理策略、範圍、對象及目標，應急管理場所，應急管理制度，主動性維護，應急場景及預案，應急處置及啟動，應急管理工具建設，應急案例介紹等。本書理論與實踐相結合，為讀者提供了很多具有借鑒意義的應急預案和主動預防示例，能更好地運用到工作實踐中。

楊志國：工程師，現任中國銀行數據中心副總經理，為住建部數據中心工作組主任委員，工業和信息化部綠色數據中心主任專家委員，金融業綠色數據中心建設、評測、運維標準制定工作組組長，銀監會《銀行信息科技基礎設施建設與運維管理》編寫領導小組專家委員，人民銀行銀行業數據中心運維標準工作組領導小組成員，中國電子工業標準化技術協會數據中心服務能力成熟度國標工作組專家委員，工業信息化部電子工業標準化研究院數據治理國家標準領導小組成員及專家委員，中國信息安全認證中心體系認證專業技術委員會委員等。
他從事通信及金融業數據中心專業工作30年，具有非常豐富的數據中心機房等基礎設施規劃建設及管理、設備運維管理、IT監控管理與建設、運維管理體系建設、IT服務管理及信息安全風險管理煩惱歌經驗；參與完成了數項國家標準、行業標準，多次獲得國家科委科技成果獎、人民銀行及銀監會個獎項，銀監會一類、二類研究成果證書等。

目錄
第 1章應急管理基礎 1
1.1　基礎知識 2
1.1.1　工作原則 2
1.1.2　災難 3
1.1.3　災難恢復 4
1.1.4　災難備份 4
1.1.5　災難備份中心 4
1.1.6　關鍵業務功能 5
1.1.7　業務影響分析 5
1.1.8　恢復時間目標 5
1.1.9　恢複點目標 6
1.1.10　風險評估 6
1.1.11　應急預案 7
1.1.12　演練 7
1.1.13　桌面演練 7
1.1.14　模擬切換演練 8
1.1.15　真實切換演練 8
1.1.16　其他術語 9
1.2　應急管理與業務連續性管理 9
1.2.1　業務連續性管理的定義 9
1.2.2　應急管理與業務連續性管理的關係 10
1.3　應急管理與風險管理 11
1.3.1　風險的定義 11
1.3.2　信息安全風險的定義 13
1.3.3　風險管理的定義 15
1.3.4　應急管理與風險管理的關係 16
1.4　應急管理和災難備份與恢復管理 16
1.4.1　災難恢復的定義 16
1.4.2　災難恢復7要素 17
1.4.3　應急管理和災難備份與恢復管理的關係 17
1.5　銀行業數據中心應急管理要求 18
1.5.1　國家相關法律法規要求 18
1.5.2　相關政府機構的要求 25

第 2章銀行業數據中心應急管理概述 29
2.1　數據中心的定義及分級 30
2.1.1　數據中心的定義 30
2.1.2　數據中心的分級 31
2.2　雲計算數據中心功能的演進 32
2.3　銀行業數據中心典型組織架構 34
2.3.1　如何建立數據中心的組織架構 34
2.3.2　典型的銀行業數據中心組織架構 36
2.4　銀行業數據中心的應急管理 38

第3章銀行業數據中心應急管理組織架構 41
3.1　銀行業數據中心應急管理組織成立目的 42
3.2　銀行業數據中心應急管理組織架構 42
3.2.1　應急領導小組 43
3.2.2　應急執行小組 44
3.2.3　應急保障小組 45
3.2.4　外部支持小組 45

第4章銀行業數據中心應急管理策略、範圍、對象及目標 47
4.1　應急管理策略 48
4.1.1　事前預防策略 48
4.1.2　事中響應與處置策略 48
4.1.3　事後改進策略 49
4.1.4　資源與文化保障策略 50
4.2　應急管理範圍 50
4.3　應急管理對象 50
4.3.1　軟件 51
4.3.2　硬件 51
4.3.3　服務 51
4.3.4　數據 52
4.3.5　人員 52
4.4　應急管理目標 52

第5章銀行業數據中心應急管理場所 55
5.1　應急管理場所 56
5.1.1　生產監控場所 56
5.1.2　應急指揮場所 57
5.1.3　應急處置場所 58
5.1.4　服務受理場所 59
5.1.5　技術分析場所 59
5.1.6　測試演練場所 60
5.2　應急場所的建設方法 61
5.2.1　大屏幕顯示系統 61
5.2.2　全球IP電話系統 66
5.2.3　虛擬終端及雲桌面 69

第6章銀行業數據中心應急管理制度 71
6.1　應急管理的規範與流程 72
6.1.1　基本原則 72
6.1.2　角色與職責分工 72
6.1.3　7×24小時應急運維機制 72
6.1.4　應急場景（包括但不限於） 74
6.1.5　應急預案 75
6.2　事件管理的規範與流程 77
6.2.1　基本原則 77
6.2.2　角色與職責分工 77
6.2.3　事件分類 78
6.2.4　事件分級 79
6.2.5　事件業務影響的認定 81
6.2.6　事件活動的要求 82
6.2.7　質量控制 83

第7章銀行業數據中心主動性維護 85
7.1　主動性維護基本原則 86
7.1.1　RCM理論 86
7.1.2　預防性維護和預測性維護 89
7.1.3　主動性維護 90
7.1.4　主動性維護與傳統維護觀念的差異 91
7.1.5　主動性維護在銀行業數據中心運營中的價值 92
7.1.6　主動性維護是降低數據中心TCO的新途徑 92
7.2　硬件設備及機房環境設施技術實施方案 93
7.2.1　運維內容 93
7.2.2　硬件設備及機房環境設施的主動性維護理念 93
7.2.3　案例 94
7.3　網絡系統技術實施方案 99
7.3.1　運維內容 99
7.3.2　網絡系統的主動性維護理念 99
7.3.3　案例 100
7.4　主機、開放、windows、X86技術平臺實施方案 105
7.4.1　運維內容 105
7.4.2　主動性維護理念 105
7.4.3　案例 106
7.5　應用系統技術實施方案 120
7.5.1　運維內容 120
7.5.2　應用系統的主動性維護理念 120
7.5.3　案例 121
7.6　漏洞掃描與滲透測試 127
7.6.1　運維內容 127
7.6.2　主動性維護理念 128
7.6.3　案例 128

第8章銀行業數據中心應急場景及預案 131
8.1　硬件與環境應急場景和預案 133
8.1.1　應急場景清單 133
8.1.2　場景一：ORACLE VSM虛擬帶庫應急 135
8.1.3　場景二：SL8500物理帶庫應急方案 138
8.1.4　場景三：Z13主機硬件故障 140
8.1.5　場景四：IBM P系列小型機異常宕機 144
8.1.6　場景五：HDS存儲設備應急方案 149
8.1.7　場景六：NetApp存儲設備應急方案 151
8.1.8　場景七：EMC存儲設備應急方案 154
8.1.9　場景八：UPS系統應急方案 158
8.1.10　場景九：PDU設備應急方案 160
8.2　網絡應急場景和預案 162
8.2.1　應急場景清單 162
8.2.2　場景一：網絡設備某一板卡發生故障，該板卡所連接具有
冗余鏈路 166
8.2.3　場景二：網絡交換機雙引擎中主引擎發生故障，備引擎正
常，主備引擎切換失敗 168
8.2.4　場景三：外部因素導致生產中心互聯網應用系統不可用，
需要將流量切換到異地災備中心 169
8.2.5　場景四：骨幹線路丟包 171
8.2.6　場景五：異常流量導致主備防火牆的通信異常 174
8.2.7　場景六：VPN設備通道連接異常 176
8.2.8　場景七：DNS設備的解析服務異常導致DNS服務異常 178
8.3　數據恢復應急場景及預案 180
8.3.1　應急場景清單 181
8.3.2　場景一：數據庫熱備份恢復切換 184
8.3.3　場景二：數據庫冷備份恢復切換 184
8.3.4　場景三：物理磁盤數據應急恢復 187
8.3.5　場景四：物理磁盤外部專業數據恢復應急處理 191
8.4　主機應急場景和預案 192
8.4.1　應急場景清單 192
8.4.2　場景一：主機CICS連線系統交易處理緩慢 194
8.4.3　場景二：主機CICS連線與外圍系統通信異常 200
8.4.4　場景三：DB2沒有可以使用的ACTIVE LOG，DB2 LOG
不能工作 204
8.4.5　場景四：一個BSDS文件無法訪問，無法對其進行讀/
寫操作 206
8.4.6　場景五：DB2數據空間將耗盡 208
8.4.7　場景六：磁盤故障觸發非計劃性Hyperswap 210
8.4.8　場景七：系統DATASET的利用率超過閾值 215
8.5　小型機應急場景和預案 216
8.5.1　應急場景清單 216
8.5.2　場景一：系統重要資源不足 219
8.5.3　場景二：CICS交易繁忙以致出現交易排隊現象 226
8.5.4　場景三：MQ通道狀態異常 229
8.5.5　場景四：數據庫出現大量行鎖 231
8.5.6　場景五：SQL(連線或批量)執行時間變長 236
8.5.7　場景六：單台應用服務器出現故障 239
8.5.8　場景七：加速器邏輯通道夯 244
8.5.9　場景八：簽名驗簽業務持續性緩慢 248
8.5.10　場景九：ORACLE ASM磁盤被賦PVID導致磁盤組損壞 253
8.5.11　場景十：ORACLE數據庫SQL語句執行計劃突變 259
8.6　X86平臺應急場景和預案 263
8.6.1　應急場景清單 263
8.6.2　場景一：雲平臺計算節點資源不足 265
8.6.3　場景二：ORACLE數據庫數據損壞 269
8.6.4　場景三：MySQL Cluster數據庫SQL節點hang死 271
8.6.5　場景四：存儲故障 272
8.6.6　場景五：單台負載均衡器故障 275
8.6.7　場景六：WAS組件異常 276
8.7　應用與運行應急場景和預案 278
8.7.1　應急場景清單 278
8.7.2　場景一：應用系統按需執行重啟 280
8.7.3　場景二：某應用系統的對端系統未正常收到返回報文 282
8.7.4　場景三：因業務量高峰、系統處理能力不足引起的連線交易
緩慢 284
8.7.5　場景四：批量執行中斷 286
8.7.6　場景五：數據修改異常引發交易異常 288
8.7.7　場景六：應用產品主備機切換應急預案 290
8.7.8　場景七：應用系統MQ隊列堆積 292
8.7.9　場景八：應用系統間密鑰恢復應急場景 294
8.7.10　場景九：應用產品版本回退應急預案 296
8.8　互聯網信息安全事件應急場景及預案 297
8.8.1　應急場景清單 297
8.8.2　場景一：互聯網應用系統網絡入侵 299
8.8.3場景二：互聯網出口拒絕服務攻擊 300

第9章銀行業數據中心應急處置及啟動 303
9.1　應急處置策略與原則 304
9.1.1　首查監控 305
9.1.2　關聯變更 305
9.1.3　回顧歷史 306
9.1.4　以我為因 306
9.1.5　聯動後線 307
9.1.6　並行排查 307
9.1.7　信息共享 308
9.1.8　恢復優先 308
9.2　應急處置實施方法論 309
9.2.1　應急發現階段 311
9.2.2　應急響應階段 312
9.2.3　應急恢復階段 312
9.2.4　應急驗證階段 314
9.3　應急管理後評價 314

第 10章銀行業數據中心應急管理工具建設 319
10.1　應急預案管理平臺 320
10.1.1　主要用途 320
10.1.2　實現功能 320
10.1.3　建設方法 323
10.2　應急協作管理平臺 324
10.2.1　主要用途 324
10.2.2　實現功能 325
10.2.3　建設方法 328
10.3　運維流程管理平臺 331
10.3.1　主要用途 332
10.3.2　實現功能 333
10.3.3　建設方法 342
10.4　集中監控管理平臺 346
10.4.1　主要用途 346
10.4.2　實現功能 347
10.4.3　建設方法 349

第 11章應急案例介紹 353
11.1　在線客服人工服務異常案例 354
11.1.1　系統簡介 354
11.1.2　案例簡述 354
11.1.3　處置詳情 355
11.1.4　處置要素 355
11.1.5　後續改進 356
11.2　信用卡快捷支付退貨交易緩慢案例 356
11.2.1　系統簡介 356
11.2.2　案例簡述 357
11.2.3　處置詳情 357
11.2.4　處置要素 357
11.2.5　後續改進 358
11.3　個人理財產品銷售異常案例 358
11.3.1　系統簡介 358
11.3.2　案例簡述 359
11.3.3　處置詳情 359
11.3.4　處置要素 359
11.3.5　後續改進 360
11.4　部分借記卡行內轉帳失敗案例 360
11.4.1　系統簡介 360
11.4.2　案例簡述 361
11.4.3　處置詳情 361
11.4.4　處置要素 361
11.4.5　後續改進 362
11.5　小型機內存故障案例 362
11.5.1　系統簡介 362
11.5.2　案例簡述 363
11.5.3　處置詳情 363
11.5.4　處置要素 363
11.5.5　後續改進 364
11.6　存儲鏈路抖動案例 364
11.6.1　系統簡介 364
11.6.2　案例簡述 365
11.6.3　處置詳情 365
11.6.4處置要素 365
11.6.5　後續改進 366
11.7　某互聯網應用系統漏洞被利用進行網絡入侵攻擊 366
11.7.1　系統簡介 366
11.7.2　案例簡述 367
11.7.3　處置詳情 367
11.7.4　處置要素 367
11.7.5　後續改進 368
11.8　某地互聯網出口Web服務器遭受DDoS攻擊案例 368
11.8.1　系統簡介 368
11.8.2　案例簡述 369
11.8.3　處置詳情 369
11.8.4　處置要素 370
11.8.5　後續改進 370
11.9　某系統交易緩慢案例 370
11.9.1　系統簡介 370
11.9.2　案例簡述 371
11.9.3　分析過程詳述 371
11.9.4　處置詳情 373
11.9.5　處置要素 374
11.9.6　後續改進 374
11.10　某系統投產新版本後批量執行緩慢案例 375
11.10.1　系統簡介 375
11.10.2　案例簡述 375
11.10.3　分析過程詳述 376
11.10.4　處置詳情 377
11.10.5　處置要素 377
11.10.6　後續改進 378

參考資料 379