平行電腦及編程基礎（簡體書）

《并行計算機及編程基礎》獲“211三期創新人才項目”資助，在參考國內外經典教材的基礎上，結合新近出現的并行計算機體系結構與并行編程模型和語言，重點論述了并行計算基礎、并行計算機體系結構、并行編程模型與語言、大規模稀疏線性方程組求解的并行化。主要內容：并行計算基礎，包括：現實世界中的并行、并行與分布式計算的概念、來自應用領域的需求、并行程序設計的基本思想；并行計算機體系結構，包括：并行計算機傳統體系結構及其比較與分析、多核cpu關鍵技術與未來發展趨勢、gpu與gpu集群的體系結構、cell be關鍵技術及發展情況與典型實例、超級計算機等；并行編程模型與語言，包括：mpi、openmp、mapreduce、cuda、cellbe上的編程模型與語言等；大規模稀疏線性方程組求解的并行化，包括稀疏線性方程組及其求解方法、大規模稀疏線性方程組求解案例、helmholtz方程計算的并行化、實際測試結果與性能優化。《并行計算機及編程基礎》主要面向從事高性能計算的程序員與工程師，使用并行計算機與并行技術加速專業領域計算的科研人員，以及對高性能計算感興趣的程序員。開設相關課程的高等院校與科研機構也可選用《并行計算機及編程基礎》作為教材或參考書。

《并行計算機及編程基礎》：獲“211三期創新人才項目”資助。保留傳統的并行計算機體系結構(SMP、DSM、MPP、機群及目前應用最為廣泛的并行編程模型與語言(MPI、013enMP)的相關內容。重點論述最近出現的并行計算機體系結構(多核CPU、GPUCell BE )有并行編程模型與語言BE編程。 提供大量的實例，可操作強。適合作為高等院校計算機科學與技術學科各專業本科生、研究生的教材，也可作為有并行計算需要及相關專業研究生的參考書。

第1章 并行計算基礎1.1 背景1.1.1 現實世界中的并行1.1.2 并行與分布式計算的概念1.1.3 來自應用領域的需求1.2 并行編程模型1.2.1 適用于共享內存的多線程編程模型1.2.2 適用于分布內存的消息傳遞編程模型1.2.3 混合編程模型1.3 并行程序設計的基本思想本章 小結參考文獻第2章 并行計算機體系結構2.1 并行計算機傳統體系結構2.1.1 共享存儲與分布存儲2.1.2 并行計算機傳統體系結構的發展2.1.3 smp對稱式共享存儲器多處理機2.1.4 dsm分布共享存儲多處理機2.1.5 mpp大規模并行處理機系統2.1.6 機群系統2.1.7 并行計算機傳統體系結構的比較與分析本節小結2.2 多核cpu2.2.1 處理器架構2.2.2 單核處理器發展瓶頸2.2.3 單芯片多處理器架構2.2.4 多核處理器關鍵技術2.2.5 多核處理器未來發展趨勢本節小結2.3 gpu2.3.1 gpu概述2.3.2 gpu發展簡介2.3.3 gpu硬件架構2.3.4 gpu-cpu異構體系結構2.3.5 fermi架構2.3.6 gpu集群本節小結2.4 cellbe2.4.1 cellbe概述2.4.2 cellbe關鍵技術2.4.3 cellbe設計特點2.4.4 發展情況與典型實例本節小結2.5 超級計算機2.5.1 超級計算機的發展與規律2.5.2 超級計算機的現狀2.5.3 超級計算機面臨的挑戰本節小結參考文獻第3章 并行編程模型與語言3.1 mpi3.1.1 mpi簡介3.1.2 第一個mpi程序3.1.3 點對點通信3.1.4 集合通信3.1.5 并行i／o3.1.6 mpi應用實例本節小結3.2 openmp3.2.1 openmp簡介3.2.2 第一個openmp程序3.2.3 編譯指導語句3.2.4 數據共享屬性子句3.2.5 運行時庫函數3.2.6 環境變量3.2.?運行及調試3.2.8 openmp編程實例本節小結3.3 mapreduce3.3.1 mapreduce簡介3.3.2 mapreduce實例3.3.3 mapreduce基本原理介紹3.3.4 容錯3.3.5 mapreduce編程實例、運行與分析本節小結3.4 cuda3.4.1 簡介3.4.2 cuda的安裝和配置3.4.3 第一個cuda程序3.4.4 cuda編譯器3.4.5 cuda常用api3.4.6 cuda編程模型3.4.7 cuda存儲器模型3.4.8 編程實例的運行、分析與優化本節小結3.5 cellbe上的編程模型與語言3.5.1 cellbe簡介3.5.2 第——個cellbe程序3.5.3 cellbe編程模型簡介3.5.4 性能分析與優化本節小結參考文獻第4章 并行應用實例——大規模稀疏線性方程組求解的并行化4.1 稀疏線性方程組及其求解方法4.1.1 稀疏線性方程組的應用4.1.2 大規模稀疏線性方程組求解的迭代算法4.1.3 krylov子空間迭代法4.1.4 預處理技術簡介4.2 大規模稀疏線性方程組求解案例4.2.1 helmholtz方程及其計算特征4.2.2 helmholtz方程的求解4.3 helmholtz方程計算的并行化4.3.1 并行性分析4.3.2 通信模式4.4 實際測試結果與性能優化4.4.1 測試環境與測試用例4.4.2 測試結果及其分析本章 小結參考文獻

1.1.1 現實世界中的并行計算的目的在于利用電子計算機系統通過人工建模的方式來模擬客觀世界中事物及其之間的聯系和運動規律。遺憾的是，到目前為止，能夠構造的電子計算機系統均以一個串行模型（馮·諾依曼模型）為基礎。但在真實的客觀世界中，事物之間的聯系不但復雜多樣，而且其運動規律具有本質的并行特性。如何使用現有的串行模型來模擬并行的、具有復雜聯系的客觀物質世界一直是信息技術的核心。使用電子計算機模擬客觀物質世界的運轉和狀態不外乎兩種手段：恰當的硬件架構設計和足夠抽象的軟件模型。下面，通過兩個實例來說明該過程。1.實例1——組織結構大多數信息系統（如web服務、信息搜索、管理信息系統等）的主要（或部分）功能都可歸結為事務處理。比如，一個辦公自動化系統，要管理實際運行中的組織機構（包括人員、部門、權利等）、物理設施（如房產、工具、材料等）以及它們之間的交互、流通、與轉換。這種系統的真正目的是利用計算機系統來建立一個有效的模型，模擬現實世界中組織機構運轉的真實過程。一個大的組織機構，可能下轄多個分支機構，每個分支機構又下轄若干個部門，其下可能還被劃分成更多的人員分組。人員要在分組、部門、分支機構乃至整個大的組織內流動，變換不同角色。同一時刻，組織內要發生很多的事情，計算機要適時處理這些變化并將其呈現給對此感興趣的目標。因此，需要將若干計算機通過網絡互聯起來（在其上運行軟件系統），對組織機構中的上述對象建立模型，管理各個對象的屬性及其之間的交互，并最終通過網絡將其映射到物理機器上執行。現實社會的組織機構是為一定目標而設立并運行，其日常的運轉過程就是完成一系列任務的過程。對于一個大的任務，人類社會實現它的方法是分而治之，即通過預定的管理手段和流程對任務進行分解，并將其分配給下屬分支機構，最終經過層層分解，將具體的工作落實到個人——這在計算機系統中，分別對應于不同規模的執行單元。人員、分組、部門、分支機構等在執行任務的過程中要有信息交互，要互相協調。同樣地，計算系統在處理一個大的問題時也要遵循這樣的原則去操作。比如，房地產公司要修建一棟大樓，其主要工作包括完成圖紙設計并組織施工。完成該任務，不同組織（房地產公司）會有不同的做法，但不同的組織方法（管理機制）會在很大程度上影響對任務的進度和質量。一個好的組織者可能會將圖紙設計和施工（準備）并行起來。在不同階段內，還可通過任務分解和人員組織再進一步將具體工作進行并行實施。對難以同時推進的任務，有經驗的管理人員還可通過合理的人員調配與進度安排創造出并行實施的條件。