探索式軟件測試（簡體書）

談論軟件質量的方法有很多，感興趣的聽眾也有很多。本書是為軟件測試人員而寫的，寫的是一種我認為比其他任何缺陷都重要的特殊缺陷：即逃過所有各種檢測手段而最終存在于發布產品中的缺陷。
任何一個軟件公司發布的產品都有缺陷。缺陷是怎麼引入的？為什麼沒有在代碼審核、單元測試、靜態分析或其他面向開發人員的活動中把它們找出來？為什麼自動化測試沒有找出它們？那些缺陷有些什麼特質使其能逃過手工測試？
什麼是找出產品缺陷的最好方法？
本書針對的正是最后一個問題。在第2章“手工測試”中，我提出了一個觀點：因為用戶是在使用軟件過程中找到這些缺陷的，所以我們的測試人員也應該通過使用軟件來找到它們。無論使用自動化測試和單元測試，還是其他一些手段，都難以接觸到這些缺陷。無論測試人員怎麼實現自動化測試，即使全部都自動化，這些缺陷還是會處處作怪，并在產品中屢屢重現從而傷害最終用戶。
問題在于很多現代化手工測試實踐都缺乏目的性，隨機性強且重復性強。有些人可能還會加上一條：手工測試無聊透頂。本書試圖為手工測試流程提供一些指導、技術和規劃。
在第3章“局部探索式測試法”中，針對測試人員在運行任何一個測試用例時都需要做出很多細微的戰術層面決定，我給出了詳盡的指導建議。測試人員必須決定對于某個特定的輸入字段應該使用什麼輸入值，或者給應用程序使用的文件提供什麼數據。在測試過程中，必須做出許多這樣的小決定。在缺乏指導的情況下，這些決定常常是未經分析且不是最優化的。在向一個文本框內輸入一個數時，選擇整數4難道就勝過整數400么？應該用長度為32字節的字符串還是長度為256字節的字符串？選擇一個而不選另一個是有一定道理的，這一切都取決于處理該輸入的軟件的具體情況。鑒于測試人員每天都要做出數百次這樣的小決定，在這里提供有效的指導建議顯得至關重要。
在第4章“全局探索式測試法”中，針對測試人員在編制測試計劃和測試用例設計時需要考慮哪些廣泛的戰略性問題，我也給出了一些指導建議。這些技術都基於“漫游測試”（tour）概念，如同一個導游帶領旅遊團隊參觀大都市中一系列著名景點一樣，這種漫游測試法指出的路線可以指導測試人員如何探索軟件的方方面面。這里的探索並不一定是隨機的或者漫無目的的。本書所記錄的方法已經成為微軟和谷歌的許多測試人員日常工作的一部分。諸如“地標測試法”（landmark tour）和“極限測試法”（intellectual’s tour）等詞匯已經列入了手工測試人員的標準詞匯表中。測試技術以前確實被稱作“漫游”，但是用整個旅遊業來隱喻軟件測試，并在測試實際發布的應用程序時，大規模使用這些隱喻的名稱，還屬于本書的一個創舉。
全局探索式測試法對于制定完整的測試策略給出了指導建議。例如，如何創建一組特性覆蓋率（feature coverage）較高的測試用例？如何確定是否要在一個單獨的測試用例中使用多個特性？如何創建一個完整的測試用例套件（test case suite），從而使軟件盡可能地滿負荷工作以便能找到更多重要的缺陷？這些都是設計測試用例和保證測試套件質量時必須解決的重大問題。
在第5章“混合探索測試技術”中，通過把探索式測試和傳統的腳本或基於場景的測試技術相結合，進一步擴展了漫游的概念。我們將討論如何修改各種端到端場景（end-to-end scenario）、測試腳本（test script）或用戶故事（user story），來創造更多的變化情況，以激發傳統靜態測試技術查找缺陷的潛力。
在第6章“探索式測試的實際應用”中，來自微軟不同產品組的五位客串作者提供了他們使用漫游技術后得到的經驗報告。這些作者和他們的團隊在真實的開發環境中，把漫游方法應用在真實的軟件上。他們記錄了各自是如何使用漫游、修改漫游甚至創建自己的漫游的。這些內容來自于使用漫游法測試重要的關鍵軟件產品的測試人員，屬于真正的第一手資料。
最后，我用兩章內容總結前面各章所討論的內容。在第7章“漫游測試的棘手問題”中，描述了我認為的測試中最困難的幾個問題，以及如何將那些具有高度針對性的探索式測試方法融入一個更廣泛的解決方案中。在第8章“軟件測試的未來”中，我更進一步討論在未來幾年中，諸如虛擬化、可視化甚至電視遊戲之類的技術將如何改變測試的面貌。附錄包括我對測試職業生涯的看法，收集了我以前一些深受讀者喜愛的文章（加入了一些新的注解），其中一些文章已經無法在其他地方看到了。
寫這本書對我來說是一種享受，我希望你閱讀本書也是一種享受。

詹姆斯·惠特克（James Whittaker）的全部職業生涯都致力于軟件測試，在該學科的許多方面都留下了他的印記。他是基於模型的測試領域的先驅，他在田納西大學的博士學位論文是該主題的標準參考資料。他在錯誤注入（error injection）方面的工作，創造了備受歡迎的運行時錯誤注入工具Holodeck。他是軟件安全和滲透測試（penetration testing）的早期創導者。作為教師和演講者，他也為人們稱道，他曾在國際會議上贏得過多個最佳論文和最佳演講獎。在佛羅里達技術學院擔任教授期間，他的軟件測試課程吸引了來自業界和世界各國政府的幾十位贊助者，而他的學生們后來也因他們在測試方面的深厚技術功底而被爭相聘用。

第1章軟件質量
　軟件的魔力
　軟件失效
　小結
　練習題
第2章手工測試
　軟件缺陷的根源
　缺陷預防和檢測
　缺陷預防
　缺陷檢測
　手工測試
　手工測試中使用腳本
　探索式測試
　小結
　練習題
第3章局部探索式測試法
　想不想測試軟件？
　測試就是有所變，有所不變
　用戶輸入
　狀態
　軟件狀態的基本知識
　如何測試軟件狀態
　代碼路徑
　用戶數據
　運行環境
　小結
　練習題
第4章全局探索式測試法
　探索軟件
　旅遊者比喻
　漫游測試
　商業區測試類型
　歷史區測試類型
　娛樂區測試類型
　旅遊區測試類型
　旅館區測試類型
　破舊區測試類型
　漫游測試法實戰
　小結
　練習題
第5章混合探索式測試技術
　場景和探索
　使用基於場景的探索式測試
　通過場景操作引入變化
　插入步驟
　刪除步驟
　替換步驟
　重復步驟
　替換數據
　替換環境
　通過漫游測試引入變化
　賣點測試法
　地標測試法
　極限測試法
　深巷測試法
　強迫癥測試法
　通宵測試法
　破壞測試法
　收藏家測試法
　超模測試法
　配角測試法
　取消測試法
　混票測試法
　小結
　練習題
第6章實踐中的探索式測試
　漫游測試
　Dynamics AX客戶端的漫游
　有用的探索漫游
　收藏家測試法和收集缺陷
　漫游測試提示
　利用漫游查找隱錯
　測試用例管理解決方案的測試
　取消測試法
　破壞測試法
　快遞測試法
　測一送一測試法
　在Windows Mobile設備中的
　漫游實踐
　我的測試方法和哲學
　漫游測試法找到的有趣缺陷
　破壞測試法實例
　超模測試法實例
　Windows媒體播放器的漫游測試
　實踐
　Windows 媒體播放器
　遍歷測試法
　超模測試法
　極限測試法
　與WMP相關的25個“假如”
　類型的問題
　極限測試法：邊界之旅
　停車場測試法及其在 Visual Studio
　Team System測試版的應用
　Sprint中的測試
　停車場測試法
　漫游測試中的測試規劃與管理
　定義地貌
　旅行計劃
　讓漫游測試運轉起來
　漫游結果的分析
　判斷：里程碑和發布
　在實踐中
　小結
　練習題
第7章漫游與測試中的棘手問題
　軟件測試的五個棘手問題
　漫無目的
　重復性
　暫時性
　單調性
　健忘
　小結
　練習題
第8章軟件測試的未來
　歡迎來到未來世界
　測試人員的專有提示顯示
　測試百科
　測試用例的重用
　測試原子和測試分子
　虛擬化的測試資產
　可視化
　未來的測試
　發布之后的測試
　小結
　練習題
　附錄1經營成功的測試職業生涯
　你是如何開始做測試工作的？
　回到未來
　上山
　巔峰
　下山
　附錄2JW的專業博客摘錄
　教我一些東西吧
　軟件誡律
　測試錯誤代碼
　真正的職業測試人員，請上前一步
　我找到的一些常見的共同特性
　（無特別順序）
　建議總結
　三擊不中出局，是新的打擊手上場的
　時候了
　正式方法
　工具
　流程改進
第四種提案
　軟件測試是藝術、技巧或學科？
　恢復對軟件行業的尊重
　事與愿違的過去
　尋找更好的方法
　分析安全漏洞和質量問題的
　流程
　附錄3JW微軟博客修訂版
　加入博客圈
　2008年7月
　開篇
　PEST（泡吧與軟件測試）
　測試人員評估
　預防與治療（一）
　用戶與John
　手工測試人員的贊歌
　預防與治療（二）
　歐洲，你好！
　測試賦
　預防與測試（三）
　回到測試
　2008年8月
　預防與治療（四）
　如果微軟擅長測試，為什麼軟件
　依然糟糕呢？
　預防與治療（五）
　自由式探索式測試
　基於場景的探索式測試
　基於策略的探索式測試
　基於反饋的探索式測試
　軟件測試的未來（一）
　軟件測試的未來（二）
　2008年9月
　測試認證
　軟件測試的未來（三）
　軟件測試的未來（四）
　軟件測試的未來（五）
　2008年10月
　軟件測試的未來（六）
　軟件測試的未來（七）
　軟件測試的未來（八）
　談到谷歌
　再議手工測試與自動化測試
　2008年11月
　不再需要測試人員？
　讓測試人員繼續測試
　2008年12月
　谷歌與微軟的開發∶測試
　比例之爭
　2009年1月
　Zune的問題
　解釋探索式測試
　（未來的）測試用例重用
　測試用例重用（續）
　休假歸來
　鼴鼠和受感染的花生