機器視覺與機器學習：算法原理、框架應用與代碼實現（簡體書）

本書內容共10章。1章為緒論，包括機器視覺的相關概念，機器視覺的發展、基本任務、應用領域與困難，以及馬爾視覺理論；2章為數字圖像處理；3章為相機成像；4章為相機標定；5章為Shape from X；6章為雙目立體視覺；7章為結構光三維視覺；8章為深度相機，介紹當前頗受歡迎的Kinect、Intel RealSense等深度相機的知識與相關應用；9章為機器學習基礎；10章為機器學習在機器視覺領域的應用，包括機器學習在模式識別、圖像分辨率重建、圖像去噪、目標跟踪、三維重建等方面的應用。
本書除1章和9章，其他各章都配有應用案例，包括案例的分析過程、實驗設置、實驗數據、程序代碼及運行結果。案例的編程實現採用了MATLAB、C++、Python程序設計語言，使用了OpenCV函數、MATLAB視覺與圖形工具箱、Scikit-Learn機器學習工具包，以及MatConvNet、TensorFlow、Keras深度學習框架。通過講解案例背景與原理、設計思路、實驗步驟、開發環境與工具和實驗結果，使讀者能夠根據案例理解相關內容，加強工程實際應用中理論和知識的學習。同時，本書對從事機器視覺與機器學習的科研人員和工程師也具有一定的參考作用。

宋麗梅，教授、博士生導師，畢業於天津大學，師從葉聲華院士。目前為天津市重點學科帶頭人和高等學校創新團隊帶頭人。多年來一直從事機器視覺、三維測量、虛擬現實及自動化方面的研究工作，並負責國家重點實驗室的建設，積累了寶貴的科研數據。多次獲得天津市科學技術進步獎。以項目負責人身份主持完成雙目立體機器視覺探測、自動化產品缺陷檢測等多個視覺項目以及國家自然科學基金和國家中小企業創新基金科研項目。曾榮獲香港桑麻獎、五一勞動獎章等多項殊榮。

讓機器能像人一樣“看懂”圖像，理解圖像中的含義，解決人工智能領域關鍵問題

隨著計算機技術、光電子技術、信號處理理論與技術、人工智能理論與技術的發展，近年來機器視覺得到了飛速的發展和廣泛的應用，在科研和實際生產中發揮了重要的作用。以深度學習為代表的機器學習正在學術界和工業界大放異彩。機器視覺與機器學習作為人工智能的重要分支，很大程度上代表了人工智能的發展水平，在人工智能領域的地位不言而喻。相關行業對從事機器視覺、人工智能領域的人才需求量持續增加。
機器視覺是國內外高校本科生和研究生的重要專業課，具有廣泛的應用背景，對本科生、研究生的學習、研究和工作具有重要影響。該課程涉及信號處理、數字圖像處理、模式識別、人工智能和光電子等領域，是一門交叉學科，具有很強的專業性。機器視覺課程內容很多，既包含大量的基礎理論，也包含豐富的實驗。迄今為止，國內外湧現了許多優秀、經典的教材，比如美國麻省理工學院的Berthold Horn教授編寫的《Robot Vision》已經成為機器視覺的經典教材。Dana Ballard和Christopher Brown編寫的《Computer Vision》教材內容豐富，尤其偏重於一些非常專業的內容。David Marr編寫的《Vision：A Computational Investiga-tion》偏重於機器視覺和生物視覺系統相聯繫的內容。在國內，也出現了許多優秀的機器視覺教材，比如張廣軍教授編寫的《機器視覺》。另外，國內外還有許多其他優秀的教材，這裡不再一一列舉。
機器視覺發展迅速，由於出版時間等原因，關於機器視覺與機器學習的一些最新研究成果，在一些優秀的教材中體現得不是特別充分。比如，基於結構光的三維測量技術在近些年受到廣泛關注和研究，在Optics Letters、Optics Express、Applied Optics、《光學學報》和《光學精密工程》等相關期刊都有大量的關於機器視覺的文章發表。另外，基於飛行時間法與編碼結構光的3D相機近年來發展迅速，以微軟Kinect 3D傳感器為代表，還有最近出現的Intel RealSense 3D相機。這些產品背後的技術和原理需要相關領域的廣大工作者進一步學習和研究。因此，需要將結構光三維測量和飛行時間法三維測量的內容體現在教材中，以此來幫助學生學習機器視覺課程時能夠更充分地了解前沿發展狀況，掌握機器視覺前沿技術。編者基於對結構光投影三維測量和飛行時間法測量、機器學習的積累和對最新文獻的掌握，編寫了這本面向工程專業的機器視覺教材，教材體現機器視覺的最新案例和研究內容，將這些內容系統性地呈現給讀者。
本書內容共10章：第1章為緒論；第2章為數字圖像處理，包括圖像濾波、圖像分割、圖像處理工具、特徵提取等，主要用於機器視覺算法的設計與實現；第3章為相機成像，包括相機成像模型與相機亮度、光源等方面的內容；第4章為相機標定，主要包括相機標定原理、方法與實現；第5章為Shape from X，主要包括從光度立體、陰影、運動及紋理恢復三維形狀：第6章為雙目立體視覺，主要包括雙目立體視覺原理、雙目立體視覺系統、雙目立體視覺重建算法與實現；第7章為結構光三維視覺，包括基於條紋投影的面結構光與線結構光：第8章為深度相機，介紹當前頗受歡迎的Kinect、Intel RealSense等深度相機的知識與相關應用：第9章為機器學習基礎，包括神經網絡、支持向量機、集成學習與深度學習等：第10章為機器學習在機器視覺領域的應用，包括深度學習在模式識別、圖像超分辨率重建、圖像去噪、目標跟踪、三維重建等方面的應用。除第1章和第9章外，其他各章都配有應用案例，包括案例的分析過程、實驗數據、程序代碼及運行結果。
三維視覺是機器視覺的核心主題之一。第6~8章體現了課題組成員在這方面研究的一個基本總結。在第7章，基於最新文獻及發展趨勢，整理了結構光三維測量的發展過程、前沿趨勢，編寫了相關的教學案例，也可為相關研究人員提供一定的參考。第8章包含微軟Kinect以及Intel RealSense產品的具體應用實例。此外，機器視覺及相關領域發展迅速，新的成果不斷湧現，為保證教材的與時俱進，本書中加入了新的內容，如硬X射線自由電子激光光源、萬億幀每秒高速相機、10G以太網相機等，讓讀者能夠了解關於機器視覺的最新發展情況。本書還特別加入了機器視覺中的機器學習相關內容，編寫了機器視覺中的深度學習案例。
本書積累了多年來在機器視覺和人工智能領域的科研和教學成果，是一本面向工程專業的本科生與研究生的教材。該教材包含經典和最新的機器視覺案例。通過講解案例背景與原理、設計思路、實驗步驟、開發環境和工具及實驗結果，使學生能夠根據案例理解相關理論知識和內容，能夠為教學提供豐富可靠的工程應用經驗，有利於加強工程實際應用理論和知識的學習。本教材對從事機器視覺的科研人員和工程師也具有一定的參考作用。
本書由天津工業大學宋麗梅、朱新軍編著。紀越、成怡、楊燕罡、黃浩珍、茹願、李欣遙、林文偉等為本書的編寫提供了大量幫助。
本書的編寫得到了天津工業大學研究生課程優秀教材建設項目（《機器視覺》優秀教材建設，項目編號Y20160527）支持。本書也得到了全國工程專業學位研究生教育指導委員會／中國學位與研究生教育學會工程專業學位工作委員會立項的全國工程專業學位研究生教育自選研究課題（教改項目）——面向工程應用的《機器視覺》教材改革（項目編號2016 -ZX-066）的支持。此外，本書也得到了天津市高等學校創新團隊培養計劃的資助（項目編號TD13-5036）。
由於編者水平有限，書中難免存在不妥之處，敬請讀者批評指正。

前言
第1章緒論
1．1機器視覺
1．1．1機器視覺的發展
1．1．2機器視覺與其他領域的關係
1．2機器視覺研究的任務、基本內容、應用領域與困難
1．2 ．1任務
1．2．2基本內容
1．2．3應用領域
1．2．4困難
1．2．5機器視覺與人類視覺的關係
1．3馬爾視覺理論
1．3．1視覺是一個複雜的信息加工過程
1．3．2視覺系統研究的三個層次
1．3．3視覺系統處理的三個階段
1．4習題

第2章數字圖像處理
2．1圖像預處理
2．1．1圖像濾波
2．1．2二值化
2．1．3邊緣提取
2．2圖像分割
2．3數字圖像處理的數學工具
2．3．1傅里葉變換圖像處理
2．3．2離散餘弦變換
2 ．3．3偏微分方程圖像處理
2．3．4小波變換等時頻分析方法
2．3．5形態學處理
2．4圖像特徵提取
2．4．1特徵提取算法
2．4．2主成分分析
2．4．3 SIFT特徵點
2．4．4 SURF特徵點
2．5案例——燈泡燈腳檢測中的圖像處理
2．5．1檢測背景
2．5．2圖像處理過程與結果
2．6習題

第3章相機成像
3．1影幾何與幾何變換
3．1．1空間幾何變換
3．1．2三維到二維投影
3．2成像模型
3．2．1線性模型
3．2．2非線性模型
3．3圖像亮度
3．3．1亮度模式
3．3．2傳感器
3．3．3感知顏色
3．4數字相機與光源
3．4．1光源
3．4．2鏡頭
3．4． 3相機接口
3．5案例——光源對成像的影響
3．5．1實驗設備
3．5．2光源照明效果
3．5．3鉚釘光源實驗
3．6習題

第4章相機標定
4．1相機標定基礎
4．1．1空間坐標系
4．1．2空間坐標系變換
4．2相機標定方法
4．2．1 Tsai相機標定
4．2．2張正友標定
4．3相機標定的MATLAB與OpenCV實現
4．3．1 MATLAB棋盤格標定
4．3．2 OpenCV棋盤格標定
4．4圓形板標定方法
4．4．1單相機標定
4．4．2立體相機標定
4．5單相機與光源系統標定
4．5．1背景
4．5．2原理與方法
4．6案例——顯微測量標定
4．6．1顯微標定模型
4．6．2相機標定實驗
4．7案例——機器人手眼標定
4．7．1機械臂坐標系
4．7．2手眼標定
4．8習題

第5章Shape from X
5．1 Shape from X技術
5．2光度立體
5 ．2．1典型算法介紹
5．2．2典型算法實現
5．2．3算法實例
5．3從影恢復形狀
5．3．1 SFS問題的起源
5．3．2 SFS問題的解決方案
5．3 ．3小值方法
5．3．4演化方法
5．3．5局部分析法
5．3．6線性化方法
5．4從運動求取結構
5．4．1光流與運動場
5．4．2多視圖求取結構
5．5從紋理中恢復形狀
5．5．1從紋理恢復形狀的三種方法
5．5．2紋理模式假設
5．6案例——從影恢復形狀
5． 6．1三維缺陷自動檢測
5．6．2氣泡大小的自動檢測
5．7習題

第6章雙目立體視覺
6．1雙目立體視覺原理
6．1．1雙目立體視覺測深原理
6． 1．2極線約束
6．2雙目立體視覺系統
6．2．1雙目立體視覺系統分析
6．2．2雙目立體視覺：平行光軸的系統結構
6．2．3雙目立體視覺的精度分析
6．3雙目標定和立體匹配
6．3．1雙目立體視覺坐標系
6．3．2雙目立體視覺標定
6．3．3雙目立體視覺中的對應點匹配
6．4案例——雙目立體視覺實現深度測量
6．4．1相機標定
6．4．2實驗圖片採集和矯正
6．4．3圓心坐標提取
6．4．4視差和深度計算
6．4．5計算三維坐標並輸出三維空間位置
6．5案例——雙目立體視覺三維測量
6．5．1相機標定
6．5．2立體匹配
6．5．3三維重建
6．6習題

第7章結構光三維視覺
7．1條紋投影結構光三維形貌測量方法
7．1．1傅里葉變換法
7．1．2相移法
7． 2條紋投影輪廓術
7．2．1基本原理
7．2．2 DLP技術
7．3條紋投影中的條紋相位提取方法
7．3．1傅里葉變換法
7．3．2窗傅里葉脊法
7．3．3二維連續小波變換法
7．3．4 BEMD法
7．3．5 VMD法
7．3．6變分圖像分解法
7．4條紋投影三維測量
7．5案例——基於條紋投影結構光三維掃描儀的牙模掃描
7．6案例——線激光三維測量
7．6．1線激光三維測量原理（激光三角法）
7．6．2系統設計與搭建
7．6．3結果與分析
7．7習題

第8章深度相機
8．1三維測量原理
8．1．1飛行時間法
8．1．2結構光原理
8．2深度相機
8．2．1 Kinect
8．2．2 Intel RealSense
8．2．3 MESA SR4000深度相機
8．3案例——基於Kinect的SLAM
8．3．1 RGB-D視覺SLAM算法流程
8．3．2 RGB-D視覺SLAM前端算法
8．3．3 RGB- D視覺SLAM後端算法
8．3．4實驗設計與結果分析
8．4案例——大場景三維重建
8．4．1三維激光掃描
8．4．2法如三維激光掃描儀的使用方法
8． 4．3測量試驗與結果
8．5習題

第9章機器學習基礎
9．1機器學習簡介
9．2機器學習的相關數學知識
9．2．1矩陣運算
9．2．2優化
9．2．3概率論
9．3機器學習的主要方法
9．3．1人工神經網絡
9．3．2支持向量機
9．3．3 K均值聚類
9．3．4集成學習
9．3．5深度學習和深度神經網絡
9．4習題

第10章機器學習在機器視覺領域的應用
10．1機器學習在分辨率重建中的應用
10．2機器學習在模式識別中的應用
10．2．1基於Pytorch的LeNet -5手寫字符識別
10．2．2基於TensorFlow的交通標誌識別
10．2．3基於深度學習框架MatConvNet的圖像識別
10．2．4基於深度學習框架MatConvNet的圖像語義分割
10．3機器學習在圖像去噪領域中的應用
10．4機器學習在目標跟踪中的應用
10．5機器學習在三維重建中的應用
10．5．1雙目視覺
10．5．2光場成像與重建
參考文獻