全景視覺中的理論基礎（簡體書）

隨著科技的發展，全景視覺的應用已日趨廣泛，學習與掌握全景視覺基本原理及計算方法是從事計算幾何、計算機圖形學、圖像處理、機器人學等專門人才的需要。因此編寫一本全景視覺方面的教材是有必要的。同時由于計算機視覺是集數字圖像處理、數字信號處理、光學、物理學、幾何學、概率統計學、模式識別、人工智能等于一體的學科，編寫一本相關的教材是十分棘手的。
《全景視覺中的理論基礎》力求從最基本的原理出發，闡述全景視覺中的數學理論及計算方法，既做到系統條理，又能使各章相對獨立，便于讀者通讀和選擇性閱讀。
《全景視覺中的理論基礎》在闡述理論的同時又兼顧相關的應用，這樣便于理論與實踐的結合，既不乏經典的理論，又注入了近年來新的研究成果，使讀者在了解全景視覺發展史的同時又傾心關注近年來全景視覺研究的新成果。《全景視覺中的理論基礎》涵蓋射影幾何、全景攝像機幾何、全景攝像機標定、全景圖像拼接、全景視覺技術應用以及簡單的數值計算理論。

目 錄
1—
刖言 符號說明
第一篇射影幾何
第1章二維射影幾何 2
1.1 射影平面 2
1.1.1 中心射影 2
1.1.2 射影直線與射影平面 3
1.1.3 齊次坐標 7
1.1.4 對偶原理 8
1.1.5 復元素 9
1.1.6 交比 10
1.2 二維射影變換 18
1.3 二次曲線 19
1.3.1 二次曲線的定義 20 目 錄
1—
刖言 符號說明
第一篇射影幾何
第1章二維射影幾何 2
1.1 射影平面 2
1.1.1 中心射影 2
1.1.2 射影直線與射影平面 3
1.1.3 齊次坐標 7
1.1.4 對偶原理 8
1.1.5 復元素 9
1.1.6 交比 10
1.2 二維射影變換 18
1.3 二次曲線 19
1.3.1 二次曲線的定義 20
1.3.2 二次曲線的切線 21
1.3.3 極點與極線,配極原則 22
1.3.4 二次曲線的仿射性質 25
1.3.5 二次曲線的度量性質 27
1.3.6對偶二次曲線 31
1.3.7直線與二次曲線在二維射影變換下的規則 32
1.3.8 二次曲線束 32
1.3.9雙接觸定理與三曲線定理 34
第2章三維射影幾何 37
2.1 三維射影空間 37
2.1.1 三維射影空間的基本特征 37
2.1.2 點?平面?直線的表示 37
2.1.3 共線平面束的交比 40
2.2 三維射影變換 41
2.2.1 三維射影變換41
2.2.2 平面與直線在三維射影變換下的像 42
1.3 二次曲面 42二次曲面 42
2.3.2對偶二次曲面 44
1.1.6 二次曲面在三維射影變換下的像 45
1.1.7 絕對二次曲線(AC) 45
1.1.8 絕對對偶二次曲面(DAC) 46
第二篇全景攝像機
第3章全景攝像機概述 48
1.3.6 全景攝像機簡介 48
1.3.7 全景攝像機的發展史 48
1.3.8 全景攝像機研究現狀 49
第4章全景攝像機幾何 51
2.3 針孔攝像機成像模型 51
2.1.4 針孔攝像機 52
4.1.2幾何元素的投影與反投影 56
2.2.3 消失點(線)與攝像機內參數 60
2.2.4 圓環點與攝像機內參數 61
4.3 魚眼攝像機幾何 61
4.3.1 魚眼鏡頭的成像模型 62
4.3.2 基于球面模型的魚眼圖像的校正 63
4.4 折反射攝像機幾何 66
4.4.1 折反射攝像機和魚眼攝像機的統一成像模型 67
4.4.2 基于柱面展開的折反射全向圖像校正 70
4.5 單位球模型下幾何體的投影 74
4.5.1 空間點 74
4.5.2 空間直線 76
1.3 球基于球投影的幾何不變量的中心折反射攝像機標定 120
1.3 利用球在中心折反射下像的投影幾何性質的標定方法 133
1.3 基于對拓球像的中心折反射攝像機標定 142
1.3 使用兩個相交球像標定拋物折反射攝像機 150
1.3 使用DLT——相似方法標定中心折反射攝像機 152
5.5 雙平面折反射攝像機自標定 157
1.1.9 雙平面鏡折反射攝像機的幾何模型與成像原理 157
1.1.10 雙平面鏡折反射系統中的幾何不變量 158
1.1.11 基于圓環點的平面折反射攝像機的標定 161
第三篇全景圖像拼接技術
第6章全景圖像的拼接技術 168
6.1柱面全景圖像拼接技術 168
1.3.9 基于特征的拼接算法 168
1.3.10 基于相位相關拼接算法 174
2.4 基于球面的全景圖像拼接 176
2.1.5 球面全景圖像基礎知識 176
2.1.6 球面全景圖像拼接 181
第四篇全景視覺技術的應用
第7章基于全景圖像的虛擬導航 188
2.2.5 基于全景圖像的目標識別 188
2.2.6 將均值漂移和動態閾值調整植入粒子濾波器的目標跟蹤算法 190
2.2.7 基于全景圖像的目標定位方法 192
2.2.8 基于全景圖像的自主導航 193
第8章基于鏈式全景圖的大范圍場景漫游 195
5.1 鏈式全景圖的組成 195
5.2 鏈式全景圖的調度機制 195
5.3 變換系數的估計 195
5.1.1 針孔攝像機成像幾何模型 196
5.1.2 平移運動下兩幅圖像之間的關系 196
5.1.3 變換系數的求取 197
5.4 平滑過渡的實現與平滑過渡質量評價 197
參考文獻 199
附錄1 矩陣理論 201
A1.1 基本知識 201
A1.1.1 矩陣 201 A1.1.2 行列式 202
A1.1.3矩陣的秩 204
A1.1.4矩陣的運算 204
A1.2矩陣的特征值?特征向量和相似性 209
A1.2.1矩陣的特征值與特征向量 209
A1.2.2 相似性 210
A1.3 正交矩陣 210
A1.4對稱與反對稱矩陣 212
A1.4.1對稱矩陣 212
A1.4.2反對稱矩陣 212
A1.5矩陣分解 213
A1.5.1正交三角分解 213
A 1.5.2 Cholesky 分解 214
A1.5.3奇異值分解 215
A1.6 最小二乘問題 216
A1.6.1用SVD解線性最小二乘問題 216
A1.6.2用正規方程求解線性最小二乘問題 218
A1.6.3齊次方程組的線性最小二乘解 218
附錄2迭代估計方法 220
A2.1 非線性最優化原理 220
A2.1.1最優性條件 220
A2.1.2 迭代格式 221
A2.2無約束非線性最優化迭代 222
A2.2.1最速下降法 222
A2.2.2 Newton 迭代 222
8.3.1 A2.2.3 Levenberg-Marquardt 迭代 22477
第5章全景攝像機的標定 79
5.5 基于標定物的中心折反射攝像機的標定 79
5.1.4 基于一維標定物的全景攝像機標定方法 79
5.1.5 基于二維標定模板的全景攝像機標定 83
5.6 使用空間直線標定中心折反射攝像機 86
5.2.1 基于正交方向的消失點標定中心折反射攝像機 86
5.2.2 基于圓環點的中心折反射攝像機標定 90
5.2.3 基于直線投影的幾何不變量的中心折反射攝像機標定 97
5.2.4 基于共點線束的中心折反射攝像機標定 107
5.2.5 基于正交線束的中心折反射攝像機標定 117
5.3 使用球標定中心折反射攝像機 119

第1 章 二維射影幾何
1.1 射 影 平 面
本節首先通過在歐氏空間引入無窮遠元素的方式來建立射影平面的概念,然后在射影平
面上引入齊次坐標,介紹對偶原理,通過引入復元素的方式將實射影平面擴充到了復射影平
面,最后定義了交比?這部分內容是學習二維射影幾何的基礎?
1.1.1 中心射影
中心射影又稱為透視對應,是射影幾何中的基本方法?下面給出中心射影的定義?
1.直線到直線的中心射影
定義1.1.1 設l,l ' 為兩條相異的共面直線,O 為平面上不屬于直線l,l ' 上的一個定點?
則由此確定了直線l 到l ' 的一個以O 為投射中心的中心射影?
若O 與l 上任一點A的連線OA交l ' 于點A' ,則稱A'
為A在l ' 上的中心射影,直線OA稱為投射線?或者,稱A'
為A在該中心射影下的像,而稱A為A' 的原像?顯然,A也
是A' 在直線l 上的像,即一個中心射影的逆對應也是中心射
影?圖1.1.1給出了直線l 到l ' 的一個中心射影?
若直線l 與l ' 有交點X ,則X 是中心射影的自對應點;
若直線l 與l ' 平行,則沒有自對應點?對于取定的兩直線l 與
l ' ,不同的投射中心將確定不同的中心射影?
如圖1.1.1所示,當直線l 與l ' 不平行時,在直線l 上存在一點P ,使得OP ?? l ' ,這樣OP
與l ' 不存在交點,即P 在l ' 上不存在像點,稱P 為l 上的影消點?同樣,在l ' 上也存在影消
點Q′?由于影消點的存在,歐氏幾何中直線到直線的中心射影不是一一對應的?
2.平面到平面的中心射影
定義1.1.2 設π ,π ′為兩個相異的平面,O 為不在此二平面上的任一定點?則由此確定了
平面π 到π ′上的點之間的一個以O 為投射中心的中心射影?
若O 與π 上任一點A的連線OA交π ′于點A' ,則稱A' 為A在π ′上的中心射影,直線
OA稱為投射線?或者,稱A' 為A在該中心射影下的像,而稱A為A' 的原像?同樣,平面
到平面上點之間的中心射影的逆對應也是中心射影?圖1.1.2 給出了平面π 到π ′上的點之間
的一個中心射影?
若平面π 與π ′的交線為x,則直線x上的任一點X 都是該中心射影的自對應點,進而,
直線x為該中心射影下的自對應直線;若平面π 與π ′平行,則沒有自對應直線?對于取定的
兩平面π 與π ′,不同的投射中心將確定不同的中心射影?__如圖1.1.2 所示,當平面π 與π ′不平行時,在平面π 上存在一條直線u與點O 確定的平
面平行于平面π ′,這樣直線u上的任一點U 與O 的連線均與平面π ′平行,于是,點U 在該
中心射影下不存在像點,是影消點,從而,直線u在平面π ′上不存在像,稱直線u為平面π 上
的影消線?同樣,在平面π ′上也存在一條影消線v′?由于影消線的存在,歐氏幾何中平面到
平面上的點之間的中心射影不是一一對應的?
1.1.2 射影直線與射影平面
1.無窮遠元素
影消點?影消線存在的根本原因是在歐氏幾何中,相互平行的直線不存在交點?使得中
心射影能夠在一般情況下一一對應的一個自然途徑是給平行直線添加交點?為此給出下面的
約定?
約定1.1.1 (1)在每一條直線上添加唯一點,此點不是該直線上原有的點,稱為無窮遠
點,常用記號P∞,Q∞等表示無窮遠點?
(2)相互平行的直線上所添加的無窮遠點相同,不平行的直線上添加的無窮遠點不同?
(3)同一平面上添加的全體無窮遠點的集合為一條直線,稱為無窮遠直線,常用記號
∞, ∞ l m 等表示無窮遠直線?
(4)空間里一切無窮遠點的集合組成一個平面,稱為無窮遠平面,常用記號∞, ∞ α β 等表示
無窮遠平面?
無窮遠點?無窮遠直線和無窮遠平面統稱為無窮遠元素?
2.仿射直線和仿射平面
定義1.1.3 在歐氏直線上添加一個無窮遠點便可得到一條新的直線,稱為仿射直線?
仿射直線上的無窮遠點把直線左右兩端連接起來,仿射直線可以看成像圓一樣的封閉圖
形,如圖1.1.3 是仿射直線的模型?實際上可以按照圖1.1.4 的方式建立仿射直線與圓之間的
一一對應?如圖1.1.4 所示,設圓C 與直線l 相切于點A ,點B 是A 的對徑點( AB 是圓的直
徑)?以B 為投射中心建立圓與仿射直線間的中心射影,圓上任一點P′與B 的連線交直線l 于
點P ,P 為P′在此中心射影下的像?當Q′在圓C 上離B 越來越近時,Q′的像Q 在直線l 上
離A 越來越遠,自然地可以定義圓C 上點B 的像是直線l 上的無窮遠點?這樣的中心射影建立了圓與仿射直線間的一一對應,這樣的對應是連續的,因此圓可以看成是仿射直線的一個
直觀模型?
A B D
P∞ 圖1.1.3 仿射直線模型 圖1.1.4 圓與仿射直線間的中心射影
仿射直線與普通直線是不同的:如圖1.1.3 所示,仿射直線上任一點A 不能把仿射直線分
成不連通的兩段;而仿射直線上任意的兩個非無窮遠點A,B 把它分成兩段,其中一段包含無
窮遠點,另一段就是原來直線上的線段;仿射直線上的任意三個非無窮遠點A,B,D 不能排成
唯一順序(一點介于另兩點之間)?
定義1.1.4 在歐氏平面上添加一條無窮遠直線便可得到一個新的平面,稱為仿射平面?
下面給出歐氏空間中的一個仿射平面的模型?如圖1.1.5 所示,設有以O 為球心的球面,
過球心O 作平面α 交球面與大圓C ,這里規定:半球面S 為仿射平面,大圓C 上的點為無窮
遠點,并且大圓C 的每一直徑的兩個端點視為相同的無窮遠點,半球面上除大圓C 外的所有
點均為非無窮遠點;大圓C 為無窮遠直線,半球面上的半大圓弧為普通直線,相交于大圓C
上同一點的半大圓弧為平行直線?關于半球面與仿射平面間一一對應的建立留作練習?
在普通平面上,一條直線可以把平面分成不連通的兩部分?但是在仿射平面上一條仿射
直線不能把它分成不連通的兩部分?如圖1.1.6 所示,l 是一條直線,A,B是l 兩側的點?直
線l 上包含無窮遠點的線段AB 與直線l 不相交(兩直線只有一個交點,直線l 與不包含無窮遠
點的線段AB 相交)?這說明l 兩側的點可以用不與l 相交的線段連接,于是,直線l 不能把仿
射平面分成不連通的兩部分?同樣不難知道,圖1.1.7中兩條仿射直線l,m 將仿射平面分為兩
個不同的區域Ⅰ和Ⅱ,這里,Ⅰ和Ⅰ是連通的,Ⅱ和Ⅱ也是連通的,但是,Ⅰ和Ⅱ兩部分互
不連通?
P∞
P∞
O
S
C
P∞
B
A
l
圖1.1.5 仿射平面模型 圖1.1.6 一條仿射直線劃分仿射平面 圖1.1.7 兩條仿射直線劃分仿射平面
3.射影直線與射影平面
定義1.1.5 如果把仿射直線上的無窮遠點與非無窮遠點同等看待而不加區分,則稱這條
直線為射影直線?
射影直線可以看成是封閉的,歐氏平面上的圓通常可看成射影直線的模型(圖1.1.8)?如圖1.1.8 所示,和仿射直線類似,射影直線上任一點A 不能把射影直線分成不連通的兩段;而
射影直線上任意的兩點A,B 把它分成兩段;射影直線上的任意三個點A,B,D 不能排成唯一順
序(一點介于另兩點之間)?
將射影直線的概念加以推廣,就可得到射影平面的概念?
定義1.1.6 在仿射平面上,如果對于普通元素和無窮遠元素不加區分,即可得到射影平面?
將仿射平面的模型圖1.1.5 中的無窮遠元素和普通元素不加區分,就得到射影平面的一個
模型?射影平面也是封閉的?圖1.1.9 是一個M?bius 帶,它是射影平面的一部分,不難發現,
M?bius 帶是一個單側曲面?把M?bius 帶與一個圓片沿著它們的邊界粘合起來,便可得到射
影平面,射影平面是封閉的單側曲面?但在歐氏空間中只能看到射影平面的一部分,即圖1.1.9
中的M?bius 帶?類似于仿射平面,射影平面中的任一直線l 不能把射影平面分成不連通的兩
部分?而射影平面中的任意兩條直線l,m 只能將射影平面分為兩個不同的區域?
D
A B
M
圖1.1.8 射影直線模型 圖1.1.9 M?bius 帶
根據前面的定義,可以得到射影平面上的點與直線的兩個基本性質?下面以公理的形式
給出這兩個基本性質?
公理1.1.1 射影平面上任意兩個相異的點確定唯一直線?
公理1.1.2 射影平面上任意兩條相異的直線確定唯一點?
4.射影基本形和圖形的射影性質
平面射影幾何主要涉及兩對射影基本形,它們分別是關于點和直線的?
定義1.1.7 一直線l 內所有點A,B,C,???的集合稱為點列,直線l 稱為點列的底,記為
l(A,B,C,???)?
定義1.1.8 一平面內通過一點O 的所有直線a,b,c,???的集合稱為線束,點O 稱為線束的
中心(頂點),記為O(a,b,c,???)?
定義1.1.9 平面π 上所有點的集合稱為一個點場,平面π 稱為該點場的底?
定義1.1.10 平面π 上所有線的集合稱為一個線場,平面π 稱為該線場的底?
這四個射影基本形中,點列和線束為一維基本形,點場和線場為二維基本形?
下面介紹一些在平面射影幾何中經常用到的基本圖形?
定義1.1.11 平面內n(n≥3)個有序的點(無三點共線)及其兩兩順次連線所構成的圖形稱
為簡單n 點形?這n 個點稱為頂點, n 條連線稱為邊?
定義1.1.12 平面內n(n≥3)條有序的直線(無三線共點)及其兩兩順次相交的交點所構成
的圖形稱為簡單n 線形?這n 條直線稱為邊, n 個交點稱為頂點?
對于簡單n點(線)形,圖1.1.10和圖1.1.11分別給出了n = 3和n = 4的情形?這里需要注
意,對于給定的n 個點( n 條直線),由它們所構成的簡單n 點(線)形與這n 個點( n 條直線)的排序有關,不同的排序將得到不同的簡單n 點(線)形?此外,這兩類圖形與歐氏幾何中的多
邊形是不同的概念?
(a) 簡單三點形ABC (b) 簡單三線形abc (a) 簡單四點形ABCD (b) 簡單四線形abcd
圖1.1.10 簡單三點形ABC 和簡單三線形abc 圖1.1.11 簡單四點形ABCD 和簡單四線形abcd
定義1.1.13 平面內n(n≥3)個點(無三點共線)及其每兩點連線所構成的圖形稱為完全n
點形?這n個點稱為頂點,n(n ?1) 2條連線稱為邊?
定義1.1.14 平面內n(n≥3)條直線(無三線共點)及其每兩條直線的交點所構成的圖形稱
為完全n線形?這n條直線稱為邊,n(n ?1) 2個交點稱為頂點?
在完全n點(線)形中,最常見的例子是n = 3,三點形與三線形?如圖1.1.12所示,圖1.1.12(a)
是三點形,圖1.1.12(b)是三線形?
在完全n 點(線)形中,最重要的例子是
n = 4,完全四點(線)形?圖1.1.13是一個完全四
點形ABCD ,圖1.1.14 是一個完全四線形abcd ?
如圖1.1.13 所示,完全四點形ABCD 的4 個頂點
為A,B,C,D;6條邊為p,q,r, s,t,u;3對對邊(沒
有公共頂點的邊)為p?q, r?s, t?u;3 個對邊點
(對邊的交點)為X,Y,Z ;對邊三點形為XYZ ?如圖1.1.14所示,完全四線形abcd 的4 條邊
為a,b,c,d ;6 個頂點為P,Q,R, S,T,U ;3 對對頂(不在同一條邊上的頂點)為
P?Q,R?S ,T?U ;3個對頂線(對頂的連線)為x, y, z ;對頂三線形為xyz?
圖1.1.13 完全四點形ABCD 圖1.1.14 完全四線形abcd
引入無窮遠元素以后,便可通過中心射影建立一平面上兩直線上點之間的一一對應?同
樣,也可通過中心射影建立兩平面之間點的一一對應?
定義1.1.15 經過中心射影后圖形的不變性質(量)稱為圖形的射影性質(不變量)?
容易證明,保持點與點?直線與直線間的一一對應?同素性?結合性均為圖形的射影性
質?這里的同素性指經過中心射影后,點對應點?直線對應直線;結合性指一點在一直線上,
則對應點在對應直線上?點列?線束?點場?線場?簡單n 點(線)形?完全n 點(線)形均為