三維重建經(jīng)過數(shù)十年的發(fā)展,已經(jīng)取得巨大的成功。基于視覺的三維重建在計(jì)算機(jī)領(lǐng)域是一個(gè)重要的研究內(nèi)容,主要通過使用相關(guān)儀器來獲取物體的二維圖像數(shù)據(jù)信息,然后,再對獲取的數(shù)據(jù)信息進(jìn)行分析處理,利用三維重建的相關(guān)理論重建出真實(shí)環(huán)境中物體表面的輪廓信息?；谝曈X的三維重建具有速度快、實(shí)時(shí)性好等優(yōu)點(diǎn),能夠廣泛應(yīng)用于人工智能、機(jī)器人、無人駕駛、SLAM(Simultaneous localization and mapping)、虛擬現(xiàn)實(shí)和3D打印等領(lǐng)域。

基于主動(dòng)視覺的三維重建技術(shù)主要包括激光掃描法、結(jié)構(gòu)光法、陰影法和TOF技術(shù)、雷達(dá)技術(shù)、Kinect技術(shù)等。

1激光掃描法

激光掃描法其實(shí)就是利用激光測距儀來進(jìn)行真實(shí)場景的測量。首先,激光測距儀發(fā)射光束到物體的表面,然后,根據(jù)接收信號和發(fā)送信號的時(shí)間差確定物體離激光測距儀的距離,從而獲得測量物體的大小和形狀。

2結(jié)構(gòu)光法

結(jié)構(gòu)光法的原理是首先按照標(biāo)定準(zhǔn)則將投影設(shè)備、圖像采集設(shè)備和待測物體組成一個(gè)三維重建系統(tǒng);其次,在測量物體表面和參考平面分別投影具有某種規(guī)律的結(jié)構(gòu)光圖;然后再使用視覺傳感器進(jìn)行圖像采集,從而獲得待測物體表面以及物體的參考平面的結(jié)構(gòu)光圖像投影信息;后,利用三角測量原理、圖像處理等技術(shù)對獲取到的圖像數(shù)據(jù)進(jìn)行處理,計(jì)算出物體表面的深度信息,從而實(shí)現(xiàn)二維圖像到三維圖像的轉(zhuǎn)換。按照投影圖像的不同,結(jié)構(gòu)光法可分為:點(diǎn)結(jié)構(gòu)光法、線結(jié)構(gòu)光法、面結(jié)構(gòu)光法、網(wǎng)絡(luò)結(jié)構(gòu)光和彩色結(jié)構(gòu)光。

3陰影法

陰影法是一種簡單、可靠、低功耗的重建物體三維模型的方法。這是一種基于弱結(jié)構(gòu)光的方法,與傳統(tǒng)的結(jié)構(gòu)光法相比,這種方法要求非常低,只需要將一臺(tái)相機(jī)面向被燈光照射的物體,通過移動(dòng)光源前面的物體來捕獲移動(dòng)的陰影,再觀察陰影的空間位置,從而重建出物體的三維結(jié)構(gòu)模型。

4 TOF技術(shù)

TOF(Time of flight)法是主動(dòng)測距技術(shù)的一種,可從發(fā)射極向物體發(fā)射脈沖光,遇到物體反射后,接收器收到反射光時(shí)停止計(jì)時(shí),由于光和聲在空氣中的傳播速度是不變的,從而通過發(fā)射到接收的時(shí)間差來確定物體的距離,進(jìn)而確定產(chǎn)生的深度信息,其原理如下式所示：

其中,λ表示脈沖的波長;n表示波長的個(gè)數(shù);φ表示脈沖返回時(shí)的相位;d表示物體離發(fā)射之間的距離。

5雷達(dá)技術(shù)

雷達(dá)作為一種很常見的主動(dòng)視覺傳感器,可以通過發(fā)射和接收的光束之間的時(shí)間差來計(jì)算物體的距離、深度等信息。原理如下式所示:

式中,c為光速;Δt為發(fā)射與接受的時(shí)間間隔;d表示雷達(dá)到物體之間的距離。

6 Kinect技術(shù)

Kinect傳感器是近幾年發(fā)展比較迅速的一種消費(fèi)級的3D攝像機(jī),它是直接利用鐳射光散斑測距的方法獲取場景的深度信息，Kinect傳感器如下圖所示.Kinect傳感器中間的鏡頭為攝像機(jī),左右兩端的鏡頭被稱為3D深度感應(yīng)器,具有追焦的功能,可以同時(shí)獲取深度信息、彩色信息、以及其他信息等。Kinect在使用前需要進(jìn)行提前標(biāo)定,大多數(shù)標(biāo)定都采用張正友標(biāo)定法。

基于被動(dòng)視覺的三維重建技術(shù)

1根據(jù)相機(jī)數(shù)目分類

基于被動(dòng)視覺的三維重建技術(shù)是通過視覺傳感器(一臺(tái)或多臺(tái)相機(jī))獲取圖像序列,進(jìn)而進(jìn)行三維重建的一種技術(shù)。這種技術(shù)首先通過視覺傳感器(一臺(tái)或多臺(tái)相機(jī))獲取圖像序列,然后提取其中有用的信息,后,對這些信息進(jìn)行逆向工程的建模,從而重建出物體的三維結(jié)構(gòu)模型。

1.1單目視覺法

單目視覺是僅使用一臺(tái)相機(jī)進(jìn)行三維重建的方法，為了進(jìn)一步表示空間中任意一個(gè)三維點(diǎn)P在世界坐標(biāo)系轉(zhuǎn)換到二維圖像坐標(biāo)系之間的關(guān)系,關(guān)系坐標(biāo)可以表示為:

其中,(XW,YW,ZW)為空間中的三維點(diǎn);(R t)稱為旋轉(zhuǎn)矩陣和平移向量；fx和fy是攝像機(jī)在兩個(gè)方向上的焦距;(u0,v0)是攝像頭主點(diǎn)在圖像坐標(biāo)系下的坐標(biāo);(u,v)是圖像坐標(biāo)系下的坐標(biāo);從而通過上式可以求解出任意空間一點(diǎn)的三維坐標(biāo).基于單目視覺的三維重建流程如下圖所示。

1.2雙目視覺法

雙目視覺的工作原理來源于人類的雙目視覺系統(tǒng),也就是說從不同的視角通過兩個(gè)相同的相機(jī)捕獲同一個(gè)位置下的左右兩側(cè)圖像,然后再利用三角測量原理獲取物體的深度信息,通過這些深度信息重建出物體的三維模型。目前,基于雙目視覺的三維重建方法是三維重建技術(shù)中的熱點(diǎn)和難點(diǎn)。

1)平行式光軸雙目視覺系統(tǒng)是比較理想的一種系統(tǒng).在平行式光軸視覺系統(tǒng)中,左右相機(jī)互相對齊,它們的光軸也要互相平行,形成一個(gè)共面的成像平面.由于左右相機(jī)只在軸上的位置不同,而焦距等其他參數(shù)是相同的,因此,左右相機(jī)拍攝的同一物點(diǎn)所成的像分別在左右兩圖像上對應(yīng)的對集線上,可以較好的實(shí)現(xiàn)立體匹配。

2)匯聚式光軸雙目視覺系統(tǒng)是將平行式光軸雙目視覺系統(tǒng)中的左右相機(jī)分別繞光心順時(shí)針和逆時(shí)針旋轉(zhuǎn)一定角度,從而形成匯聚式雙目視覺系統(tǒng)。

1.3多目視覺法

多目視覺是雙目視覺的一種延伸,它是在雙目視覺的基礎(chǔ)上,增加一臺(tái)或者多臺(tái)攝像機(jī)作為輔助進(jìn)行測量,從而獲得不同角度下同一物體的多對圖像。多目視覺法大多數(shù)的理論與雙目視覺法是相同的,一不同的是,多目視覺采用了三個(gè)或三個(gè)以上的攝像頭進(jìn)行環(huán)境中目標(biāo)物體的獲取.多目視覺的優(yōu)點(diǎn)是當(dāng)測量物體的表面傾斜的角度太大導(dǎo)致其中的一個(gè)或兩個(gè)CCD攝像機(jī)不能接收到漫反射光時(shí),其他的攝像機(jī)可繼續(xù)工作。

2根據(jù)匹配方法分類

三維環(huán)境重建技術(shù)一直是機(jī)器視覺和數(shù)字圖像處理領(lǐng)域的重點(diǎn)研究對象,眾多學(xué)者針對三維環(huán)境重建提出了很多不同的算法。而圖像特征信息匹配的質(zhì)量在三維環(huán)境重建過程中起著十分關(guān)鍵的作用。圖像特征信息的匹配首先提取待重建圖像的匹配信息,并使用相應(yīng)的算法在提取出的匹配信息集中尋找佳匹配集,根據(jù)佳匹配集求解變換模型。根據(jù)匹配的方法不同可以分為區(qū)域視覺法和特征視覺法。

2.1區(qū)域視覺法

區(qū)域視覺法就是基于區(qū)域立體匹配算法的三維重建技術(shù)。該算法利用對極幾何約束和連續(xù)性,提高了稠密匹配的效率和三維重建的質(zhì)量。

2.2特征視覺法

基于特征視覺的三維重建技術(shù)其實(shí)就是通過相機(jī)獲取二維圖像,然后提取圖像中的角點(diǎn)作為特征點(diǎn),以雙目立體視覺理論為基礎(chǔ),利用匹配算法,獲得特征點(diǎn)匹配對,再通過三角測量原理獲取深度值,從而獲得物體表面的三維模型。

3根據(jù)應(yīng)用方法分類

基于被動(dòng)視覺的三維重建技術(shù)根據(jù)所選取方法不同,所重建的效果有明顯差別,但每種方法都有不同的優(yōu)點(diǎn)和缺點(diǎn)。因此,根據(jù)應(yīng)用方法可以分為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法和機(jī)器學(xué)習(xí)法。

3.1運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法

如果獲取的圖像是從多個(gè)視點(diǎn)捕獲的多張圖像,可以通過匹配算法獲得圖像中相同像素點(diǎn)的對應(yīng)關(guān)系,再利用匹配約束關(guān)系,結(jié)合三角測量原理,獲得空間點(diǎn)的三維坐標(biāo)信息,進(jìn)而重建出物體的三維模型。這個(gè)過程被稱為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法,即SfM(Structure from motion)。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法是通過三角測量原理來恢復(fù)場景的三維結(jié)構(gòu).這種方法不僅是三維重建的一種重要手段,而且也是一種結(jié)構(gòu)測量的方法,能夠廣泛地應(yīng)用在測繪、軍事偵查等領(lǐng)域.目前SfM主要分為兩類:增量式SfM和全局式SfM。

3.2機(jī)器學(xué)習(xí)法

機(jī)器學(xué)習(xí)其實(shí)就是使機(jī)器具有學(xué)習(xí)的能力,從而不斷獲得新知識以及新技能得到有效提升.機(jī)器學(xué)習(xí)在三維環(huán)境重建中一直是重點(diǎn)研究對象,因此,根據(jù)機(jī)器學(xué)習(xí)可以分為常用的三種方法,分別是統(tǒng)計(jì)學(xué)習(xí)法、神經(jīng)網(wǎng)絡(luò)法和深度學(xué)習(xí)與語義法。

1)統(tǒng)計(jì)學(xué)習(xí)法：就是需要通過不斷地學(xué)習(xí)再學(xué)習(xí)的過程.該方法是以大型數(shù)據(jù)庫為基礎(chǔ),例如,人臉數(shù)據(jù)庫、場景數(shù)據(jù)庫等.首先,這種方法需要對數(shù)據(jù)庫中的每一個(gè)目標(biāo)進(jìn)行特征統(tǒng)計(jì),這些特征主要包括亮度、紋理、幾何形狀、深度等,然后,再對重建目標(biāo)的各種特征建立概率函數(shù),后,計(jì)算重建目標(biāo)與數(shù)據(jù)庫中相似目標(biāo)的概率大小,取概率大的目標(biāo)深度為重建目標(biāo)的深度,再使用差值計(jì)算和紋理映射進(jìn)行目標(biāo)的三維重建。

2)神經(jīng)網(wǎng)絡(luò)法：基于神經(jīng)網(wǎng)絡(luò)法的三維重建是利用神經(jīng)網(wǎng)絡(luò)具有較好的泛函逼近能力,能夠以任意的精度逼近任何非線性關(guān)系的優(yōu)點(diǎn)來進(jìn)行三維重建。

3)深度學(xué)習(xí)與語義法：基于深度學(xué)習(xí)的三維重建近幾年取得了非常大進(jìn)展,是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域比較流行的方法之一。學(xué)習(xí)系統(tǒng)是由多層卷積層和多層全連接層組成的卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行學(xué)習(xí)圖像的層次化特征表示,這種方法能夠準(zhǔn)確地重建出物體的幾何形狀?；谡Z義的三維重建可以運(yùn)用在移動(dòng)的行人或車輛等大的場景,這種方法能夠準(zhǔn)確地對環(huán)境中的目標(biāo)物體進(jìn)行識別,而深度學(xué)習(xí)技術(shù)也是近幾年剛剛興起的比較有優(yōu)勢的識別方法,因此,深度學(xué)習(xí)和語義相結(jié)合的三維重建是未來幾年的研究趨勢,也會(huì)受到該領(lǐng)域的研究者們廣泛關(guān)注。