以前，我們一直認為傳統(tǒng)相機將3D世界轉(zhuǎn)換為2D圖像，已可以滿足我們對于圖像的應用，而2D圖像中丟失的三維似乎并不重要。
但隨著計算機視覺（CV）的飛速發(fā)展以及與深度學習的結(jié)合，許多雄心勃勃的研究人員試圖使機器通過攝像頭更好地了解我們的世界，以便它們可以通過許多任務來增強人類的能力。其中最有意義的是找回2D圖像中丟失的深度信息。
在如今諸多火爆的智能硬件中，如體感交互、遠程遙控機器人、無人駕駛等場景里，CV發(fā)揮著重要作用，成功完成諸如手寫識別，對象分類、輔助駕駛之類的工作。但是，當處理真實的3D世界時，CV就存在瓶頸。人類有兩只眼睛，使我們能夠自然地感知深度。但是，大多數(shù)CV應用程序都依靠一臺攝像機來捕獲和解釋其周圍的環(huán)境，難以獲取深度信息。丟失的三維尺寸嚴重限制了CV的性能，可以說傳感器的性能就是如今虛擬與現(xiàn)實世界之間的瓶頸。
深度傳遞關(guān)鍵信息——我們將需要深度感測和2D成像來捕獲現(xiàn)實世界的全部信息。
深度傳感器的三種技術(shù)
目前人們?nèi)绻胩綔y環(huán)境深度信息，主要依賴于三種技術(shù)，分別是相機陣列， TOF(time of flight)技術(shù)，以及基于結(jié)構(gòu)光的深度探測技術(shù)。
●結(jié)構(gòu)光：
接收器使用激光光源投射目標物，檢測反射目標物的變形，以基于幾何形狀計算深度圖。它必須掃描整個平面以獲得需要時間的深度圖，因此它是非常準確的。但是，此方法對環(huán)境亮度敏感，因此通常僅在黑暗或室內(nèi)區(qū)域使用。
●飛行時間（ToF）：
ToF主要有兩種方法。
第一個很簡單：激光源發(fā)出一個脈沖，傳感器檢測到該脈沖在目標物體上的反射，以記錄其飛行時間。知道了光的恒定速度后，系統(tǒng)可以計算出目標物體的距離。為了確保高精度，脈沖周期必須短，這導致較高的成本。另外，需要高分辨率的時間數(shù)字轉(zhuǎn)換器，這會消耗很多功率。這種方法通?？梢栽诟咝阅躎oF傳感器中找到。
計算時間的另一種方法是發(fā)出調(diào)制光源并檢測反射光的相位變化。相變可以通過混合技術(shù)容易地測量。調(diào)制激光源比發(fā)出短脈沖更容易，并且混合技術(shù)比時間數(shù)字轉(zhuǎn)換器更易于實現(xiàn)。此外，LED可用作調(diào)制光源來代替激光。因此，基于調(diào)制的ToF系統(tǒng)適合于低成本ToF傳感器。
●相機陣列：
攝像頭陣列方法使用放置在不同位置的多個攝像頭來捕獲同一目標的多個圖像，并根據(jù)幾何結(jié)構(gòu)計算深度圖。在計算機視覺中，這也稱為“立體視圖”。
最簡單但最受歡迎的相機陣列是雙相機，其中兩個相機相隔一定距離以模仿人眼。對于空間中的每個點，在兩個攝像機圖像中的位置均出現(xiàn)可測量的差異。然后，通過基本幾何來計算深度。
相機陣列的主要挑戰(zhàn)是如何在多個圖像中找到匹配點。匹配點搜索涉及復雜的CV算法。目前，深度學習可以幫助您找到準確度較高的匹配點，但是其計算成本很高。另外，有很多點很難找到匹配點。
例如，在上面的瓦格納雕像的兩個視圖中，鼻子是最容易匹配的點，因為它的特征易于提取和比較。但是，對于面部的其他部分（尤其是面部無紋理的表面），很難找到匹配點。當兩個相機圖像的遮擋不同時，匹配會更加復雜。目前，相機陣列作為深度傳感器的魯棒性仍然是一個具有挑戰(zhàn)性的問題。
三種深度感測技術(shù)的對比
●整體表現(xiàn)
對于深度感測，最重要的指標是深度精度。結(jié)構(gòu)光具有最佳的深度精度性能，而相機陣列往往具有最大的深度誤差。
就深度感測范圍而言，結(jié)構(gòu)光的范圍最短，而ToF的范圍取決于光源的發(fā)射功率。例如，智能設(shè)備可能只需要幾米的距離，而自動駕駛汽車則需要幾百米。同樣，攝像機陣列的測量范圍取決于兩個攝像機之間的空間。對于常規(guī)攝像機陣列，最佳性能測量范圍通常在10m左右，盡管也顯示了某些具有極窄空間的特殊攝像機陣列可以在1m左右測量深度。
對于深度圖分辨率，結(jié)構(gòu)光的性能優(yōu)于ToF,因為可以精確控制結(jié)構(gòu)發(fā)光圖案并精確捕獲其反射圖案。從理論上講，攝像機陣列具有良好的分辨率，但這是基于兩個圖像中的完美點匹配。使用非理想的點匹配（如光滑表面）時，分辨率會降低。
最后，我們需要考慮對環(huán)境亮度的限制。結(jié)構(gòu)光需要黑暗的環(huán)境，而ToF傳感器由于快速發(fā)展的背景消除技術(shù)而可以承受更大范圍的環(huán)境亮度。對于攝像機陣列，明亮的環(huán)境效果最佳。在黑暗的房間中，相機陣列捕獲的圖像會變得嘈雜，并且對比度變差，因此點匹配變得極為困難，從而導致深度估計不準確。
●成本
