在自動(dòng)駕駛中，環(huán)境感知是一個(gè)非常重要的環(huán)節(jié)，它不僅可以幫助無人駕駛汽車進(jìn)行定位，還可以告知障礙物等信息以幫助決策模塊去調(diào)整駕駛行為。在視覺感知任務(wù)中，實(shí)際上有很多細(xì)分的任務(wù)類型，比如目標(biāo)檢測(cè)、目標(biāo)跟蹤、語義分割、實(shí)例分割、關(guān)鍵點(diǎn)檢測(cè)等，而這些細(xì)分任務(wù)在我們的環(huán)境感知中都有著非常重要的應(yīng)用。

1、關(guān)鍵點(diǎn)檢測(cè)技術(shù)簡介

在圖像處理中，關(guān)鍵點(diǎn)本質(zhì)上是一種特征。它是對(duì)一個(gè)固定區(qū)域或者空間物理關(guān)系的抽象描述，描述的是一定鄰域范圍內(nèi)的組合或上下文關(guān)系。它不僅僅是一個(gè)點(diǎn)信息，或代表一個(gè)位置，更代表著上下文與周圍鄰域的組合關(guān)系。

比如在人臉關(guān)鍵點(diǎn)檢測(cè)任務(wù)當(dāng)中，有 28 個(gè)關(guān)鍵點(diǎn)，或是現(xiàn)在比較流行的 64 個(gè)、128 個(gè)關(guān)鍵點(diǎn)，這里面每個(gè)點(diǎn)在不同的人臉當(dāng)中，代表了一類的特征，且具有一定的通用性。這一類特征不僅包含了像素的一些特性，比如嘴唇的特征點(diǎn)，包含了嘴唇與面部的位置關(guān)系。

右邊的圖片是前段時(shí)間比較火的阿里推出的服飾關(guān)鍵點(diǎn)比賽，比如在這件服飾中提供了 13 類關(guān)鍵點(diǎn)，每個(gè)關(guān)鍵點(diǎn)之所以被定位為一類關(guān)鍵點(diǎn)，因?yàn)樗砹朔棶?dāng)中某一個(gè)特定的位置，或者某一個(gè)特定的位置所能代表的周圍的關(guān)系。而在人體姿態(tài)檢測(cè)當(dāng)中，這個(gè)關(guān)鍵點(diǎn)不僅代表一個(gè)關(guān)節(jié)，還代表著這個(gè)關(guān)節(jié)和其他關(guān)節(jié)之間的關(guān)系，比如這個(gè)關(guān)節(jié)能跟其他哪些關(guān)節(jié)聯(lián)系得比較緊密。

2、關(guān)鍵點(diǎn)檢測(cè)在自動(dòng)駕駛中的應(yīng)用

在自動(dòng)駕駛當(dāng)中，有一些關(guān)鍵點(diǎn)檢測(cè)的應(yīng)用。

比如箭頭的檢測(cè)，檢出箭頭的同時(shí)，可以把它的關(guān)鍵節(jié)點(diǎn)回歸出來，不同的顏色的點(diǎn)代表不同的類型，并且不同的點(diǎn)有它的位置信息。通過這些點(diǎn)，作為地圖上的坐標(biāo)，可以實(shí)時(shí)、精確地告訴車輛，告訴自動(dòng)駕駛的大腦，我們現(xiàn)在的位置。箭頭的關(guān)鍵點(diǎn)檢測(cè)，也是用了類似的方法，雖然它的網(wǎng)絡(luò)模型已經(jīng)改得面目全非了，但是它的原理是一樣的，通過不同等級(jí)的金字塔級(jí)別，可以把不同級(jí)別的點(diǎn)信息融合起來，從而提高它的精度，另一方面提高它的檢測(cè)率。

在箭頭或者是其他的一些關(guān)鍵點(diǎn)當(dāng)中，也是需要知道每個(gè)點(diǎn)和另外一個(gè)點(diǎn)之間連接的關(guān)系，也就是它關(guān)系的回歸。

并不是所有的點(diǎn)回歸都能夠很精確。比如有些點(diǎn)在圖像上，車輛運(yùn)行過程中，有些箭頭的關(guān)鍵點(diǎn)可以準(zhǔn)確地回歸出來，有些可能識(shí)別出來錯(cuò)誤，這受限于我們之前學(xué)習(xí)到的經(jīng)驗(yàn)等。這類問題可以通過一些后續(xù)的改進(jìn)，比如說網(wǎng)絡(luò)的改進(jìn)、攝像本身的改進(jìn)。另外也可以通過后期的其他公式、其他算法上用的多一幀或是匹配的方式，去修正一下錯(cuò)誤。

另外在自動(dòng)泊車或者自主泊車當(dāng)中，需要先檢測(cè)出車位，我們用點(diǎn)回歸的方式可以把車位的頂點(diǎn)回歸出來。在一個(gè)圖象當(dāng)中，可以回歸出車位當(dāng)中的一些關(guān)鍵點(diǎn)，這個(gè)關(guān)鍵點(diǎn)是有不同類型的。通過車位的關(guān)鍵點(diǎn)，我們可以精確獲知到我們實(shí)車或者是車輛自身距離這些關(guān)鍵點(diǎn)和車位之間距離是多少，我們相對(duì)的要調(diào)整控制模塊，使得我們能夠自動(dòng)泊進(jìn)去這個(gè)車位。所以，回歸的車位頂點(diǎn)信息，對(duì)我們自動(dòng)泊車或者是自主泊車來說是非常重要的信息。

另外，利用點(diǎn)回歸的方式，同時(shí)結(jié)合語義分割的手段，可以給出一個(gè)信息更加豐富的結(jié)果，網(wǎng)絡(luò)可以輸出這方面的結(jié)果，相當(dāng)于是分割出來的車位信息、車庫當(dāng)中車輛數(shù)的信息、車位是不是空車位、這個(gè)區(qū)域是不是空車位的信息。

同時(shí)通過點(diǎn)回歸的方式，在網(wǎng)絡(luò)的另一個(gè)分支，可以得到關(guān)鍵點(diǎn)的位置在哪里。比如我們知道這個(gè)地方是個(gè)空車位，我們也知道它車位的位置，這樣對(duì)我們自動(dòng)泊車來說，就可以直接去停，這是很好的感知功能。