圖3：27個(gè)光電探測器的光響應(yīng)值，其中訓(xùn)練數(shù)據(jù)σ = 0.3。（a，b）：其中（a）為初始時(shí)期（epoch）的響應(yīng)度值，（b）時(shí)期為30時(shí)的響應(yīng)度值，訓(xùn)練數(shù)據(jù)σ = 0.2和σ= 0.4的權(quán)重相似。c：在特定的投影字母和三種噪聲水平下，所有時(shí)期測得的電流。d：三種不同噪聲水平的初始和最終響應(yīng)度值的直方圖。

第二個(gè)功能是自動(dòng)編碼：即使在存在信號(hào)噪聲的情況下，傳感器計(jì)算陣列也可以通過學(xué)習(xí)圖像的關(guān)鍵特征來生成處理后圖像的簡化表示。編碼版本僅包含最基本的信息，但可以解碼以重建與原始圖像最相似的圖像。

這項(xiàng)有前途的技術(shù)在投入實(shí)際應(yīng)用之前，還有許多工作要做。用于自動(dòng)駕駛車輛和機(jī)器人技術(shù)的神經(jīng)形態(tài)視覺系統(tǒng)需要捕獲視場角較大的3D動(dòng)態(tài)圖像和視頻。當(dāng)前使用的圖像捕獲技術(shù)通常將3D真實(shí)世界轉(zhuǎn)換為2D信息，這樣就丟失了運(yùn)動(dòng)信息和深度信息?，F(xiàn)有的平面圖像傳感器陣列也限制了廣角相機(jī)的發(fā)展。

作者描述的器件很難在昏暗的光線下成像。需要重新設(shè)計(jì)以改善薄半導(dǎo)體的光吸收并增加探測光強(qiáng)范圍。此外，論文中提到的這種設(shè)計(jì)需要高電壓并消耗大量功耗。相比之下，生物神經(jīng)網(wǎng)絡(luò)中每項(xiàng)操作的能量消耗處于亞飛焦耳級(jí)（10?1?至10?13焦耳）。這有利于擴(kuò)展到紫外線和紅外光應(yīng)用，以捕獲可見光譜無法提供的信息。

所使用的薄半導(dǎo)體很難實(shí)現(xiàn)大面積地均勻生產(chǎn)，加工難度高，因此它們可以與硅電子器件集成在一起，例如用于讀出外部電路或反饋控制。使用這些傳感器的設(shè)備的速度和能效將不取決于圖像捕獲過程，而是取決于傳感器和外部電路之間的數(shù)據(jù)移動(dòng)。盡管傳感器計(jì)算單元在模擬域中收集和計(jì)算數(shù)據(jù)，減少了模數(shù)轉(zhuǎn)換，但外圍電路仍然遭受其它固有延遲的困擾。傳感器和外部電路需要共同開發(fā)，以減少整個(gè)系統(tǒng)的等待時(shí)間。

Mennel及其同事的“在傳感器中實(shí)現(xiàn)計(jì)算”系統(tǒng)會(huì)激發(fā)對(duì)人工智能（AI）硬件的進(jìn)一步研究。一些企業(yè)已經(jīng)開發(fā)了基于硅電子的AI視覺芯片，但是這些芯片的固有數(shù)字架構(gòu)無法解決延遲和功率效率問題。

更廣泛地講，作者的策略不僅限于視覺系統(tǒng)。它可以擴(kuò)展到用于聽覺、觸覺、熱感或嗅覺的其它物理參數(shù)輸入。此類智能系統(tǒng)的開發(fā)以及5G無線網(wǎng)絡(luò)的到來，會(huì)在將來允許進(jìn)行實(shí)時(shí)邊緣（低延遲）計(jì)算。

論文鏈接：

https://www.nature.com/articles/s41586-020-2038-x