豆瓣高分美劇《了不起的麥瑟爾夫人》故事背景為 20 世紀 50、60 年代,女主爸爸是在哥倫比亞大學擔任終身教授的數(shù)學家,當他得知女兒兼職脫口秀演員時,十分震驚和不解。
幾十年后的今天,在中國香港“卻有”一位科學家在兼職脫口秀,他就是即將加入華為公司的香港理工大學博士后廖付友。
圖 | 論文第一作者廖付友博士表演脫口秀(來源:廖付友)
其研究方向是半導體器件與工藝,2022 年大年初三,廖付友和導師港理工應用物理系教授柴揚,在 Nature Electronics 發(fā)了一篇論文。
圖 | 相關(guān)論文(來源:Nature Electronics)
農(nóng)歷大年初八,Nature 官網(wǎng)以研究亮點(RESEARCH HIGHLIGHT)形式報道了這一工作,其上寫道:“適應各種光強度半導體的器件,或可用于自動駕駛汽車和工業(yè)生產(chǎn)線。”
圖 | Nature 官網(wǎng)研究亮點報道(來源:Nature 官網(wǎng))
模擬人眼視網(wǎng)膜,研發(fā)仿生視覺適應傳感器
該工作的背景在于,在人類生活環(huán)境中,從烈日當空的正午、到伸手不見五指的漆黑夜晚,自然光的強度分布非常廣。如何在不同光照條件下準確提取外部環(huán)境的信息,是一個基礎(chǔ)科學問題,具有非常實際應用的意義。
隨著機器視覺的發(fā)展、及其在自動駕駛和實時視頻分析等領(lǐng)域的應用,高分辨率、高圖像捕獲速度成為視覺傳感器的必備能力,具體體現(xiàn)為良好的穩(wěn)定性、以及寬感知范圍,即在不同光照強度下感知目標的能力。
據(jù)悉,地球上自然光強度的分布超過 280dB,因此對于正確感知環(huán)境來說,在不同光照下準確捕獲圖像尤為重要。這就要求光電器件在弱光、以及亮光照明下,必須準確捕捉和感知細節(jié)。
目前,市場上主流的硅基 CMOS(互補金屬氧化物半導體,Complementary metal Oxide Semiconductor)圖像傳感器通常只有 70dB 的感知范圍,遠低于自然場景的光強變化范圍。
為實現(xiàn)較寬的感知范圍,此前有學者探索過控制光學孔徑、使用液態(tài)透鏡、調(diào)節(jié)曝光時間、以及后端去噪算法等方法,但這些方法通常需要復雜的硬件和軟件資源。
因此非常有必要在傳感器終端發(fā)展出一種具有視覺適應功能和寬感知范圍的光電器件,從而改善機器視覺的功能、降低硬件復雜性、并提升高圖像識別效率。
相比硅基光電探測器,人眼的光接收細胞感知范圍比較有限只有 40dB,但是人眼的視覺適應功能讓我們可以感知和識別不同光照條件下的各種物體,哪怕是從較暗環(huán)境、轉(zhuǎn)換到較亮環(huán)境中。
(來源:Nature Electronics)
人眼的視覺適應機制,依賴于每個光接收細胞在不同光照條件下光靈敏度的動態(tài)調(diào)節(jié),其調(diào)節(jié)原理是在不同光照條件下,水平細胞控制視錐和視桿細胞之間的轉(zhuǎn)換、以及光色素的產(chǎn)生和消失。
在該工作中,柴揚和團隊研發(fā)出一種基于底柵光電晶體管陣列的仿生視覺適應傳感器。該器件模擬了水平細胞和光接收細胞的結(jié)構(gòu),具有視覺亮適應和暗適應的功能,有效感知范圍達到 199dB。
利用這款傳感器,可在不借助大體積光學組件、以及復雜外圍電路和后端信號處理的條件下,實現(xiàn)視覺適應功能和寬感知范圍。
(來源:Nature Electronics)
柴揚表示,其團隊在 5 年前就已開展光電存儲器的研究,這種新型器件能將光傳感與光信息處理的功能在單一器件中完成。
2018 年,該團隊發(fā)表了第一篇關(guān)于將光傳感器與邏輯信息處理集成的論文[2]。隨后,在此研究基礎(chǔ)上進一步開展,2019 年柴揚等人設計并利用光控阻變隨機存儲器實現(xiàn)了圖像感知和圖像預處理的功能[3]。
在 2020 年,他們又率先提出近傳感器和傳感器內(nèi)計算的方法[4,5]。人眼視網(wǎng)膜可以感知外界光信號,并根據(jù)光照強度自動調(diào)節(jié)光接收細胞的靈敏度,從而適應不同的背景光強度,這便是視網(wǎng)膜的視覺適應功能。