多倫多大學(xué)的計算成像研究人員用他們獨特的相機(jī)捕捉到了奇怪的信號。多倫多計算機(jī)成像小組在實驗室中使用單光子雪崩二極管 (SPAD) 相機(jī)檢測到無法解釋的 80 千赫 (kHz) 閃爍。

他們利用強(qiáng)大的自由運行成像傳感器，探測到來自不同光源的每個光子，并記錄其精確的到達(dá)時間，精確到萬億分之一秒。在獲取到每個像素的所有數(shù)據(jù)后，研究團(tuán)隊?wèi)?yīng)用了一種算法，可以在從幾秒到皮秒的極短時間內(nèi)創(chuàng)建重建任意特定時刻光的視頻。

多倫多大學(xué)計算機(jī)科學(xué)教授 Kyros Kutulakos 說：“你可以按照你想要的時間尺度放大并播放視頻：每秒 30 幀、一千幀、一百萬幀、十億幀。您不必提前知道您想要觀察某個現(xiàn)象的時間尺度?！?/p>

在此之前，研究人員可以捕捉到幾納秒內(nèi)穿過場景的光，但無法同時對極快和極慢的事件進(jìn)行成像。

Kutulakos 的同事、助理教授David Lindell 解釋說，現(xiàn)有技術(shù)專門針對特定的時間范圍。傳統(tǒng)高速攝像機(jī)的速度可達(dá)到每秒約 100 萬幀——足以捕捉到飛馳的子彈——但要達(dá)到每秒數(shù)十億或數(shù)萬億幀的速度則需要非常專業(yè)的攝像機(jī)，而這些攝像機(jī)無法捕捉持續(xù)時間超過一微秒左右的事件。

通過自由運行的成像傳感器，可以檢測來自不同光源的每個光子并記錄精確的到達(dá)時間。（視頻所有權(quán)：多倫多大學(xué)）

多倫多大學(xué)團(tuán)隊使用 MATLAB 獲取單個光子的時間戳數(shù)據(jù)并控制其成像技術(shù)裝置中的移動組件，該團(tuán)隊將其稱為“時間顯微鏡”。

單像素 SPAD 有一個 60 毫米乘 60 毫米的檢測頭，中間有一個微型傳感器。當(dāng) SPAD 檢測到奇怪的 80 kHz 信號時，研究人員起初懷疑他們是否只是遇到了一些偽影。經(jīng)過仔細(xì)檢查，研究小組發(fā)現(xiàn)了問題的根源。

“事實證明，我們實驗室用 T8 LED替代了熒光燈泡。它們實際上以 80 千赫的頻率閃爍，”Kutulakos說?！拔覀兩踔敛恢腊l(fā)生了這樣的事。”

在最近于巴黎舉行的國際計算機(jī)視覺會議 (ICCV) 上，該團(tuán)隊關(guān)于被動超寬帶單光子成像的論文獲得了一項享有盛譽(yù)的獎項，該獎項在全球計算機(jī)視覺專家提交的數(shù)千篇論文中僅有兩篇獲得。

該技術(shù)的潛在應(yīng)用包括新型 3D 成像和激光雷達(dá)系統(tǒng)以及科學(xué)成像——例如，捕捉多個時間尺度上的生物事件或?qū)εc快速射電爆發(fā)同時發(fā)生的短脈沖光進(jìn)行天文觀測。

▼

每秒數(shù)十億幀

人類將光視為一種連續(xù)的體驗：我們可以想象使用快速相機(jī)來拍攝慢動作鏡頭。如果我們有越來越高速的攝像機(jī)，也許我們可以簡單地不斷地減慢播放速度。

“但到了某個時候，就會出現(xiàn)轉(zhuǎn)變，”Lindell說?！肮獠皇沁B續(xù)的；它是離散的。我們捕捉光的方式是每次捕捉一個光子?！?/p>

單光子雪崩二極管在過去十年內(nèi)才開始廣泛應(yīng)用。Kutulakos 指出，該設(shè)備成本高昂，意味著很少有計算機(jī)科學(xué)和計算機(jī)視覺實驗室能夠使用它們。最近的傳感器發(fā)展促使多倫多大學(xué)的研究小組對其他領(lǐng)域的科學(xué)家?guī)资陙硪恢痹谔接懙膯栴}提出新的問題。

例如，專門研究伽馬射線天文學(xué)的天文學(xué)家部署了探測器來拾取單個粒子并對其進(jìn)行時間戳。但這些天文學(xué)家對變星的周期性照明更感興趣，而不是描述恒星亮度的精確時間變函數(shù)，因為這是物理學(xué)所要求的，Kutulakos 解釋道。

在多倫多計算成像組實驗室，博士后 Sotiris Nousias 和博士生 Mian Wei 首次使用 SPAD 捕獲發(fā)光二極管光子的時序信息。

“我們讓 LED 閃爍，并觀察輸出流，”Nousias 說道?！拔覀冇^察到，水流實際上具有與閃爍相同的模式，然后努力尋找數(shù)學(xué)聯(lián)系。這就是我們開展該項目的靈感。”

Nousias 和 Wei 是 ICCV 論文的共同第一作者，他們想知道如果他們能夠接觸到所有光子，他們可以獲得什么信息?？茖W(xué)家傾向于以特殊的同步方式操作 SPAD。相反，該團(tuán)隊以異步模式操作傳感器。從此，研究人員試圖將離散光子到達(dá)與描述光強(qiáng)度隨時間變化的底層連續(xù)函數(shù)聯(lián)系起來。

Kutulakos 說：“我們正在被動收集光子并嘗試重建環(huán)境中所有光源的貢獻(xiàn)，無論強(qiáng)度變化是快還是慢?！?/p>

在一項實驗中，研究團(tuán)隊同時捕捉到不同的光線，然后以不同的速度播放它們。SPAD 觀察到白色表面上的一個點。來自 3 兆赫頻閃脈沖激光器、40 兆赫頻閃脈沖激光器和光柵掃描激光投影儀的光線穿過擴(kuò)散器并撞擊白點。頭頂上方閃爍著智能燈泡。

他們從相機(jī)中提取了時間信息流，指示光子何時撞擊傳感器并提取強(qiáng)度信息。該團(tuán)隊使用MATLAB 來引導(dǎo)光束并獲取圖像，以確保像素及時對齊，并實現(xiàn)整個數(shù)據(jù)采集端的自動化。

“我們已經(jīng)研究單光子傳感器很多年了，我們擁有的 MATLAB 采集管道仍然有效，”Lindell 說。“它完全可靠?！?/p>

具體來說，他們依靠 Image Processing Toolbox、Computer Vision Toolbox、Signal ProcessingToolbox、Data Acquisition Toolbox 和 Parallel Computing Toolbox 來完成該項目。Nousias 補(bǔ)充說，他們還制作了自定義圖形界面來控制一些實驗中的掃描鏡。

事實證明，現(xiàn)代 SPAD 能夠進(jìn)行的計算成像遠(yuǎn)遠(yuǎn)超出了研究人員之前的想象。

Kutulakos 說：“我們從未想過能夠看到激光脈沖在環(huán)境中異步閃爍。”

捕捉白色表面上單點上的多個光源的實驗裝置。（視頻所有權(quán)：多倫多大學(xué)）

▼穿越時空

研究團(tuán)隊的重建使他們能夠?qū)⒆⒁饬性趶募す馔队皟x閃爍到近九個數(shù)量級的一秒采樣率，以及來自 3 兆赫激光的納秒級單個脈沖上。他們的方法還使他們能夠重現(xiàn)視線之外的激光電視投影儀播放的視頻。在這種情況下，它是僅通過光柵掃描信號重現(xiàn)的經(jīng)典黑白米高梅咆哮獅子。

另一個裝置以白色背景為背景，展示了一個淡粉色手持電池供電的風(fēng)扇。為了演示被動超寬帶攝像技術(shù)，他們用激光脈沖照射旋轉(zhuǎn)的風(fēng)扇。與模糊風(fēng)扇的主動成像技術(shù)不同，他們的技術(shù)可以清晰地凍結(jié)風(fēng)扇葉片在與頻閃燈不同的時間尺度上的運動。當(dāng)紅色波前掃過看似凍結(jié)的風(fēng)扇葉片時，這一場景在千兆赫尺度附近仍然清晰可見。

“可以把它想象成一臺速度非?？斓臄z像機(jī)，”Nousias 說道。“使用移動相機(jī)，你可以拍攝快照。但在我們的例子中，我們拍攝快照的快照。我們正在飛速穿越時間?！?/p>

當(dāng)團(tuán)隊八年前開始為該項目使用成像設(shè)備時，他們就已經(jīng)熟悉 MATLAB 了?！八泄ぞ叨挤浅Ｈ菀准?，并讓我們能夠快速訪問數(shù)據(jù)，”Nousias 說?！叭绻霈F(xiàn)問題，我們必須重新獲取數(shù)據(jù)，這樣就很容易實現(xiàn)可視化，從而節(jié)省我們的時間?！?/p>

Wei 還對 MATLAB 的支持表示感謝?！爱?dāng)你獲得新設(shè)備時，如果你沒有必要的支持來進(jìn)行接口，那么你就必須利用不同的 GUI 來獲取你想要的數(shù)據(jù)，”他說。“MATLAB為我們提供了一種方便的方式來控制所有組件來進(jìn)行數(shù)據(jù)采集。”

Lindell 也很同意。“我們使用的設(shè)備非常多樣化。我們利用現(xiàn)有的庫構(gòu)建了一個單一的編程接口，”他說。“如果我們沒有 MATLAB，我們就不得不費盡心思使用人們用其他編程語言構(gòu)建的不同第三方庫或擴(kuò)展?！?/p>

被動式超寬帶攝像技術(shù)可以定格風(fēng)扇葉片在與頻閃燈不同的時間尺度上的運動。當(dāng)紅色波前掃過看似凍結(jié)的風(fēng)扇葉片時，葉片在千兆赫尺度附近仍然可見。（視頻所有權(quán)：多倫多大學(xué)）

Wei 估計，如果沒有技術(shù)計算軟件，集成每個新組件可能需要幾天到幾周的時間。他說：“再次檢查各個部件是否按預(yù)期運行會耗費更多時間?！?/p>

“因為我們的設(shè)置，我們可以說，‘好吧，我有這個新的 Windows 機(jī)器。我會采用之前運行的代碼，然后將其移植過來，”Wei 繼續(xù)道?！艾F(xiàn)在其他人也可以使用他們的代碼并運行該系統(tǒng)。”

▼動態(tài)成像的可能性

獲得國際計算機(jī)視覺會議最佳論文獎代表了多倫多計算成像組研究人員的一項重大職業(yè)成就。Lindell說，會議組織者從提交的 8,068 篇論文中僅選出了兩篇。

他說：“在深度學(xué)習(xí)占據(jù)主導(dǎo)地位的時代，這是一個很好的提醒，我們?nèi)匀恍枰M(jìn)行研究來幫助我們理解基本的物理現(xiàn)象以及如何使用新興技術(shù)感知這些現(xiàn)象?！?/p>

研究人員希望他們的突破能夠激發(fā)新的進(jìn)步。一個值得探索的領(lǐng)域是閃光激光雷達(dá)，該技術(shù)利用漫射脈沖激光而不是掃描脈沖激光產(chǎn)生高分辨率深度圖像。通常，這涉及將光發(fā)送到場景中，測量光返回所需的時間，并使用該時間信息來測量距離。

“需要注意的是，你需要將光源與系統(tǒng)同步才能使該機(jī)制發(fā)揮作用，”魏解釋道。“鑒于我們具有異步測量信號的能力，我們有興趣了解是否可以使用異步光源來制作閃光激光雷達(dá)?！?/p>

在生物學(xué)中，蛋白質(zhì)折疊或結(jié)合等事件可以在從納秒到毫秒的時間尺度上發(fā)生。Lindell 說，研究小組一直在與大學(xué)的生物學(xué)專家討論他們的成像技術(shù)。

他說：“這些事件在這些時間尺度上發(fā)生的事實讓我們很感興趣，而且以人們迄今為止無法做到的方式觀察它們的潛力也很誘人?！?/p>

計算重聚焦可能有應(yīng)用于其他科學(xué)領(lǐng)域。自從 20 年前射電望遠(yuǎn)鏡首次探測到這一現(xiàn)象以來，天體物理學(xué)家一直想了解快速射電暴的成因是什么。這些神秘的能量爆炸發(fā)生在天空中，僅持續(xù)幾毫秒，但每次都極其強(qiáng)大。計算重聚焦可以使人們在光學(xué)領(lǐng)域探測到快速射電暴。

Nousias 說：“我們不知道這些事情什么時候會發(fā)生?！蹦阈枰O(jiān)測天空，然后在納秒時間尺度上返回數(shù)據(jù)進(jìn)行觀察。現(xiàn)在我們有了實現(xiàn)這一目標(biāo)的工具?！?/p>

Kutulakos 預(yù)計，他們的SPAD 方法可以幫助檢測標(biāo)準(zhǔn)檢查遺漏的工程機(jī)械零部件中的問題或缺陷。當(dāng)發(fā)動機(jī)出現(xiàn)故障時，振動可能表明存在問題，但如果沒有更多信息，則可能難以找到確切的來源。他說道，通過將攝像頭對準(zhǔn)發(fā)動機(jī)并收集所有數(shù)據(jù)，你就可以在大海里撈到針。

該團(tuán)隊還與其他微電子研究人員合作，擴(kuò)展相機(jī)的功能。單像素相機(jī)使團(tuán)隊能夠從重復(fù)運動（例如旋轉(zhuǎn)的風(fēng)扇葉片）中制作視頻，但真正動態(tài)的事件需要二維傳感器。

下一步，該團(tuán)隊計劃致力于改進(jìn)他們的技術(shù)。Lindell 指出，重建信號仍然相當(dāng)耗時，而且計算效率低下。因此，他們正在致力于實時捕捉所有時間尺度上的事件。

“我認(rèn)為，當(dāng)我們將這臺相機(jī)對準(zhǔn)實驗室周圍甚至室外時，會產(chǎn)生意想不到的結(jié)果，”Lindell 說。“我很高興看到我們的發(fā)現(xiàn)。這將會是一種捕捉世界的新方式?！?/p>