近年來，能夠捕獲單光子的圖像傳感器取得了巨大進(jìn)步。然而，這項(xiàng)技術(shù)卻面臨著一個(gè)主要的限制：由于其在單光子級(jí)別捕獲場景信息，因此所獲得的原始數(shù)據(jù)稀疏且有噪聲。

據(jù)麥姆斯咨詢報(bào)道，近日，美國威斯康星大學(xué)麥迪遜分校（University of Wisconsin-Madison）和波特蘭州立大學(xué)（Portland State University）的聯(lián)合科研團(tuán)隊(duì)在Nature Communications期刊上發(fā)表了以“CASPI: collaborative photon processing for active single-photon imaging”為主題的論文。該論文第一作者和通訊作者為威斯康星大學(xué)麥迪遜分校的Jongho Lee。

圖1 CASPI是一種用于主動(dòng)成像的通用型光子數(shù)據(jù)處理技術(shù)

這項(xiàng)研究提出了用于主動(dòng)單光子成像的協(xié)同光子處理（CASPI），這是一種不依賴于特定技術(shù)及應(yīng)用且無需訓(xùn)練的光子處理途徑，可用于新興的高分辨率單光子相機(jī)（SPC）。通過協(xié)作利用時(shí)空光子數(shù)據(jù)立方體中的局域與非局域相關(guān)性，即使在極具挑戰(zhàn)性的照明條件下，CASPI也能可靠地估計(jì)場景屬性。研究人員通過兩個(gè)應(yīng)用展示了CASPI的多功能性：從亞光子到高環(huán)境光狀態(tài)的寬范圍光子通量水平的激光雷達(dá)（LiDAR）成像，以及在低光子計(jì)數(shù)水平下的活細(xì)胞自體熒光壽命成像顯微鏡（FLIM）。研究人員期望將CASPI作為通用光子處理單元的基本構(gòu)建塊，有望在未來單光子相機(jī)芯片上實(shí)現(xiàn)。

CASPI相關(guān)論證：時(shí)空光子相關(guān)性、分級(jí)盲光子處理和引導(dǎo)光子處理

CASPI基于以下兩個(gè)觀測結(jié)果：（1）高分辨率單光子相機(jī)捕獲的大多數(shù)自然場景的光子瞬態(tài)立方體在多尺度和維度上具有豐富的時(shí)空相關(guān)性；（2）通過協(xié)同利用局域和非局域光子相關(guān)性，即使在極具挑戰(zhàn)性的照明條件下，研究人員也可以恢復(fù)真實(shí)的光子通量。

圖2 時(shí)空光子相關(guān)性與分級(jí)盲光子處理

如圖2b所示，即使在存在強(qiáng)噪聲和失真的情況下，研究人員也可采用分級(jí)方法尋找相似的立方體。研究人員將最先進(jìn)的濾波架構(gòu)（BM3D47、BM4D48和V-BM4D49）推廣到光子瞬態(tài)立方體，從而恢復(fù)了分級(jí)光子處理中的潛在光子通量。在獲得精確的局部噪聲估計(jì)后，研究人員分兩階段恢復(fù)光子通量：初始通量估計(jì)和利用維納濾波（Wiener filtering）的最終通量估計(jì)。

研究人員提出了引導(dǎo)光子處理方法，利用光強(qiáng)與光子瞬態(tài)立方的空間頻率相關(guān)性來恢復(fù)這種低信噪比（SNR）情況下的通量。研究人員的主要觀點(diǎn)在于，通過對3D光子瞬態(tài)立方體的時(shí)間維度求和獲得的2D偽強(qiáng)度圖像與3D光子瞬態(tài)立方體具有類似的傅里葉幅度空間分布，但是由于時(shí)間平均，其信噪比顯著提高。

作為恢復(fù)潛在光子通量的副產(chǎn)品，CASPI還可以通過對恢復(fù)的3D光子瞬態(tài)立方體的時(shí)間維度進(jìn)行積分，來重建高質(zhì)量的2D反射率（強(qiáng)度）圖像。

CASPI的兩個(gè)應(yīng)用案例：

單光子激光雷達(dá)

研究人員展示了CASPI在一系列具有挑戰(zhàn)性的照明條件下用于單光子激光雷達(dá)應(yīng)用的優(yōu)勢。結(jié)果如圖3所示，CASPI可以提高現(xiàn)有方法的性能；CASPI可以恢復(fù)在不同通量狀態(tài)下的潛在光子通量，即使在極具挑戰(zhàn)性的條件下也能實(shí)現(xiàn)可靠的深度估計(jì)。如圖4所示，研究人員展示了單光子激光雷達(dá)硬件原型捕獲的真實(shí)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果。

圖3 用于單光子激光雷達(dá)的CASPI

圖4 CASPI用于單光子激光雷達(dá)的實(shí)驗(yàn)結(jié)果

由于CASPI對瞬態(tài)光子的反射次數(shù)和形狀沒有任何先驗(yàn)假設(shè)，因此它可以用于恢復(fù)包括多徑效應(yīng)在內(nèi)的整個(gè)時(shí)變光子通量波形。這與傳統(tǒng)激光雷達(dá)假設(shè)傳感器像素僅接收來自場景點(diǎn)的直接光分量不同。

圖5 恢復(fù)多徑瞬態(tài)

低光子數(shù)熒光壽命成像顯微鏡

研究人員在具有挑戰(zhàn)性的低光子計(jì)數(shù)數(shù)據(jù)集中驗(yàn)證了將CASPI用于熒光壽命成像顯微鏡的有效性，結(jié)果如圖6所示。圖7展示了三種不同方法在雙指數(shù)壽命模型中估計(jì)的相對貢獻(xiàn)：逐像素?cái)M合（pixel-wise fitting）、全局?jǐn)M合（global fitting）以及用CASPI恢復(fù)光子瞬態(tài)的逐像素?cái)M合。結(jié)果表明，在熒光壽命成像顯微鏡中使用CASPI能夠可靠地估計(jì)雙指數(shù)衰減模型的參數(shù)。

圖6 用于熒光壽命成像顯微鏡的CASPI

圖7 與熒光壽命成像顯微鏡雙指數(shù)衰減全局分析的比較

綜上所述，由于CASPI采用基于立方體的變換，因此按順序處理每個(gè)立方體可能會(huì)導(dǎo)致計(jì)算時(shí)間較長。幸運(yùn)的是，每個(gè)立方體都可以獨(dú)立處理，使得該方法適合用于大規(guī)模并行處理（例如利用低功耗GPU），從而在未來硬件芯片上實(shí)現(xiàn)實(shí)時(shí)成像。另外通過在硬件上使用快速傅里葉變換或光學(xué)計(jì)算，可以獲得進(jìn)一步的加速。此外，考慮到信號(hào)特征的時(shí)間位置在特定應(yīng)用（例如激光雷達(dá)）中也傳遞重要信息，小波變換可能比傅里葉變換在恢復(fù)光子通量方面擁有更好的性能。

單光子相機(jī)的某些限制可能會(huì)隨著未來硬件的改進(jìn)而得到解決。但CASPI帶來的改進(jìn)是對硬件創(chuàng)新的補(bǔ)充，不僅可以解決光子飽和狀態(tài)下首光子探測的限制，還可以解決當(dāng)光子匱乏狀態(tài)下沒有或最小堆失真時(shí)低光子計(jì)數(shù)的限制。由低光子計(jì)數(shù)導(dǎo)致的低信噪比是許多實(shí)際成像應(yīng)用中經(jīng)常遇到的基本問題。由于其具有通用型免訓(xùn)練且盲操作特性，研究人員期望CASPI將來成為各類主動(dòng)單光子相機(jī)數(shù)據(jù)流程的組成部分。在3D成像方面，它有望為未來的自動(dòng)駕駛汽車和機(jī)器人應(yīng)用提供遠(yuǎn)程低功耗閃光式激光雷達(dá)（flash LiDAR）。CASPI還有望在生物醫(yī)學(xué)成像應(yīng)用中實(shí)現(xiàn)熒光壽命對比的實(shí)時(shí)體內(nèi)觀察，以評(píng)估細(xì)胞活性引起的代謝或系統(tǒng)變化。

審核編輯：劉清