1、導(dǎo)讀

神經(jīng)輻射場渲染是一種用神經(jīng)網(wǎng)絡(luò)表示場景的方法，可以生成逼真的新視角圖像。然而，神經(jīng)輻射場渲染的計算復(fù)雜度較高，導(dǎo)致訓(xùn)練和推理速度較慢。因此，本文旨在提出一種自適應(yīng)外殼（Adaptive Shells）的方法，以加速神經(jīng)輻射場渲染，并在保持視覺質(zhì)量的同時提高效率。

2、貢獻(xiàn)

我們提出了一種神經(jīng)輻射公式，可以在基于體積和基于表面的渲染之間平滑過渡，大大加快渲染速度，甚至提高視覺保真度。

我們的方法構(gòu)建了一個顯式的網(wǎng)格包絡(luò)，它在空間上限制了神經(jīng)體積表示。在實體區(qū)域中，包絡(luò)幾乎會聚到一個表面，并且通?？梢允褂脝蝹€樣本進(jìn)行渲染。

實驗表明，我們的方法能夠以非常高的保真度實現(xiàn)高效渲染。

3、方法

我們通過對顯式薄殼內(nèi)的體積渲染進(jìn)行有效采樣來演示高保真、高效的神經(jīng)隱式場景重建，該薄殼會自動適應(yīng)視覺目標(biāo)。

在這篇論文中，作者提出了一種自適應(yīng)殼層方法來提高神經(jīng)輻射場渲染的效率。該方法利用了顯式幾何來加速性能，同時保持或提高感知質(zhì)量。該方法通過提取一個窄帶網(wǎng)格來適應(yīng)場景的局部復(fù)雜性，并在渲染過程中分配所需的樣本數(shù)量，以準(zhǔn)確地表示地面真實外觀。與傳統(tǒng)的體積渲染方法相比，該方法能夠更好地分配計算成本，從而實現(xiàn)高效的新視角合成。該方法的主要步驟包括：

提取窄帶網(wǎng)格：根據(jù)場景的局部復(fù)雜性，從體積表示中提取一個窄帶網(wǎng)格。這個窄帶網(wǎng)格可以很好地近似表面，并且只需要在網(wǎng)格中間的一個點(diǎn)采樣即可。

分配樣本數(shù)量：根據(jù)場景的不同區(qū)域，分配不同數(shù)量的樣本來表示地面真實外觀。對于復(fù)雜的模糊表面，需要更多的樣本來準(zhǔn)確表示外觀；而對于光滑的不透明表面，只需要在射線與表面相交的點(diǎn)采樣一個樣本即可。

輔助加速數(shù)據(jù)結(jié)構(gòu)：引入輔助加速數(shù)據(jù)結(jié)構(gòu)，以促進(jìn)空間跳過，從而進(jìn)一步提高渲染效率。通過這些步驟，該方法能夠在保持感知質(zhì)量的同時，更高效地進(jìn)行神經(jīng)輻射場渲染。

3.1、提取窄帶網(wǎng)格

作者提出了一種自適應(yīng)的窄帶渲染方法，用于加速神經(jīng)輻射場（Neural Radiance Field）的渲染過程。該方法通過提取窄帶網(wǎng)格來指導(dǎo)光線的采樣，從而在保持感知質(zhì)量的同時實現(xiàn)高效的渲染。具體而言，作者首先使用一種流體動力學(xué)方法來計算出適應(yīng)場景局部復(fù)雜性的自適應(yīng)殼（adaptive shell）。這個自適應(yīng)殼由兩個邊界網(wǎng)格組成，一個是外殼邊界網(wǎng)格，一個是內(nèi)殼邊界網(wǎng)格。這兩個網(wǎng)格定義了一個窄帶區(qū)域，其中包含了需要進(jìn)行采樣的點(diǎn)。在渲染過程中，對于每條光線，我們使用硬件加速的光線追蹤方法來計算光線與自適應(yīng)殼的交點(diǎn)。在這里推薦工坊課程基于深度學(xué)習(xí)的三維重建MVSNet系列論文+源碼+應(yīng)用+科研

通過計算光線與殼的交點(diǎn)，我們將光線分割成多個區(qū)間，每個區(qū)間都包含在窄帶區(qū)域內(nèi)。在每個區(qū)間內(nèi)，我們均勻采樣點(diǎn)來進(jìn)行渲染。這種方法不需要動態(tài)自適應(yīng)采樣或者基于采樣的終止條件，從而實現(xiàn)了高性能的并行計算。為了確定每個區(qū)間內(nèi)的采樣數(shù)量，我們使用了一個目標(biāo)采樣間距和一個單樣本閾值。

3.2、分配樣本數(shù)量

根據(jù)給定的表格，我們可以看到在MipNeRF360數(shù)據(jù)集上，我們的方法對每個場景分配的樣本數(shù)量如下：Bicycle: 16.33 Garden: 14.05 Stump: 22.81 Room: 17.14 Counter: 22.24 Kitchen: 14.49 Bonsai: 14.80 這些樣本數(shù)量是根據(jù)我們的自適應(yīng)殼層方法計算得出的，以確保在保持圖像質(zhì)量的同時盡可能減少樣本數(shù)量。

3.3、輔助加速數(shù)據(jù)結(jié)構(gòu)

輔助加速數(shù)據(jù)結(jié)構(gòu)是指在渲染過程中使用的一種數(shù)據(jù)結(jié)構(gòu)，用于提高渲染效率。這些數(shù)據(jù)結(jié)構(gòu)可以幫助減少不必要的計算和內(nèi)存消耗，從而加快渲染速度。在本篇論文中，作者提到了一種輔助加速數(shù)據(jù)結(jié)構(gòu)，即用于跳過空白空間的網(wǎng)格結(jié)構(gòu)。這個網(wǎng)格結(jié)構(gòu)可以幫助減少需要進(jìn)行渲染的體素數(shù)量，從而提高渲染效率。通過跳過空白空間，可以減少需要進(jìn)行采樣的體素數(shù)量，從而減少了計算量。這種輔助加速數(shù)據(jù)結(jié)構(gòu)的使用可以在一定程度上提高渲染速度，但同時也需要權(quán)衡渲染質(zhì)量。因為跳過空白空間可能會導(dǎo)致一些細(xì)節(jié)丟失，從而影響渲染結(jié)果的質(zhì)量。因此，在設(shè)計輔助加速數(shù)據(jù)結(jié)構(gòu)時需要綜合考慮渲染速度和渲染質(zhì)量之間的平衡。

3.4、損失函數(shù)

在訓(xùn)練過程中，我們使用兩個階段來優(yōu)化模型的參數(shù)。第一階段是使用完全體積形式的NeRF模型，通過最小化以下目標(biāo)函數(shù)進(jìn)行訓(xùn)練：

其中，是標(biāo)準(zhǔn)的像素級顏色損失，用于與校準(zhǔn)的真實圖像進(jìn)行比較。是Eikonal正則化項，用于約束場的梯度。規(guī)范了我們公式中引入的空間變化的內(nèi)核大小。是用于訓(xùn)練預(yù)測的幾何法線的損失，以使其與通過有限差分計算得到的法線保持一致。

在第二階段，我們使用窄帶采樣的NeRF模型進(jìn)行微調(diào)。由于我們已經(jīng)提取出了自適應(yīng)殼并將采樣限制在了一個小范圍內(nèi)，因此不再需要鼓勵幾何上良好的表示。因此，我們只使用來優(yōu)化模型，以提高視覺保真度。通過這兩個階段的訓(xùn)練，我們可以得到一個高質(zhì)量的NeRF模型，用于渲染新視角的圖像。

4、實驗結(jié)果

本研究采用了兩個數(shù)據(jù)集進(jìn)行實驗評估：Shelly數(shù)據(jù)集和DTU數(shù)據(jù)集。

Shelly數(shù)據(jù)集：

Shelly數(shù)據(jù)集是本研究新引入的合成數(shù)據(jù)集，包含了六個物體級別的場景：Khady、Pug、Kitty、Horse、Fernvase和Woolly。

對于每個場景，我們從隨機(jī)的相機(jī)位置渲染了128個訓(xùn)練視角和32個測試視角。

我們使用了峰值信噪比（PSNR）、學(xué)習(xí)感知圖像補(bǔ)丁相似度（LPIPS）和結(jié)構(gòu)相似度（SSIM）等常用評估指標(biāo)來量化渲染質(zhì)量。

此外，我們還報告了每個像素所需的沿射線采樣數(shù)，以評估方法的計算復(fù)雜性。

DTU數(shù)據(jù)集：

我們選擇了DTU數(shù)據(jù)集中的15個桌面場景進(jìn)行實驗評估。

這些場景是由機(jī)器人持有的單目RGB相機(jī)捕捉的，并且通常用于評估隱式表面表示方法。- 我們要求方法表示整個場景，但僅在提供的物體掩碼內(nèi)評估性能。

我們使用了相同的評估指標(biāo)（PSNR、LPIPS和SSIM）來量化渲染質(zhì)量。

總結(jié)起來，本研究通過在Shelly數(shù)據(jù)集和DTU數(shù)據(jù)集上進(jìn)行實驗評估，使用了多個評估指標(biāo)來量化渲染質(zhì)量，并報告了每個像素所需的沿射線采樣數(shù)，以評估方法的計算復(fù)雜性。實驗結(jié)果表明，我們的方法在各項指標(biāo)上均優(yōu)于基線方法，具有更高的渲染質(zhì)量和更高的效率。

5、結(jié)論

本研究結(jié)論是提出了一種自適應(yīng)外殼方法，用于提高神經(jīng)輻射場渲染的效率。通過在神經(jīng)輻射場中提取窄殼，可以根據(jù)場景的局部復(fù)雜性來調(diào)整表示，從而加速渲染過程。實驗結(jié)果表明，該方法在保持渲染質(zhì)量的同時，顯著減少了采樣數(shù)量和計算復(fù)雜度。這對于神經(jīng)輻射場的訓(xùn)練和推斷都具有重要意義。