該方法首先從預(yù)訓(xùn)練的神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)中提取顯式網(wǎng)格表示。由于針對(duì)單個(gè)重建模型進(jìn)行幾何分析比較困難，所以依靠合成數(shù)據(jù)集中的形狀先驗(yàn)來幫助對(duì)真實(shí)重建模型的幾何分析。首先，結(jié)合枚舉和迭代最近點(diǎn)（ICP）算法對(duì)提取網(wǎng)格執(zhí)行包括對(duì)齊和縮放在內(nèi)的預(yù)處理操作。具體地，將重建模型沿三個(gè)軸中的每一個(gè)旋轉(zhuǎn)一定角度，然后將隨機(jī)選取的合成模型縮放到與旋轉(zhuǎn)后的重建模型相似的大??；計(jì)算旋轉(zhuǎn)后的重建模型和縮放后的合成模型之間的誤差，并選擇誤差最小的旋轉(zhuǎn)角度對(duì)；進(jìn)一步考慮選擇的旋轉(zhuǎn)角度附近的角度，重復(fù)上述操作。經(jīng)過一定次數(shù)的重復(fù)操作后，使用迭代最近點(diǎn)算法完成最終對(duì)齊，完成重建模型到合成模型的匹配。匹配后的模型通過幾何分析網(wǎng)絡(luò)[4][5]獲得幾何屬性，包括抽象盒子表示、語義分割和對(duì)稱性。

基于幾何分析的編輯：

論文提出的方法使用抽象盒子表示作為變形代理對(duì)神經(jīng)輻射場(chǎng)的幾何進(jìn)行交互式編輯。在編輯中同時(shí)引入對(duì)稱性和語義分割信息，可以在用戶編輯時(shí)保持模型的對(duì)稱性，并且編輯不會(huì)超出對(duì)應(yīng)的語義部分。用戶可以對(duì)抽象盒子旋轉(zhuǎn)、平移或縮放，這些編輯會(huì)先對(duì)網(wǎng)格模型變形。具體地，網(wǎng)格的每個(gè)頂點(diǎn)找到最近的兩個(gè)抽象盒子，并將這兩個(gè)盒子的變換的加權(quán)組合作為頂點(diǎn)的變換，其中權(quán)重計(jì)算為距離的倒數(shù)。為了限制編輯在對(duì)應(yīng)的語義部件內(nèi)，對(duì)于網(wǎng)格上的每個(gè)頂點(diǎn)，尋找模型點(diǎn)云上的最近點(diǎn)，并將最近點(diǎn)對(duì)應(yīng)的語義標(biāo)簽賦給網(wǎng)格頂點(diǎn)。然后在變換的加權(quán)組合中，引入對(duì)應(yīng)語義的抽象盒子，并給該盒子的變換賦予更大的權(quán)重。如旋轉(zhuǎn)矩陣可以被計(jì)算為：

其中l(wèi)og和exp分別為矩陣的對(duì)數(shù)和指數(shù)操作。此外，系統(tǒng)標(biāo)記了對(duì)稱的抽象盒子對(duì)，若用戶選擇保持對(duì)稱，則與用戶編輯的盒子對(duì)稱的抽象盒子將同時(shí)進(jìn)行相應(yīng)的變換，從而保持模型的對(duì)稱性。在將編輯傳播到網(wǎng)格后，提出方法使用NeRF-Editing [2]提出的兩步傳播方法將編輯從網(wǎng)格傳播到隱式空間場(chǎng)。具體地，先將三角網(wǎng)格擴(kuò)大形成包圍網(wǎng)格，并從包圍網(wǎng)格建立四面體網(wǎng)格，然后利用三角網(wǎng)格的變化對(duì)四面體網(wǎng)格進(jìn)行變形，最后利用四面體網(wǎng)格對(duì)光線上的采樣點(diǎn)進(jìn)行偏移，得到變形模型的視角合成結(jié)果。

不同模型的語義部件組合：

使用語義分割，還可以將來自不同神經(jīng)輻射場(chǎng)模型的語義部件組合成一個(gè)新的神經(jīng)輻射場(chǎng)模型，并從任意視角瀏覽。用戶通過標(biāo)記抽象盒子指定要組合的語義部件，也可以使用抽象盒子調(diào)整對(duì)應(yīng)部件的位置和大小，保證合成模型的合理性。渲染組合模型時(shí)，每個(gè)采樣點(diǎn)會(huì)從其所在分割部件的有向包圍盒對(duì)應(yīng)的神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)中獲取其密度和顏色值，最后利用體渲染聚合每條光線上所有采樣點(diǎn)的顏色，得到視角合成結(jié)果。

實(shí)時(shí)交互式編輯：

為了實(shí)現(xiàn)實(shí)時(shí)渲染，引入iNGP [6]中的多分辨率哈希編碼結(jié)構(gòu)。進(jìn)一步地，只在網(wǎng)格表面附近或有向包圍盒內(nèi)部采樣，大大減少了光線采樣點(diǎn)的數(shù)量，加快了渲染速度。

Part3實(shí)驗(yàn)效果

圖4展示了提出方法在不同椅子上的基于幾何分析的編輯結(jié)果，這些編輯都使用了對(duì)稱性。第一列是抽象盒子表示在編輯前后的可視化?？梢钥吹?，使用提取的盒式變形圖柄能對(duì)模型進(jìn)行不同的幾何編輯，并能很好地保持模型的對(duì)稱性。

圖4. 提出方法在不同椅子上的基于幾何分析的編輯結(jié)果

圖5展示了在其他類別物體上的編輯結(jié)果，編輯時(shí)沒有使用對(duì)稱性。用戶可以將站立長頸鹿改為奔跑姿勢(shì)，也能改變桌腿的朝向，使其更有設(shè)計(jì)感。

圖5.對(duì)其他類別物體的編輯結(jié)果

圖6展示了將不同模型的語義部件組合成新模型的結(jié)果。用戶可以交換兩把椅子的上半部分和下半部分，生成兩把新椅子；也可以在兩個(gè)不同類別的物體，麋鹿和桌子之間組合，將鹿腿用于支撐桌面，構(gòu)成一個(gè)充滿創(chuàng)意的桌子模型。

圖6.不同模型的語義部件的組合結(jié)果

該方法也與NeRF-Editing進(jìn)行了對(duì)比，在對(duì)稱性保持上具有優(yōu)勢(shì)；同時(shí)也進(jìn)行了消融實(shí)驗(yàn)，在編輯中不使用語義分割信息會(huì)導(dǎo)致編輯超出所屬語義部件范圍，產(chǎn)生不自然的編輯效果；不使用對(duì)稱屬性會(huì)和NeRF-Editing類似，編輯結(jié)果難以保持原有的對(duì)稱性，如圖7所示。

圖7.與NeRF-Editing方法的對(duì)比以及消融實(shí)驗(yàn)

Part4總結(jié)和展望

該工作將合成數(shù)據(jù)集先驗(yàn)引入到真實(shí)神經(jīng)輻射場(chǎng)模型的幾何編輯中，實(shí)現(xiàn)基于幾何分析的編輯方法，能自動(dòng)提取變形圖柄方便用戶操作，編輯時(shí)保持模型的幾何屬性。借助提取的語義分割，提出的方法還能實(shí)現(xiàn)語義部件級(jí)的神經(jīng)輻射場(chǎng)組合。在未來可以探索如何在神經(jīng)輻射場(chǎng)中直接進(jìn)行幾何分析，不會(huì)因?yàn)楹铣蓴?shù)據(jù)先驗(yàn)限定物體類別。同時(shí)，結(jié)合一些材質(zhì)光影解耦的方法，在幾何編輯時(shí)相應(yīng)地改變光影。

參考文獻(xiàn)

[1]Yu-Jie Yuan, Yang-Tian Sun, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Leif Kobbelt, Lin Gao*, Interactive NeRF Geometry Editing with Shape Priors, IEEE TPAMI 2023.

[2]Yu-Jie Yuan#, Yang-Tian Sun#, Yu-Kun Lai, Yuewen Ma, Rongfei Jia, Lin Gao*, NeRF-Editing: Geometry editing of neural radiance fields, IEEE CVPR 2022.

[3]Chong Bao and Bangbang Yang, Junyi Zeng, Hujun Bao, Yinda Zhang, Zhaopeng Cui, Guofeng Zhang, Neumesh: Learning disentangled neural mesh-based implicit field for geometry and texture editing, European Conference on Computer Vision (ECCV), 2022.

[4]Kaizhi Yang and Xuejin Chen, Unsupervised learning for cuboid shape abstraction via joint segmentation from point clouds, ACM Transactions on Graphics (TOG), vol. 40, no. 4, pp. 1–11, 2021.

[5]Lin Gao, Ling-Xiao Zhang, Hsien-Yu Meng, Yi-Hui Ren, Yu-Kun Lai, Leif Kobbelt, PRS-Net: Planar reflective symmetry detection net for 3D models, IEEE Transactions on Visualization and Computer Graphics, vol. 27, no. 6, pp. 3007–3018, 2020.

[6] Thomas Müller, Alex Evans, Christoph Schied, Alexander Keller, Instant neural graphics primitives with a multiresolution hash encoding, ACM Transactions on Graphics (TOG), vol. 41, no. 4, pp. 102:1–102:15, 2022.

編輯：黃飛