從多攝手機的普及到安防監(jiān)控、智能車載攝像頭以及機器視覺的飛速進步，CMOS圖像傳感器成為名副其實的黃金賽道，每年出貨量逼近百億顆大關(guān)。

4月17日，在全球CMOS傳感器應(yīng)用技術(shù)峰會上，愛芯元智ISP系統(tǒng)專家張興發(fā)表題為《關(guān)于AI-ISP下一步發(fā)展和廣泛應(yīng)用》的演講，深度剖析了愛芯元智的自研核心技術(shù)愛芯智眸AI-ISP，如何打破傳統(tǒng)黑光成像局限，實現(xiàn)真黑光全彩實時影像，并揭示了自研NPU在其中的關(guān)鍵作用以及對大模型在端側(cè)應(yīng)用的前瞻性布局。

真黑光全彩，定義行業(yè)新標準

一般來說，黑光級意味著攝像機可以在0.01lux及以下照度的條件下工作?？墒?，傳統(tǒng)的黑光級攝像機往往依賴于大版面?zhèn)鞲衅鳌⒌头直媛?、大光圈等手段來捕捉微弱光線，這些方法不僅可能導(dǎo)致色彩飽和度不足、運動物體失真，還伴隨器件提升帶來的巨大成本攀升，難以滿足日益嚴苛的行業(yè)需求。愛芯元智首創(chuàng)自研的愛芯智眸AI-ISP，結(jié)合了愛芯通元混合精度NPU則顛覆了這一現(xiàn)狀，不僅極大提高了AI識別率，還解決了低照和寬動態(tài)成像的時代難題，成功將黑光全彩成像變?yōu)楝F(xiàn)實，并且大幅降低設(shè)備的綜合成本。

“如果說，CMOS是生物視覺系統(tǒng)中的視網(wǎng)膜，那么，NPU賦能的AI-ISP則是大腦對圖像的處理機制。其整合了傳統(tǒng)ISP的圖像優(yōu)化功能與人工智能算法，能夠?qū)@些初始的數(shù)字圖像進行深度分析與理解，就像人腦通過復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對視網(wǎng)膜傳遞的信號進行解析，從而識別物體、理解場景并做出基于視覺信息的決策?！?/p>

愛芯智眸AI-ISP - 客戶實例

實測數(shù)據(jù)顯示，搭載新一代愛芯智眸AI-ISP的攝像機即使在<0.01Lux的極端暗光條件下，也能在無需任何補光的情況下，以25～30幀的高幀率實現(xiàn)智能降噪和超寬動態(tài)成像，實現(xiàn)全彩畫面的實時、高飽和度還原，運動物體呈現(xiàn)無拖影、透視或鬼影的清晰影像。

愛芯元智率先提出了“真黑光”六大要素——低照度下無補光全彩、實時幀率、運動物體精準識別、色彩準確還原、成本效益及產(chǎn)品化易用性，強調(diào)只有同時滿足這些條件，才能在極暗場景下實現(xiàn)卓越的視頻效果，切實提升用戶體驗。

AI賦能ISP，突破傳統(tǒng)“天花板”

在全天候條件下，如何提升AI的識別率，達到真正的智能好用，是行業(yè)最大痛點。愛芯元智從技術(shù)原理出發(fā)，對愛芯智眸AI-ISP的架構(gòu)創(chuàng)新，通過AI賦能ISP Pipeline中的五大關(guān)鍵模塊——HDR、3DNR、SR、RLTM和Demosaic，運用AI訓(xùn)練手段持續(xù)優(yōu)化這些模塊的性能，有效打破了傳統(tǒng)ISP成像的性能瓶頸，成功將有限的算力聚焦于人眼感知最為敏感的功能模塊，通過AI化重要模塊實現(xiàn)ISP的最佳效果。

大模型驅(qū)動，成就差異化優(yōu)勢

隨著大模型的發(fā)展，愛芯元智已經(jīng)率先在自己的AI-ISP發(fā)展中引入大模型技術(shù)，促進AI-ISP技術(shù)發(fā)展。愛芯智眸AI-ISP的強大性能背后，離不開自研愛芯通元NPU的有力支撐。

高效能計算

愛芯通元NPU能夠同時支持多種數(shù)據(jù)精度（如FP16、INT4、INT8、BF16等），對于不同類型的計算任務(wù)或模型層選擇最合適的精度進行處理。在保證模型精度的前提下，大幅降低功耗和發(fā)熱量，這對于嵌入式或移動設(shè)備中的AI-ISP來說尤為重要，有助于延長電池續(xù)航和提高系統(tǒng)整體能效。

加速推理速度

愛芯通元NPU通過在不同精度級別上分配計算任務(wù)，可以進一步提升硬件利用率和計算吞吐量，縮短AI-ISP在圖像信號處理中的推理時間，實現(xiàn)實時或近實時的圖像分析和理解。

內(nèi)存帶寬優(yōu)化

采用的混合精度計算減少了數(shù)據(jù)傳輸量，特別是在內(nèi)存訪問密集的操作中，低精度數(shù)據(jù)占用的存儲空間較小，有助于緩解內(nèi)存帶寬壓力，減少數(shù)據(jù)搬移時間，從而突破內(nèi)存墻限制。這對于AI-ISP處理高分辨率、高幀率的視頻流或連續(xù)的圖像傳感器數(shù)據(jù)時，能夠有效降低延遲，提升整體系統(tǒng)的響應(yīng)速度。

精準性能權(quán)衡

愛芯通元NPU允許在推理過程中根據(jù)任務(wù)特性和模型層的重要性動態(tài)調(diào)整精度。對于對精度要求較高的關(guān)鍵層，可以使用較高精度（如FP16）以保持精確的特征表達；而對于對精度要求相對較低的層或計算步驟，可以使用低精度（如INT8）來加速處理。這種靈活性使得AI-ISP能夠在圖像處理鏈路的不同階段靈活分配計算資源，實現(xiàn)性能與精度之間的最佳平衡。

系統(tǒng)級集成

愛芯通元NPU直接集成了AI-ISP所需的關(guān)鍵功能，如圖像預(yù)處理、噪聲抑制、色彩校正等，這些功能可以利用NPU的硬件加速特性高效執(zhí)行，減少對外部CPU或GPU的依賴。這樣的集成設(shè)計簡化了系統(tǒng)架構(gòu)，降低了數(shù)據(jù)在不同處理單元之間傳輸?shù)拈_銷，提高了整體系統(tǒng)的集成度和效率。

適應(yīng)性強

愛芯通元NPU支持模型的混合精度訓(xùn)練，使得原本在高精度下訓(xùn)練的模型可以經(jīng)過量化后在低精度模式下運行，無需重新訓(xùn)練或微調(diào)即可遷移到AI-ISP中。這種特性增強了AI-ISP對各類預(yù)訓(xùn)練模型的兼容性，便于快速部署和更新算法，適應(yīng)不斷演進的AI視覺應(yīng)用需求。

愛芯智眸AI-ISP - 降噪

愛芯智眸AI-ISP - 寬動態(tài)、高光抑制

愛芯智眸AI-ISP - 夜間運動車身細節(jié)

通過集成高性能、低功耗的NPU，愛芯智眸AI-ISP能夠在不依賴DDR內(nèi)存、保持低延遲和低功耗的前提下，高效執(zhí)行復(fù)雜的ISP任務(wù),顯著提升了圖像信號處理的效率、準確性和能效，助力實現(xiàn)從圖像采集到高級視覺理解的無縫銜接和實時響應(yīng)，尤其是NPU的可編程性，使其能夠靈活適應(yīng)不斷發(fā)展的AI網(wǎng)絡(luò)模型，確保持續(xù)提供出色的性能表現(xiàn)。

前瞻布局，擁抱大模型時代

隨著人工智能步入以大模型為核心的新紀元，愛芯元智憑借其深邃的行業(yè)洞察力與前瞻性的戰(zhàn)略視野，積極順應(yīng)這一變革浪潮。事實上，在三年前愛芯元智擘畫芯片藍圖之際，便已精準預(yù)見到大模型將重塑AI行業(yè)的未來格局。為此，在設(shè)計之初就確保芯片原生支持Transformer，無縫對接AIPC時代，從而確保在瞬息萬變的市場環(huán)境中迅速占得先機。

源于圖像處理對實時性、可靠性和隱私保護的高要求，使得AI必然從云端逐步下沉至端側(cè)邊緣側(cè)，這對端側(cè)計算能力提出了前所未有的高標準。愛芯元智的第三代、第四代芯片已搭載愛芯通元混合精度NPU，全面支持Transformer大模型的部署，確保在有限的硬件資源下實現(xiàn)復(fù)雜模型的本地化運行。不僅如此，愛芯元智還在積極探索如何借助大模型進一步提升AI-ISP的成像效果，從而在大模型時代的競爭中持續(xù)保持創(chuàng)新領(lǐng)先優(yōu)勢。

大模型家族

開放合作，共建個性化解決方案

愛芯元智的前端IPC芯片，已成功移植并優(yōu)化了市場上主流且廣泛應(yīng)用的各類算法，實現(xiàn)了與后端芯片的無縫對接，并與成熟的算法廠商深度合作，通過持續(xù)推動成熟、商業(yè)價值顯著的算法適配，打造出既易于復(fù)制，又能迅速部署到各行業(yè)的解決方案。

愛芯元智還提供一系列與ISP緊密相關(guān)的算法支持，適配多種AI碎片化場景，包括：人車非檢測、客流統(tǒng)計、摔倒檢測、煙火檢測、高空拋物檢測、電動車進電梯檢測、安全帽檢測、垃圾堆檢測、遛狗牽繩等等，助力合作伙伴快速實現(xiàn)產(chǎn)品差異化與市場競爭力。

愛芯元智期待與更多算法廠商、硬件方案商及系統(tǒng)集成商等生態(tài)伙伴合作，共建開放、多方共贏的算法生態(tài)，共同打造普惠AI，造就美好生活。

審核編輯：劉清