在音樂(lè)史上，很多樂(lè)章都以極快的節(jié)奏，以及對(duì)演奏者超高的要求而聞名。比如李斯特的《大加洛普舞曲》S.219，就以擁有非常多的半音階而著名，被譽(yù)為用手指跳的芭蕾舞。想要出色地完成它，樂(lè)手就必須雙手緊密配合，實(shí)現(xiàn)速度與精巧的極致平衡。

對(duì)應(yīng)到科技領(lǐng)域，我們會(huì)發(fā)現(xiàn)很多科技創(chuàng)新也依賴這樣高速且精致的協(xié)作，尤其在芯片領(lǐng)域更是如此。軟硬件之間的協(xié)同，架構(gòu)邏輯的協(xié)調(diào)，不同硬件之間的協(xié)作，就像是一首節(jié)奏輕快的鋼琴曲。

這些協(xié)作，讓硬件的能力被充分釋放，讓不同產(chǎn)品之間產(chǎn)生差異化，讓消費(fèi)者最終得到期待的體驗(yàn)?！白匝行酒笔侨缃?a href="http://hljzzgx.com/v/tag/107/" target="_blank">手機(jī)市場(chǎng)中的關(guān)鍵詞。vivo X80系列采用了天璣9000和自研V1+芯片的組合，被認(rèn)為是這一趨勢(shì)的開(kāi)局之作。在V1+的基礎(chǔ)上，雙芯格局還能彈奏出怎樣的樂(lè)章？雙芯還能給消費(fèi)者帶來(lái)哪些悅耳的音色？答案似乎已經(jīng)呼之欲出。

10月24日，vivo舉辦了影像戰(zhàn)略發(fā)布會(huì)。期間，vivo對(duì)外發(fā)布了全新的AI-ISP芯片架構(gòu)。有理由相信，新的ISP技術(shù)架構(gòu)將成為vivo自研芯片道路上的關(guān)鍵一環(huán)?；?qū)⒊蔀榻酉聛?lái)的V2芯片，乃至全新旗艦機(jī)的技術(shù)護(hù)城河。

什么是AI-ISP架構(gòu)？它又將為雙芯方案帶來(lái)哪些挑戰(zhàn)？最終為消費(fèi)者帶來(lái)哪些價(jià)值？

讓我們從AI-ISP的“音符”說(shuō)起，一起來(lái)看看vivo是怎么把雙芯片這首《大加洛普舞曲》，彈出獨(dú)屬于自己的旋律。

音符：AI-ISP帶來(lái)的澎湃之聲

對(duì)于消費(fèi)者而言，他會(huì)反復(fù)關(guān)注芯片這個(gè)手機(jī)最底層硬件，是因?yàn)槠渲苯記Q定著大量手機(jī)體驗(yàn)。

在手機(jī)芯片端，ISP起到了對(duì)成像輸入質(zhì)量進(jìn)行提升，矯正陰影、校對(duì)顏色，并且完成一系列影像降噪、動(dòng)態(tài)范圍調(diào)整的任務(wù)?？梢哉f(shuō)ISP是確保手機(jī)影像能力的關(guān)鍵一環(huán)。

而vivo采取的獨(dú)立ISP芯片戰(zhàn)略，可以通過(guò)將大量影像算法封裝到自研芯片中，針對(duì)性一系列主SoC芯片不易覆蓋的影像任務(wù)，從而提升用戶的影像體驗(yàn)。

什么是AI-ISP？

AI-ISP架構(gòu)，可以說(shuō)是將ISP獨(dú)立芯片的能力進(jìn)行了全面升級(jí)，完成了跨越式的技術(shù)迭代。傳統(tǒng)的ISP，主要任務(wù)是批量處理影像數(shù)據(jù)。但其提升方案是相對(duì)固定、模式化的。但在消費(fèi)者對(duì)影像質(zhì)量有了更復(fù)雜、更嚴(yán)苛要求的今天，僅僅提供這樣的影像提升能力顯然是不夠的。

幾年以來(lái)，AI+影像成為了新的解題思路。AI算法可以智能化識(shí)別影像任務(wù)，從而提供更加復(fù)雜，更具差異化與個(gè)性化的影像提升方案。而AI能力的加入帶來(lái)一個(gè)直接問(wèn)題，就是傳統(tǒng)的影像提升單元ISP并不具備AI算力。如果用傳統(tǒng)ISP來(lái)結(jié)合AI影像算法，可能帶來(lái)時(shí)延過(guò)大、能耗過(guò)高等問(wèn)題。

而剛剛亮相的AI-ISP架構(gòu)，可以說(shuō)結(jié)合了AI技術(shù)與ISP處理單元的優(yōu)勢(shì)，相當(dāng)于為ISP芯片加裝了AI大腦。從而可以通過(guò)硬件直聯(lián)的方式，將AI計(jì)算融入到ISP當(dāng)中，完成影像任務(wù)的無(wú)縫緩沖和處理。最終讓用戶感知到影像處理更加自然、精細(xì)，同時(shí)更多復(fù)雜的AI算法也可以融入到手機(jī)影像單元當(dāng)中。

AI-ISP彈奏出的這個(gè)澎湃音符背后，是一系列vivo在自研芯片領(lǐng)域的技術(shù)加持與能力升級(jí)。

樂(lè)譜：芯片架構(gòu)升級(jí)觸發(fā)的技術(shù)重構(gòu)

區(qū)別于以往的ISP架構(gòu)，vivo最新公布的AI-ISP架構(gòu)，實(shí)質(zhì)上是一系列芯片基礎(chǔ)能力的整體升級(jí)。在幾個(gè)關(guān)鍵領(lǐng)域，AI-ISP都采用了最新的自研技術(shù)。幾項(xiàng)能力的疊加，最終實(shí)現(xiàn)芯片在AI任務(wù)處理上有著更強(qiáng)的表現(xiàn)，同時(shí)可以更有效應(yīng)對(duì)游戲、影像任務(wù)的AI處理，升級(jí)雙芯片架構(gòu)在硬件封裝AI算法方面的優(yōu)勢(shì)。最終將這一系列技術(shù)價(jià)值，在影像側(cè)進(jìn)行直接的體現(xiàn)。

具體而言，AI-ISP架構(gòu)由三方面的技術(shù)能力組合而成。

突破性的內(nèi)存重構(gòu)

在內(nèi)存方面，AI-ISP架構(gòu)應(yīng)用了vivo自研的全新片上內(nèi)存單元，可以極大提升數(shù)據(jù)吞吐速率。相比于業(yè)內(nèi)常用的DDR架構(gòu)內(nèi)存單元，vivo的全新片上內(nèi)存采用了成本更高的DDR-Less架構(gòu)，從而可以有效解決傳統(tǒng)內(nèi)存高延遲、高功耗等一系列問(wèn)題。配合硬化在芯片中的超大SRAM，實(shí)現(xiàn)了運(yùn)算快、功耗低、延時(shí)低的特征，最終實(shí)現(xiàn)了數(shù)據(jù)吞吐速率高達(dá)1.3萬(wàn)億bit/s的能力提升。高效率、低功耗的內(nèi)存，是AI任務(wù)與影像處理能力結(jié)合的前提保障。

DLA帶來(lái)AI計(jì)算重構(gòu)

在至關(guān)重要的AI計(jì)算領(lǐng)域，vivo的AI-ISP架構(gòu)沒(méi)有選擇行業(yè)中通用的張量計(jì)算單元，而是選擇了更適合做復(fù)雜計(jì)算成像運(yùn)算的DLA加速器。

AI任務(wù)在運(yùn)算國(guó)產(chǎn)中需要大量的數(shù)據(jù)比較與數(shù)據(jù)擬合，從而帶來(lái)了一系列能效比方面的限制。采用DLA加速器的一大優(yōu)點(diǎn)，就是可以大幅減少了數(shù)據(jù)的訪問(wèn)延遲，從而確保AI任務(wù)的流暢運(yùn)行。同時(shí)，vivo還將封裝在芯片中的算法與DLA加速器進(jìn)行了聯(lián)合定制，實(shí)現(xiàn)軟硬件的協(xié)同優(yōu)化，使得內(nèi)核峰值能效達(dá)到16.3 Tops/w。最終獲得了AI算力方面的業(yè)界領(lǐng)先水平。

全新AI算法的加入

除此之外，vivo自研的ISP芯片還將加入全新的算法效果。比如新升級(jí)了AI-NR降噪算法、HDR影調(diào)融合（Tone mapping）、MEMC插幀算法等先進(jìn)的影像算法，可以更好滿足用戶在夜晚拍攝、動(dòng)態(tài)環(huán)境步驟等領(lǐng)域的影像需求。

其中，AI-NR降噪算法可以結(jié)合新的硬件能力，帶來(lái)更好的夜景畫面細(xì)節(jié)，提升了20%的夜景降噪效果；HDR影調(diào)融合（Tone mapping）算法可以配合電影級(jí)的3DLUTs色彩風(fēng)格，滿足專業(yè)用戶的一級(jí)整體調(diào)色、二級(jí)局部調(diào)色的需求。在城市夜景下動(dòng)態(tài)范圍理論最大提升4EV；MEMC插幀算法則可以改善延遲問(wèn)題。比如可以在1080p 60幀夜景視頻的拍攝中，在在感光能力和動(dòng)態(tài)范圍方面獲得升級(jí)。

據(jù)說(shuō)，在AI-ISP的加持下，用戶可以在下一代vivo旗艦機(jī)中，實(shí)現(xiàn)露營(yíng)燈光下拍到天空的星星。那一刻的浪漫，就是AI-ISP譜寫的小夜曲。

定音：等待V2芯片的芭蕾舞？

用戶最關(guān)心的問(wèn)題，肯定是我們究竟什么時(shí)候可以用到AI-ISP芯片架構(gòu)帶來(lái)的全新體驗(yàn)。從目前的爆料，以及vivo的新技術(shù)規(guī)律方面看，這個(gè)目標(biāo)應(yīng)該已經(jīng)不遠(yuǎn)。根據(jù)相關(guān)爆料，vivo即將在X90系列中全機(jī)型實(shí)裝自研芯片V2。作為新一代的vivo自研ISP芯片，V2就將采用AI-ISP的全新架構(gòu)，在影像、游戲顯示等方面帶來(lái)全新的用戶體驗(yàn)。

如果確實(shí)是這樣的話，我們將看到vivo在自研芯片的進(jìn)展非常迅猛，甚至可以說(shuō)是將自研芯片升級(jí)，保持在了與旗艦機(jī)迭代一致的頻率上。我們知道，硬件技術(shù)的迭代并沒(méi)有軟件技術(shù)那么容易。想要保持高頻率的硬件升級(jí)，不僅需要提前戰(zhàn)略規(guī)劃，預(yù)判技術(shù)發(fā)展方向，更需要在工程領(lǐng)域投入大量人力物力。如果AI-ISP架構(gòu)真的將在不久后通過(guò)V2芯片與用戶見(jiàn)面，那么vivo將必然要解決一個(gè)關(guān)鍵問(wèn)題：雙芯聯(lián)調(diào)。

雙芯聯(lián)調(diào)的“芭蕾”

近期以來(lái)，行業(yè)內(nèi)對(duì)于雙芯戰(zhàn)略有了越來(lái)越多的關(guān)注和討論，有一種聲音認(rèn)為，雙芯本身并不是特別新穎的技術(shù)思路，產(chǎn)業(yè)門檻也不高。

這種說(shuō)法有一定的合理性，但要看到的是，雙芯的真正難度在于兩顆芯片漫長(zhǎng)、艱苦，且充滿不確定性的聯(lián)合優(yōu)化。在雙芯格局成為定勢(shì)的環(huán)境下，雙芯聯(lián)調(diào)正在成為新的產(chǎn)業(yè)護(hù)城河。

客觀上看，雙芯架構(gòu)不僅可以提升手機(jī)的整體性能，還是廠商獲取產(chǎn)品差異化的一條關(guān)鍵賽道。通用SoC加劇的同質(zhì)化現(xiàn)象，在很大程度上可以被雙芯戰(zhàn)略所打破，而這也是消費(fèi)者非常喜聞樂(lè)見(jiàn)的。

既然雙芯有價(jià)值，并且門檻沒(méi)有想象中那么高，那么為什么vivo在這條賽道上取得了長(zhǎng)足領(lǐng)先呢？這里的關(guān)鍵就是雙芯聯(lián)調(diào)。

從AI-ISP架構(gòu)的能力表現(xiàn)上看，我們可以猜測(cè)，V2芯片在雙芯聯(lián)調(diào)上采取了更加靈活、先銳的策略。如果不能確保和SoC芯片達(dá)成非常精致的算力平衡、能力互補(bǔ)，V2芯片是不可能在算力與算法上采取如此大突破幅度的。

在聯(lián)合調(diào)優(yōu)方面，V2芯片還有很多故事可以發(fā)掘。就像再好的樂(lè)章，最終都需要指法和技巧來(lái)彈奏一樣。AI-ISP架構(gòu)的真正難點(diǎn)和不可替代性，在于大量細(xì)顆粒的聯(lián)合調(diào)優(yōu)工作作為支撐。

從AI-ISP架構(gòu)的推出與應(yīng)用，可以看出由vivo所探索、引領(lǐng)的雙芯之路，是一條必須不斷積累經(jīng)驗(yàn)、關(guān)注具體問(wèn)題的長(zhǎng)期主義之路。

用芯片彈奏《大加洛普舞曲》的秘密，就在于千百次去重復(fù)、實(shí)驗(yàn)每一個(gè)音符。慢慢來(lái)，才會(huì)比較快。