眾所周知,對于某些特定的應(yīng)用程序(如人工智能),換不同硬件平臺后性能會有顯著進(jìn)展。進(jìn)展取決于應(yīng)用程序可以使用專門的硬件加速而不是軟件運(yùn)行的多少,因?yàn)橛布梢员仍诓惶珜I(yè)的平臺上運(yùn)行的軟件更快,消耗的能量也更少。
如下圖,排在性能底端是通用cpu,應(yīng)用程序完全在軟件中,然后是GPU、FPGA、DSP,最高級的是定制芯片ASIC——比如谷歌TPU。
那么為什么不把每一個類似的解決方案都構(gòu)建為ASIC呢?有兩個原因,首先,底層算法可能正在快速變化(就像人工智能),其次,設(shè)計(jì)ASIC可能需要花費(fèi)大量時間,這就很難保證和快速變化的需求保持同步。你必須努力尋找比AI應(yīng)用(競爭對手:Facebook, 蘋果, 亞馬遜,谷歌,百度,阿里巴巴,騰訊,ADAS/自動駕駛供應(yīng)商)和數(shù)據(jù)中心(競爭對手:亞馬遜, 微軟,谷歌等)更具競爭力的市場。他們都在快速發(fā)展的贏家通吃的市場中工作。在這些領(lǐng)域,時間不僅僅是金錢,還意味著生存。
這就是為什么eSilicon將平臺方法引入目標(biāo)應(yīng)用的原因。這些ASIC平臺增加了針對AI應(yīng)用和數(shù)據(jù)中心網(wǎng)絡(luò)需求的庫和基礎(chǔ)設(shè)施。每一項(xiàng)都建立在7nm技術(shù)上,并作為一個整體優(yōu)化進(jìn)行PPA優(yōu)化,以滿足這些領(lǐng)域的具體需求。
讓我們從網(wǎng)絡(luò)平臺開始介紹。它提供了:
56G和112G的SerDes采用了56G的長范圍和短范圍架構(gòu),以非常高的數(shù)據(jù)速率支持許多通道,同時可以實(shí)現(xiàn)最低的功耗
TCAM內(nèi)存,用于加速路由查找、數(shù)據(jù)包分類、數(shù)據(jù)包轉(zhuǎn)發(fā)和ACL命令
PHY連接到包中的高帶寬內(nèi)存(HBM2)堆棧。值得注意的是,eSilicon在芯片和封裝級別的3D和2.5D系統(tǒng)構(gòu)建方面擁有豐富的經(jīng)驗(yàn),包括在模具和封裝級別。因此,系統(tǒng)包的解決方案變得非常簡單。
專為pseudo-2端口、pseudo-4端口等特定于應(yīng)用程序的內(nèi)存提供內(nèi)存/內(nèi)存編譯器,用更少的功耗和面積提供高帶寬,還有一系列I/O緩沖區(qū)。
人工智能平臺(又被稱為neuASIC)有點(diǎn)復(fù)雜。這里的目標(biāo)是首先提供您在標(biāo)準(zhǔn)SoC (CPU、本地SRAM、NoC互連、到外部內(nèi)存I/O緩沖區(qū)的接口)中期望的所有IP組件,這里稱為ASIC底座。神經(jīng)網(wǎng)絡(luò)(NN)部分的設(shè)計(jì)是在底座上方的堆疊層上實(shí)現(xiàn)的,與3D互連連接到AI層。同樣,這利用了eSilicon在3D封裝中的經(jīng)驗(yàn)。
如果您只是直接把您的人工智能架構(gòu)變成硬件,它將具有很好的PPA(Performance,Power,Area),但一旦競爭對手跳過您,您可能需要替換它(構(gòu)建一個新的ASIC)。neuASIC結(jié)構(gòu)經(jīng)過優(yōu)化,可以減少對算法更改的重新設(shè)計(jì)需求。首先,底座硬件應(yīng)該對NN算法的更改不敏感。接下來,人工智能層被分成塊。這種宏單元劃分要求即使NN算法改變,也要報紙底層硬件的耐久性,這要?dú)w功于NN設(shè)計(jì)的自然模塊化風(fēng)格。每個塊都是圍繞常用的宏AI函數(shù)構(gòu)建的,比如卷積或池函數(shù),有些是由eSilicon預(yù)先設(shè)計(jì)的,有些可能是第三方的,有些可能是由ASIC客戶設(shè)計(jì)的。
截至今年5月,neuASIC提供了一個包含MAC塊、卷積引擎和內(nèi)存轉(zhuǎn)置函數(shù)的庫,作為預(yù)先構(gòu)建的宏函數(shù)(它們將繼續(xù)工作),從而加速了常見NN結(jié)構(gòu)的組裝。因?yàn)閮?nèi)存和操作必須在NN中緊密地耦合以降低總功率,他們也為神經(jīng)元提供pseudo-4-port記憶支持(2神經(jīng)元數(shù)據(jù)輸入,1重量輸入,一個神經(jīng)元輸出)和一個專門記憶為weight-all-zero-power-saving(WAZPS)將零輸出較低的權(quán)力,如果權(quán)重為零,則在較低功率下降輸出歸零,這在具有稀疏權(quán)重矩陣的NN中很常見。
設(shè)計(jì)是通過一個他們稱為底座構(gòu)建器的建模系統(tǒng)來支持的,通過這個系統(tǒng)可以對NN的功能操作建模,同時還可以提取PPA估計(jì)值來指導(dǎo)優(yōu)化設(shè)計(jì)到您的目標(biāo)。
對于這兩個平臺,目標(biāo)都是提供一個快速的解決方案路徑,同時滿足您的PPA目標(biāo)。這樣做需要的不僅僅是一個標(biāo)準(zhǔn)的ASIC平臺。你需要能夠使用預(yù)定義的I/O環(huán),互連和高帶寬內(nèi)存訪問,您必須擁有的IP /宏原語,這些IP應(yīng)該一起優(yōu)化應(yīng)用程序,您必須能夠配置和描述你對PPA計(jì)劃型設(shè)計(jì)目標(biāo)。這些平臺看起來是一個良好的開端,也是在加速這些領(lǐng)域高性能、低功耗ASIC設(shè)計(jì)的長期前景。
-
asic
+關(guān)注
關(guān)注
34文章
1199瀏覽量
120434 -
人工智能
+關(guān)注
關(guān)注
1791文章
47183瀏覽量
238243 -
AI芯片
+關(guān)注
關(guān)注
17文章
1879瀏覽量
34990
原文標(biāo)題:3D封裝+SoC降低AI芯片門檻
文章出處:【微信號:SSDFans,微信公眾號:SSDFans】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論