RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

達(dá)芬奇架構(gòu)的優(yōu)勢(shì)

姚小熊27 ? 來(lái)源:lw ? 作者:新浪科技 ? 2019-09-09 11:54 ? 次閱讀

2019年6月,華為發(fā)布全新8系列手機(jī)SoC芯片麒麟810,首次采用華為自研達(dá)芬奇架構(gòu)NPU,實(shí)現(xiàn)業(yè)界領(lǐng)先端側(cè)AI算力,在業(yè)界公認(rèn)的蘇黎世聯(lián)邦理工學(xué)院推出的AI Benchmark榜單中,搭載麒麟810的手機(jī)霸榜TOP3,堪稱華為AI芯片的“秘密武器”,這其中華為自研的達(dá)芬奇架構(gòu)舉足輕重。那么,達(dá)芬奇架構(gòu)AI實(shí)力究竟怎么樣?一起來(lái)深入了解下。

源起:為什么要做達(dá)芬奇架構(gòu)?

華為預(yù)測(cè),到2025年全球的智能終端數(shù)量將會(huì)達(dá)到400億臺(tái),智能助理的普及率將達(dá)到90%,企業(yè)數(shù)據(jù)的使用率將達(dá)到86%??梢灶A(yù)見(jiàn),在不久的將來(lái),AI將作為一項(xiàng)通用技術(shù)極大地提高生產(chǎn)力,改變每個(gè)組織和每個(gè)行業(yè)?;谶@樣的愿景,華為在2018全聯(lián)接大會(huì)上提出全棧全場(chǎng)景AI戰(zhàn)略。作為重要的技術(shù)基礎(chǔ),AI芯片在其中發(fā)揮著重要作用,而華為也基于AI芯片提供了完整的解決方案,加速使能AI產(chǎn)業(yè)化。

為了實(shí)現(xiàn)AI在多平臺(tái)多場(chǎng)景之間的協(xié)同,華為創(chuàng)新設(shè)計(jì)達(dá)芬奇計(jì)算架構(gòu),在不同體積和功耗條件下提供強(qiáng)勁的AI算力。

初見(jiàn):達(dá)芬奇架構(gòu)的核心優(yōu)勢(shì)

達(dá)芬奇架構(gòu),是華為自研的面向AI計(jì)算特征的全新計(jì)算架構(gòu),具備高算力、高能效、靈活可裁剪的特性,是實(shí)現(xiàn)萬(wàn)物智能的重要基礎(chǔ)。具體來(lái)說(shuō),達(dá)芬奇架構(gòu)采用3D Cube針對(duì)矩陣運(yùn)算做加速,大幅提升單位功耗下的AI算力,每個(gè)AI Core可以在一個(gè)時(shí)鐘周期內(nèi)實(shí)現(xiàn)4096個(gè)MAC操作,相比傳統(tǒng)的CPUGPU實(shí)現(xiàn)數(shù)量級(jí)的提升。

同時(shí),為了提升AI計(jì)算的完備性和不同場(chǎng)景的計(jì)算效率,達(dá)芬奇架構(gòu)還集成了向量、標(biāo)量、硬件加速器等多種計(jì)算單元。同時(shí)支持多種精度計(jì)算,支撐訓(xùn)練和推理兩種場(chǎng)景的數(shù)據(jù)精度要求,實(shí)現(xiàn)AI的全場(chǎng)景需求覆蓋。 深耕:達(dá)芬奇架構(gòu)的AI硬實(shí)力

科普1:常見(jiàn)的AI運(yùn)算類型有哪些?在了解達(dá)芬奇架構(gòu)的技術(shù)之前,我們先來(lái)弄清楚一下幾種AI運(yùn)算數(shù)據(jù)對(duì)象:

標(biāo)量(Scalar):由單獨(dú)一個(gè)數(shù)組成

向量(Vector):由一組一維有序數(shù)組成,每個(gè)數(shù)由一個(gè)索引(index)標(biāo)識(shí)

矩陣(Matrix):由一組二維有序數(shù)組成,每個(gè)數(shù)由兩個(gè)索引(index)標(biāo)識(shí)

張量(Tensor):由一組n維有序數(shù)組成,每個(gè)數(shù)由n個(gè)索引(index)標(biāo)識(shí)

其中,AI計(jì)算的核心是矩陣乘法運(yùn)算,計(jì)算時(shí)由左矩陣的一行和右矩陣的一列相乘,每個(gè)元素相乘之后的和輸出到結(jié)果矩陣。在此計(jì)算過(guò)程中,標(biāo)量(Scalar)、向量(Vector)、矩陣(Matrix)算力密度依次增加,對(duì)硬件的AI運(yùn)算能力不斷提出更高要求。 典型的神經(jīng)網(wǎng)絡(luò)模型計(jì)算量都非常大,這其中99%的計(jì)算都需要用到矩陣乘,也就是說(shuō),如果提高矩陣乘的運(yùn)算效率,就能最大程度上提升AI算力——這也是達(dá)芬奇架構(gòu)設(shè)計(jì)的核心:以最小的計(jì)算代價(jià)增加矩陣乘的算力,實(shí)現(xiàn)更高的AI能效。 科普2:各單元角色分工揭秘,Da Vinci Core是如何實(shí)現(xiàn)高效AI計(jì)算的?在2018年全聯(lián)接大會(huì)上,華為推出AI芯片Ascend 310(昇騰310),這是達(dá)芬奇架構(gòu)的首次亮相,Ascend 310相當(dāng)于AI芯片中的NPU。

其中,Da Vinci Core只是NPU的一個(gè)部分,Da Vinci Core內(nèi)部還細(xì)分成很多單元,包括核心的3D Cube、Vector向量計(jì)算單元、Scalar標(biāo)量計(jì)算單元等,它們各自負(fù)責(zé)不同的運(yùn)算任務(wù)實(shí)現(xiàn)并行化計(jì)算模型,共同保障AI計(jì)算的高效處理。

3D Cube矩陣乘法單元:算力擔(dān)當(dāng)

剛才已經(jīng)提到,矩陣乘是AI計(jì)算的核心,這部分運(yùn)算由3D Cube完成,Buffer L0A、L0B、L0C則用于存儲(chǔ)輸入矩陣和輸出矩陣數(shù)據(jù),負(fù)責(zé)向Cube計(jì)算單元輸送數(shù)據(jù)和存放計(jì)算結(jié)果。

Vector向量計(jì)算單元:靈活的多面手

雖然Cube的算力很強(qiáng)大,但只能完成矩陣乘運(yùn)算,還有很多計(jì)算類型要依靠Vector向量計(jì)算單元來(lái)完成。Vector的指令相對(duì)來(lái)說(shuō)非常豐富,可以覆蓋各種基本的計(jì)算類型和許多定制的計(jì)算類型。

Scalar標(biāo)量計(jì)算單元:流程控制的管家

Scalar標(biāo)量運(yùn)算單元主要負(fù)責(zé)AI Core的標(biāo)量運(yùn)算,功能上可以看作一個(gè)小CPU,完成整個(gè)程序的循環(huán)控制,分支判斷,Cube、Vector等指令的地址和參數(shù)計(jì)算以及基本的算術(shù)運(yùn)算等。 科普3:3D Cube計(jì)算方式的獨(dú)特優(yōu)勢(shì)是什么?不同于以往的標(biāo)量、矢量運(yùn)算模式,華為達(dá)芬奇架構(gòu)以高性能3D Cube計(jì)算引擎為基礎(chǔ),針對(duì)矩陣運(yùn)算進(jìn)行加速,大幅提高單位面積下的AI算力,充分激發(fā)端側(cè)AI的運(yùn)算潛能。以兩個(gè)N*N的矩陣A*B乘法為例:如果是N個(gè)1D 的MAC,需要N^2(即N的2次方)的cycle數(shù);如果是1個(gè)N^2的2D MAC陣列,需要N個(gè)Cycle;如果是1個(gè)N維3D的Cube,只需要1個(gè)Cycle。

圖中計(jì)算單元的數(shù)量只是示意,實(shí)際可靈活設(shè)計(jì)

華為創(chuàng)新設(shè)計(jì)的達(dá)芬奇架構(gòu)將大幅提升算力,16*16*16的3D Cube能夠顯著提升數(shù)據(jù)利用率,縮短運(yùn)算周期,實(shí)現(xiàn)更快更強(qiáng)的AI運(yùn)算。這是什么意思呢?舉例來(lái)說(shuō),同樣是完成4096次運(yùn)算,2D結(jié)構(gòu)需要64行*64列才能計(jì)算,3D Cube只需要16*16*16的結(jié)構(gòu)就能算出。其中,64*64結(jié)構(gòu)帶來(lái)的問(wèn)題是:運(yùn)算周期長(zhǎng)、時(shí)延高、利用率低。 達(dá)芬奇架構(gòu)的這一特性也完美體現(xiàn)在麒麟810上。作為首款采用達(dá)芬奇架構(gòu)NPU的手機(jī)SoC芯片,麒麟810實(shí)現(xiàn)強(qiáng)勁的AI算力,在單位面積上實(shí)現(xiàn)最佳能效,F(xiàn)P16精度和INT8量化精度業(yè)界領(lǐng)先,搭載這款SoC芯片的華為Nova 5、Nova 5i Pro及榮耀9X手機(jī)已上市,為廣大消費(fèi)者提供多種精彩的AI應(yīng)用體驗(yàn)。 同時(shí),麒麟810再度賦能HiAI生態(tài),支持自研中間算子格式IR開(kāi)放,算子數(shù)量多達(dá)240+,處于業(yè)內(nèi)領(lǐng)先水平。更多算子、開(kāi)源框架的支持以及提供更加完備的工具鏈將助力開(kāi)發(fā)者快速轉(zhuǎn)換集成基于不同AI框架開(kāi)發(fā)出的模型,極大地增強(qiáng)了華為HiAI移動(dòng)計(jì)算平臺(tái)的兼容性、易用性,提高開(kāi)發(fā)者的效率,節(jié)約時(shí)間成本,加速更多AI應(yīng)用的落地。

預(yù)見(jiàn):達(dá)芬奇架構(gòu)解鎖AI無(wú)限可能

基于靈活可擴(kuò)展的特性,達(dá)芬奇架構(gòu)能夠滿足端側(cè)、邊緣側(cè)及云端的應(yīng)用場(chǎng)景,可用于小到幾十毫瓦,大到幾百瓦的訓(xùn)練場(chǎng)景,橫跨全場(chǎng)景提供最優(yōu)算力。

以Ascend芯片為例,Ascend-Nano可以用于耳機(jī)電話等IoT設(shè)備的使用場(chǎng)景;Ascend-Tiny和Ascend-Lite用于智能手機(jī)的AI運(yùn)算處理;在筆記本電腦等算力需求更高的便攜設(shè)備上,由Ascend 310(Ascend-Mini)提供算力支持;而邊緣側(cè)服務(wù)器上則需要由Multi-Ascend 310完成AI計(jì)算;至于超復(fù)雜的云端數(shù)據(jù)運(yùn)算處理,則交由算力最高可達(dá)256 TFLOPS@FP16的Ascend 910(Ascend-Max)來(lái)完成。正是由于達(dá)芬奇架構(gòu)靈活可裁剪、高能效的特性,才能實(shí)現(xiàn)對(duì)上述多種復(fù)雜場(chǎng)景的AI運(yùn)算處理。 同時(shí),選擇開(kāi)發(fā)統(tǒng)一架構(gòu)也是一個(gè)非常關(guān)鍵的決策。統(tǒng)一架構(gòu)優(yōu)勢(shì)很明顯,那就是對(duì)廣大開(kāi)發(fā)者非常利好?;谶_(dá)芬奇架構(gòu)的統(tǒng)一性,開(kāi)發(fā)者在面對(duì)云端、邊緣側(cè)、端側(cè)等全場(chǎng)景應(yīng)用開(kāi)發(fā)時(shí),只需要進(jìn)行一次算子開(kāi)發(fā)和調(diào)試,就可以應(yīng)用于不同平臺(tái),大幅降低了遷移成本。不僅開(kāi)發(fā)平臺(tái)語(yǔ)言統(tǒng)一,訓(xùn)練和推理框架也是統(tǒng)一的,開(kāi)發(fā)者可以將大量訓(xùn)練模型放在本地和云端服務(wù)器,再將輕量級(jí)的推理工作放在移動(dòng)端設(shè)備上,獲得一致的開(kāi)發(fā)體驗(yàn)。

在算力和技術(shù)得到突破性提升后,AI將廣泛應(yīng)用于智慧城市、自動(dòng)駕駛、智慧新零售、機(jī)器人、工業(yè)制造、云計(jì)算AI服務(wù)等場(chǎng)景。華為輪值董事長(zhǎng)徐直軍在2018華為全聯(lián)接大會(huì)上表示,“全場(chǎng)景意味著可以實(shí)現(xiàn)智能無(wú)所不及,全棧意味著華為有能力為AI應(yīng)用開(kāi)發(fā)者提供強(qiáng)大的算力和應(yīng)用開(kāi)發(fā)平臺(tái);有能力提供大家用得起、用得好、用得放心的AI,實(shí)現(xiàn)普惠AI”。 未來(lái),AI將應(yīng)用更加廣泛的領(lǐng)域,并逐漸覆蓋至生活的方方面面。達(dá)芬奇架構(gòu)作為AI運(yùn)算的重要技術(shù)基礎(chǔ),將持續(xù)賦能AI應(yīng)用探索,為各行各業(yè)的AI應(yīng)用場(chǎng)景提供澎湃算力。

8月23日,采用達(dá)芬奇架構(gòu)的又一款“巨無(wú)霸”將正式商用發(fā)布,這就是最新款的AI芯片Ascend 910,同時(shí)與之配套的新一代AI開(kāi)源計(jì)算框架MindSpore也將同時(shí)亮相

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 智能
    +關(guān)注

    關(guān)注

    8

    文章

    1709

    瀏覽量

    117487
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    《算力芯片 高性能 CPUGPUNPU 微架構(gòu)分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    昇騰采用達(dá)芬奇架構(gòu),在AI Core中集成了標(biāo)量/向量/張量處理單元。我注意到書(shū)中對(duì)TPU v4光學(xué)芯片互聯(lián)的分析特別深入,這種創(chuàng)新或?qū)⒅厮芪磥?lái)AI集群的架構(gòu)范式。中國(guó)古語(yǔ)云\"大道至簡(jiǎn)
    發(fā)表于 11-24 17:12

    架構(gòu)與設(shè)計(jì) 常見(jiàn)微服務(wù)分層架構(gòu)的區(qū)別和落地實(shí)踐

    前言 從強(qiáng)調(diào)內(nèi)外隔離的六邊形架構(gòu),逐漸發(fā)展衍生出的層層遞進(jìn)、注重領(lǐng)域模型的洋蔥架構(gòu),再到和DDD完美契合的整潔架構(gòu)架構(gòu)風(fēng)格的不斷演進(jìn),其實(shí)就是為了適應(yīng)軟件需求越來(lái)越復(fù)雜的特點(diǎn)。 可以
    的頭像 發(fā)表于 10-22 15:34 ?213次閱讀
    <b class='flag-5'>架構(gòu)</b>與設(shè)計(jì) 常見(jiàn)微服務(wù)分層<b class='flag-5'>架構(gòu)</b>的區(qū)別和落地實(shí)踐

    Zonal架構(gòu)在SDV中的主要優(yōu)勢(shì)

    隨著軟件定義汽車 (SDV) 的日益普及,Zonal架構(gòu)也在不斷發(fā)展。從提高效率到實(shí)現(xiàn)無(wú)縫擴(kuò)展,這種專門(mén)針對(duì)特定功能的模塊化架構(gòu)有望解鎖SDV的核心優(yōu)勢(shì)。不過(guò),雖然實(shí)施Zonal架構(gòu)
    的頭像 發(fā)表于 10-21 15:31 ?264次閱讀

    RISC-V架構(gòu)在物聯(lián)網(wǎng)中有什么特別的優(yōu)勢(shì)嗎?

    RISC-V架構(gòu)在物聯(lián)網(wǎng)中有什么特別的優(yōu)勢(shì)嗎?想咨詢一下使用做個(gè)實(shí)際項(xiàng)目的壇友,講解一下。
    發(fā)表于 10-12 22:17

    就服務(wù)器而言,ARM架構(gòu)與X86架構(gòu)有什么區(qū)別?各自的優(yōu)勢(shì)在哪里?

    ,x86 架構(gòu)服務(wù)器在市場(chǎng)占主導(dǎo),有強(qiáng)大處理能力和廣泛軟件兼容性,廣泛用于企業(yè)數(shù)據(jù)中心。ARM 架構(gòu)服務(wù)器近年崛起,憑借低功耗、高效能優(yōu)勢(shì)在云計(jì)算和微服務(wù)領(lǐng)域及嵌入式系統(tǒng)和物聯(lián)網(wǎng)設(shè)備中有廣泛應(yīng)用??傊?,兩種
    的頭像 發(fā)表于 09-09 14:05 ?1719次閱讀

    GPU云服務(wù)器架構(gòu)解析及應(yīng)用優(yōu)勢(shì)

    GPU云服務(wù)器作為一種高性能計(jì)算資源,近年來(lái)在人工智能、大數(shù)據(jù)分析、圖形渲染等領(lǐng)域得到了廣泛應(yīng)用。它結(jié)合了云計(jì)算的靈活性與GPU的強(qiáng)大計(jì)算能力,為企業(yè)和個(gè)人用戶提供了一種高效、便捷的計(jì)算解決方案。下面我們將從架構(gòu)解析和技術(shù)優(yōu)勢(shì)兩個(gè)方面來(lái)詳細(xì)了解GPU云服務(wù)器。
    的頭像 發(fā)表于 08-14 09:43 ?380次閱讀

    探秘四大主流芯片架構(gòu):誰(shuí)將主宰未來(lái)科技?

    在科技日新月異的今天,芯片作為現(xiàn)代電子設(shè)備的心臟,其架構(gòu)的選擇與設(shè)計(jì)顯得尤為重要。目前市場(chǎng)上主流的芯片架構(gòu)有四種:X86、ARM、RISC-V和MIPS。它們各具特色,廣泛應(yīng)用于各種電子設(shè)備中。本文將詳細(xì)剖析這四大主流芯片架構(gòu)
    的頭像 發(fā)表于 07-31 11:15 ?2653次閱讀
    探秘四大主流芯片<b class='flag-5'>架構(gòu)</b>:誰(shuí)將主宰未來(lái)科技?

    淺析RISC-V領(lǐng)先ARM的優(yōu)勢(shì)

    RISC-V相對(duì)于ARM的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面: 開(kāi)源與免費(fèi): RISC-V是一個(gè)完全開(kāi)源的指令集架構(gòu)(ISA),其規(guī)范公開(kāi)且可以免費(fèi)使用。這意味著任何人都可以基于RISC-V設(shè)計(jì)、制造和銷售
    發(fā)表于 06-27 08:45

    MySQL的整體邏輯架構(gòu)

    支持多種存儲(chǔ)引擎是眾所周知的MySQL特性,也是MySQL架構(gòu)的關(guān)鍵優(yōu)勢(shì)之一。如果能夠理解MySQL Server與存儲(chǔ)引擎之間是怎樣通過(guò)API交互的,將大大有利于理解MySQL的核心基礎(chǔ)架構(gòu)。
    的頭像 發(fā)表于 04-30 11:14 ?446次閱讀
    MySQL的整體邏輯<b class='flag-5'>架構(gòu)</b>

    ARM-based相比ARM cortex有何優(yōu)勢(shì)

    你看好ARM-based架構(gòu)嗎 相比ARM cortex有何優(yōu)勢(shì) ARM其他還有什么架構(gòu)啊,感覺(jué)曝光的好少。。
    發(fā)表于 04-24 06:55

    多核架構(gòu)高性能電機(jī)控制芯片

    基于傳統(tǒng)單核架構(gòu)的電機(jī)控制芯片已無(wú)法應(yīng)對(duì)新出現(xiàn)的嚴(yán)峻挑戰(zhàn),多核架構(gòu)的控制芯片應(yīng)運(yùn)而生。雙核架構(gòu)芯片已在許多領(lǐng)域成功應(yīng)用,并顯示出其獨(dú)特的優(yōu)勢(shì),可以利用無(wú)傳感器技術(shù)實(shí)現(xiàn)高性能的電機(jī)控制模
    的頭像 發(fā)表于 04-19 14:46 ?8337次閱讀
    多核<b class='flag-5'>架構(gòu)</b>高性能電機(jī)控制芯片

    廁所里的小達(dá)芬奇:智能馬桶電路板

    智能馬桶電路板是一種集成了各種傳感器、控制器和通信模塊的電路板,用于控制和監(jiān)測(cè)智能馬桶的各種功能。這些功能可能包括自動(dòng)沖洗、座圈加熱、噴灑清潔劑等。今天捷多邦小編就與大家聊聊智能馬桶電路板~ 智能馬桶電路板通過(guò)接收傳感器的輸入數(shù)據(jù),并根據(jù)預(yù)設(shè)的程序和用戶需求執(zhí)行相應(yīng)的操作,從而提高馬桶的舒適性、衛(wèi)生性和節(jié)能性。 如果智能馬桶電路板壞了,以下是一些可能的解決方案: 1.檢查電源和連接:確保智能馬桶的電源連接正
    的頭像 發(fā)表于 04-18 17:40 ?1085次閱讀

    處理器多架構(gòu)部署的優(yōu)勢(shì)有哪些?

    Web 服務(wù)器、搜索引擎和內(nèi)容管理系統(tǒng)等位于企業(yè)云基礎(chǔ)設(shè)施前端的應(yīng)用程序,是引入可擴(kuò)展、高能效 arm64 架構(gòu)的理想對(duì)象。
    發(fā)表于 03-15 14:39 ?418次閱讀
    處理器多<b class='flag-5'>架構(gòu)</b>部署的<b class='flag-5'>優(yōu)勢(shì)</b>有哪些?

    【RISC-V開(kāi)放架構(gòu)設(shè)計(jì)之道|閱讀體驗(yàn)】一本別出心裁的RISC-V架構(gòu)之書(shū)(第一章)

    的計(jì)算機(jī)體系架構(gòu)專 別出心裁地按照RISC-V模塊化的指令來(lái)組織內(nèi)容 對(duì)比x86、ARM 和MIPS 的設(shè)計(jì),通過(guò)對(duì)比分析,突顯RISC-V 的優(yōu)勢(shì) 可以作為從業(yè)者隨時(shí)翻閱的案頭參考書(shū) 開(kāi)頭的蒙娜麗莎像讓
    發(fā)表于 01-24 19:06

    達(dá)芬奇手術(shù)機(jī)器人的應(yīng)用領(lǐng)域

    達(dá)芬奇手術(shù)機(jī)器人(da Vinci Surgical System)是一種通過(guò)運(yùn)用機(jī)器人技術(shù)來(lái)進(jìn)行微創(chuàng)手術(shù)的先進(jìn)設(shè)備。該機(jī)器人系統(tǒng)于2000年首次獲得美國(guó)食品藥品監(jiān)督管理局(FDA)的批準(zhǔn),至今已被
    的頭像 發(fā)表于 01-11 09:16 ?1842次閱讀
    RM新时代网站-首页