RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

大算力芯片里的HBM,你了解多少?

貞光科技 ? 2023-12-05 16:14 ? 次閱讀

最近,隨著人工智能行業(yè)的高速崛起,大算力芯片業(yè)成為半導(dǎo)體行業(yè)為數(shù)不多的熱門領(lǐng)域

HBM (高寬帶內(nèi)存:High-bandwidth memory)作為大算力芯片里不可或缺的組成部分,也因此走入了行業(yè)內(nèi)外人士的視野

wKgaomVu29qAc42KAAT5uH-zMbE687.jpg

和傳統(tǒng)的GDDR相比,HBM不僅僅提供了更大的位數(shù)寬度,而且通過TSV和Interposer的連接方式,大幅降低了數(shù)據(jù)通訊上的能量損耗。這對(duì)于大算力芯片的性能效率提升是起到?jīng)Q定性作用的

如果GPU通過PCB板和傳統(tǒng)GDDR內(nèi)存交換數(shù)據(jù),那在高速運(yùn)算時(shí)其大多數(shù)的能耗都會(huì)消耗在數(shù)據(jù)通訊本身而非計(jì)算上。這對(duì)于能耗成本高企的AI模型訓(xùn)練來說是幾乎不可接受的

而采用HBM以后,通訊相關(guān)的能耗可以成倍降低,甚至有可能把能耗占比降到20%,甚至更低。所以目前AI相關(guān)的算力芯片都幾乎采用了HBM的技術(shù)方案。HBM的市場(chǎng)也隨之爆發(fā)(見下圖)

wKgZomVu29mAMxEIAAVMovWcDV8129.jpg

我趁這個(gè)熱度,也收集了不少資料好好學(xué)習(xí)了一下HBM相關(guān)的知識(shí)

HBM到目前為止基本發(fā)展了四代:

第一代和第二代的技術(shù)規(guī)范標(biāo)準(zhǔn)被定義在了JEDEC的JESD235里,后更新為JESD235A。HBM2相對(duì)于HBM1的區(qū)別是通道模式由原來的Legacy變成了Pseudo Channel:用兩個(gè)虛擬的64位通道等效成一個(gè)128位通道

后來在JESD235C和JESD235D里定義了HBM2E,較大幅度地提升了數(shù)據(jù)通訊能力等參數(shù)。行業(yè)里習(xí)慣把這個(gè)稱為第三代HBM

而JESD238開始定義的HBM3則被順延地稱為了第四代HBM。需要注意的是,這次JEDEC標(biāo)準(zhǔn)文檔的編號(hào)也從235改成了238

wKgaomVu29mAWxFzAAFhEZSBp8I183.jpg

和之前的版本相比,HBM3的最大變化是每個(gè)Stack的通道(Channel)數(shù)量從2個(gè)增加到了4個(gè),從而使得數(shù)據(jù)容量翻倍

后來在JEDEC的標(biāo)準(zhǔn)上,Micron、Hynix等制造商也分別推出了自己的增強(qiáng)型版本至于第五代的HBM4,目前JEDEC的標(biāo)準(zhǔn)還沒有正式推出。我在網(wǎng)上也只能找到一些簡(jiǎn)單的指標(biāo)數(shù)據(jù)作為參考

為了整理各個(gè)版本HBM的具體指標(biāo)參數(shù)和相關(guān)信息,我不僅下載了JEDEC的各個(gè)版本文檔,也參考不少其它的資料,然后收集整理了下面這個(gè)表格供大家參考?xì)g迎大家?guī)兔Υ_認(rèn),如果發(fā)現(xiàn)任何問題,請(qǐng)和我溝通或者在公眾號(hào)給我留言,謝謝了

wKgaomVu29qAFf0aAAft7E7AVtY562.jpg

注:轉(zhuǎn)載至 半導(dǎo)體綜研 文中觀點(diǎn)僅供分享交流,不代表貞光科技立場(chǎng),如涉及版權(quán)等問題,請(qǐng)您告知,我們將及時(shí)處理!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 芯片
    +關(guān)注

    關(guān)注

    455

    文章

    50714

    瀏覽量

    423131
  • 半導(dǎo)體
    +關(guān)注

    關(guān)注

    334

    文章

    27286

    瀏覽量

    218062
  • HBM
    HBM
    +關(guān)注

    關(guān)注

    0

    文章

    379

    瀏覽量

    14744
  • 算力芯片
    +關(guān)注

    關(guān)注

    0

    文章

    46

    瀏覽量

    4516
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    AI時(shí)代核心存HBM(上)

    HBM 等,他們雖然均使用相同的 DRAM 存儲(chǔ)單 元(DRAM Die),但其組成架構(gòu)功能不同,導(dǎo)致對(duì)應(yīng)的性能不同。手機(jī)、汽車、消費(fèi)類等 對(duì)低功耗要求高主要使用 LPDDR,服務(wù)器和 PC 端等有高傳輸、高密度要求則使用 DDR,圖 形處理及高
    的頭像 發(fā)表于 11-16 10:30 ?546次閱讀
    AI時(shí)代核心存<b class='flag-5'>力</b><b class='flag-5'>HBM</b>(上)

    基礎(chǔ)篇:從零開始了解

    即計(jì)算能力(Computing Power),狹義上指對(duì)數(shù)字問題的運(yùn)算能力,而廣義上指對(duì)輸入信息處理后實(shí)現(xiàn)結(jié)果輸出的一種能力。雖然處理的內(nèi)容不同,但處理過程的能力都可抽象為。比
    的頭像 發(fā)表于 11-15 14:22 ?535次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>基礎(chǔ)篇:從零開始<b class='flag-5'>了解</b><b class='flag-5'>算</b><b class='flag-5'>力</b>

    億鑄科技熊大鵬探討AI大芯片的挑戰(zhàn)與解決策略

    在SEMiBAY2024《HBM與存儲(chǔ)器技術(shù)與應(yīng)用論壇》上,億鑄科技的創(chuàng)始人、董事長(zhǎng)兼CEO熊大鵬博士發(fā)表了題為《超越極限:大芯片的技術(shù)挑戰(zhàn)與解決之道》的演講,深入剖析了AI大模型
    的頭像 發(fā)表于 10-25 11:52 ?379次閱讀

    芯片面臨的技術(shù)挑戰(zhàn)和解決策略

    在灣芯展SEMiBAY2024《HBM與存儲(chǔ)器技術(shù)與應(yīng)用論壇》上,億鑄科技創(chuàng)始人、董事長(zhǎng)兼CEO熊大鵬發(fā)表了題為《超越極限:大芯片面臨的技術(shù)挑戰(zhàn)和解決策略》的演講。
    的頭像 發(fā)表于 10-23 14:50 ?395次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--了解芯片CPU

    Computing)拓?fù)涫且环N特殊的 CPU設(shè)計(jì),其核心思想是將在儲(chǔ)器和運(yùn)算器緊密地結(jié)合在一起,使得計(jì)算操作可以在存儲(chǔ)器中進(jìn)行,從而大幅提高數(shù)據(jù)處理效率和性能。 通過章節(jié)學(xué)習(xí),可以看到芯片從組成設(shè)計(jì)上來說知識(shí)點(diǎn)還是蠻多的,
    發(fā)表于 10-20 12:03

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--全書概覽

    、GPU、NPU,給我們剖析了芯片的微架構(gòu)。書中有對(duì)芯片方案商處理器的講解,理論聯(lián)系實(shí)際,使讀者能更好理解
    發(fā)表于 10-15 22:08

    名單公布!【書籍評(píng)測(cè)活動(dòng)NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析

    試用評(píng)測(cè)資格! 前言 不知不覺中,我們來到一個(gè)計(jì)算機(jī)科學(xué)飛速發(fā)展的時(shí)代,手機(jī)和計(jì)算機(jī)中各類便捷的軟件已經(jīng)融入日常生活,在此背景下,硬件特別是強(qiáng)勁的芯片,對(duì)于軟件服務(wù)起到不可替代的支撐作用。
    發(fā)表于 09-02 10:09

    億鑄科技談大芯片面臨的技術(shù)挑戰(zhàn)和解決策略

    隨著人工智能技術(shù)的飛速發(fā)展,已成為推動(dòng)產(chǎn)業(yè)變革的關(guān)鍵力量,但大模型的快速發(fā)展,參數(shù)的爆發(fā),對(duì)于需求也提出了更高的要求,帶來了全新的挑戰(zhàn)。那大
    的頭像 發(fā)表于 08-07 10:03 ?739次閱讀

    力系列基礎(chǔ)篇——與計(jì)算機(jī)性能:解鎖超能力的神秘力量!

    在《力系列基礎(chǔ)篇——101:從零開始了解》中,相信各位粉絲初步
    的頭像 發(fā)表于 07-11 08:04 ?104次閱讀
    <b class='flag-5'>算</b>力系列基礎(chǔ)篇——<b class='flag-5'>算</b><b class='flag-5'>力</b>與計(jì)算機(jī)性能:解鎖超能力的神秘力量!

    商湯科技采購(gòu)40000顆英偉達(dá)芯片,縮小中美差距

    徐冰認(rèn)為,國(guó)產(chǎn)芯片崛起以及商品化帶來的投資價(jià)值,使中美差距有望逐步縮小。只要中國(guó)持續(xù)在
    的頭像 發(fā)表于 05-28 11:25 ?1229次閱讀

    揭秘芯片:為何它如此關(guān)鍵?

    在數(shù)字化時(shí)代,芯片作為電子設(shè)備的核心組件,其性能直接關(guān)系到設(shè)備的運(yùn)行速度和處理能力。而芯片,即其計(jì)算能力,更是衡量芯片性能的重要指標(biāo)。
    的頭像 發(fā)表于 05-09 08:27 ?1005次閱讀
    揭秘<b class='flag-5'>芯片</b><b class='flag-5'>算</b><b class='flag-5'>力</b>:為何它如此關(guān)鍵?

    力系列基礎(chǔ)篇——101:從零開始了解

    相信大家已經(jīng)感受到,我們正處在一個(gè)人工智能時(shí)代。如果要問在人工智能時(shí)代最重要的是什么?那必須是:!
    的頭像 發(fā)表于 04-24 08:05 ?1002次閱讀
    <b class='flag-5'>算</b>力系列基礎(chǔ)篇——<b class='flag-5'>算</b><b class='flag-5'>力</b>101:從零開始<b class='flag-5'>了解</b><b class='flag-5'>算</b><b class='flag-5'>力</b>

    芯片:未來科技的加速器?

    在數(shù)字化時(shí)代,芯片作為電子設(shè)備的核心組件,其性能直接關(guān)系到設(shè)備的運(yùn)行速度和處理能力。而芯片,即其計(jì)算能力,更是衡量芯片性能的重要指標(biāo)。
    的頭像 發(fā)表于 02-27 09:42 ?926次閱讀
    高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>芯片</b>:未來科技的加速器?

    智能規(guī)模超通用,大模型對(duì)智能提出高要求

    電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)是設(shè)備通過處理數(shù)據(jù),實(shí)現(xiàn)特定結(jié)果輸出的計(jì)算能力,常用FLOPS作為計(jì)量單位。FLOPS是Floating-point Operations Per Second
    的頭像 發(fā)表于 02-06 00:08 ?6308次閱讀

    大茉莉X16-P,5800M大稱王稱霸

    Rykj365
    發(fā)布于 :2024年01月25日 14:54:52
    RM新时代网站-首页