完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > transformer
文章:134個(gè) 瀏覽:5995次 帖子:3個(gè)
Transformer是機(jī)器人技術(shù)的基礎(chǔ)嗎
生成式預(yù)訓(xùn)練Transformer(GPT)被吹捧為將徹底改變機(jī)器人技術(shù)。但實(shí)際應(yīng)用中,GPT需要龐大且昂貴的計(jì)算資源、冗長(zhǎng)的訓(xùn)練時(shí)間以及(通常)非機(jī)載...
2024-12-05 標(biāo)簽:機(jī)器人TransformerLLM 221 0
自動(dòng)駕駛中一直說(shuō)的BEV+Transformer到底是個(gè)啥?
在很多車(chē)企的自動(dòng)駕駛介紹中,都會(huì)聽(tīng)到一個(gè)關(guān)鍵技術(shù),那就是BEV+Transformer,那BEV+Transformer到底是個(gè)啥?為什么很多車(chē)企在自動(dòng)...
2024-11-07 標(biāo)簽:自動(dòng)駕駛Transformer 363 0
英偉達(dá)推出歸一化Transformer,革命性提升LLM訓(xùn)練速度
英偉達(dá)團(tuán)隊(duì)近日在A(yíng)I領(lǐng)域投下了一枚震撼彈,他們提出了一種全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)——?dú)w一化Transformer(nGPT)。這一創(chuàng)新架構(gòu)基于超球面(hype...
2024-10-23 標(biāo)簽:神經(jīng)網(wǎng)絡(luò)英偉達(dá)Transformer 367 0
只能跑Transformer的AI芯片,卻號(hào)稱(chēng)全球最快?
電子發(fā)燒友網(wǎng)報(bào)道(文/周凱揚(yáng))近日,一家由哈佛輟學(xué)生成立的初創(chuàng)公司Etched,宣布了他們?cè)诖蛟斓囊豢睢皩?zhuān)用”AI芯片Sohu。據(jù)其聲稱(chēng)該芯片的速度將是...
2024-07-01 標(biāo)簽:TransformerAI芯片 1370 0
Adobe提出DMV3D:3D生成只需30秒!讓文本、圖像都動(dòng)起來(lái)的新方法!
因此,本文研究者的目標(biāo)是實(shí)現(xiàn)快速、逼真和通用的 3D 生成。為此,他們提出了 DMV3D。DMV3D 是一種全新的單階段的全類(lèi)別擴(kuò)散模型,能直接根據(jù)模型...
2024-01-30 標(biāo)簽:編碼器3DTransformer 850 0
大語(yǔ)言模型背后的Transformer,與CNN和RNN有何不同
? 電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)近年來(lái),隨著大語(yǔ)言模型的不斷出圈,Transformer這一概念也走進(jìn)了大眾視野。Transformer是一種非常流行...
2023-12-25 標(biāo)簽:cnnTransformerrnn 4026 0
管住嘴、邁開(kāi)腿,大模型的“成本瘦身”是必經(jīng)之路
2023-11-03 標(biāo)簽:PalmAITransformer 468 0
如何在手持設(shè)備上安裝龐大的transformer網(wǎng)絡(luò)
Siri和OK Google是最早實(shí)現(xiàn)語(yǔ)音控制的應(yīng)用程序,這著實(shí)為我們帶來(lái)了很多樂(lè)趣;但很快我們便意識(shí)到,必須仔細(xì)說(shuō)出請(qǐng)求才能獲得實(shí)用回答。 就現(xiàn)在所見(jiàn)...
2023-10-11 標(biāo)簽:網(wǎng)絡(luò)手持設(shè)備應(yīng)用程序 747 0
Quadric是一家機(jī)器學(xué)習(xí)推理IP公司,Untether AI則將其硬件宣傳為是“通用推理加速器”,這兩家公司都在兜售可處理transformer的技...
2023-08-30 標(biāo)簽:機(jī)器學(xué)習(xí)深度學(xué)習(xí)Transformer 939 0
英偉達(dá)h800和h100的區(qū)別 其實(shí)大白話(huà)就是,A100、H100是原版,特供中國(guó)市場(chǎng)的減配版是A800、H800。A100、H100是價(jià)格更便宜,性能...
2023-08-08 標(biāo)簽:英偉達(dá)TransformerAI芯片 4.6萬(wàn) 0
首個(gè)線(xiàn)性注意力Transformer大模型!1750億參數(shù),速度和精度更優(yōu)
即便如此,傳統(tǒng)的 Transformer 依然存在局限。首要的一點(diǎn),它們有著對(duì)于序列長(zhǎng)度的二次時(shí)間復(fù)雜度,這會(huì)限制它們的可擴(kuò)展性并拖累訓(xùn)練和推理階段的計(jì)...
2023-07-31 標(biāo)簽:線(xiàn)性語(yǔ)言模型Transformer 1096 0
在X3派上玩轉(zhuǎn)一億參數(shù)量超大Transformer,DIY專(zhuān)屬你的離線(xiàn)語(yǔ)音識(shí)別
Transformer模型在自然語(yǔ)言領(lǐng)域被提出后,目前已經(jīng)擴(kuò)展到了計(jì)算機(jī)視覺(jué)、語(yǔ)音等諸多領(lǐng)域。然而,雖然Transformer模型在語(yǔ)音識(shí)別領(lǐng)域有著更好...
2023-02-21 標(biāo)簽:嵌入式語(yǔ)音識(shí)別人工智能 819 0
視海芯圖Transformer加速SoC助力AR/VR設(shè)備性能升級(jí)
5月12日,第十三屆松山湖中國(guó)IC創(chuàng)新高峰論壇在廣東東莞松山湖凱酒店舉行,本屆活動(dòng)繼續(xù)由中國(guó)半導(dǎo)體行業(yè)協(xié)會(huì)IC設(shè)計(jì)分會(huì)(ICCAD)、芯原微電子、松山湖...
2023-05-12 標(biāo)簽:ArTransformer視海芯圖 3208 0
ConvNeXt 架構(gòu)的出現(xiàn)使傳統(tǒng)的 ConvNet 更加現(xiàn)代化,證明了純卷積模型也可以適應(yīng)模型和數(shù)據(jù)集的規(guī)模變化。然而,要想對(duì)神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)空間進(jìn)...
2023-01-12 標(biāo)簽:解碼器編碼器Transformer 1154 0
一種顯著降低Transformer計(jì)算量的輕量化方法
然而,transformer的原始公式在輸入令牌(token)數(shù)量方面具有二次計(jì)算復(fù)雜度。鑒于這個(gè)數(shù)字通常從圖像分類(lèi)的14^2到圖像去噪的128^2 =...
2023-01-10 標(biāo)簽:編碼Transformer自然語(yǔ)言處理 1330 0
谷歌新作Muse:通過(guò)掩碼生成Transformer進(jìn)行文本到圖像生成
與建立在級(jí)聯(lián)像素空間(pixel-space)擴(kuò)散模型上的 Imagen (Saharia et al., 2022) 或 Dall-E2 (Rames...
2023-01-09 標(biāo)簽:模型圖像生成Transformer 944 0
既然都叫 EfficientFormerV2,那必然是在上一版的基礎(chǔ)上改進(jìn)了,如圖(a)所示。沒(méi)什么特別新奇的,一個(gè)很常規(guī)的 ViT 型架構(gòu)。下面的圖表...
2022-12-19 標(biāo)簽:計(jì)算機(jī)視覺(jué)Transformer 1268 0
無(wú)殘差連接或歸一化層,也能成功訓(xùn)練深度Transformer
最近,使用信號(hào)傳播原則來(lái)訓(xùn)練更深度的 DNN 并且殘差架構(gòu)中沒(méi)有殘差連接和 / 或歸一化層的參與,成為了社區(qū)感興趣的領(lǐng)域。原因有兩個(gè):首先驗(yàn)證了殘差架構(gòu)...
2022-12-12 標(biāo)簽:神經(jīng)網(wǎng)絡(luò)Transformerdnn 728 0
編輯推薦廠(chǎng)商產(chǎn)品技術(shù)軟件/工具OS/語(yǔ)言教程專(zhuān)題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無(wú)刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺(jué) | 無(wú)人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國(guó)民技術(shù) | Microchip |
Arduino | BeagleBone | 樹(shù)莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |