一文詳解GPU硬件與CUDA開發(fā)工具

CPU 和 GPU 的顯著區(qū)別是：一個(gè)典型的 CPU 擁有少數(shù)幾個(gè)快速的計(jì)算核心，而一個(gè)典型的 GPU 擁有幾百到幾千個(gè)不那么快速的計(jì)算核心。

2024-03-21 標(biāo)簽：gpuC語(yǔ)言編程語(yǔ)言 1162 0

GPU CUDA 編程的基本原理是什么

神經(jīng)網(wǎng)絡(luò)能加速的有很多，當(dāng)然使用硬件加速是最可觀的了，而目前除了專用的NPU（神經(jīng)網(wǎng)絡(luò)加速單元），就屬于GPU對(duì)神經(jīng)網(wǎng)絡(luò)加速效果最好了

2024-03-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpusram 794 0

LayerNorm/RMSNorm的重計(jì)算實(shí)現(xiàn)

我去實(shí)測(cè)了一下，單機(jī)8卡A100訓(xùn)練LLama7B，純數(shù)據(jù)并行的情況下打開memory_efficient開關(guān)相比于不打開節(jié)省了大約2個(gè)G的顯存，如果模...

2024-01-16 標(biāo)簽：NVIDIARMSpython 3316 0

銘瑄RTX 4070關(guān)鍵參數(shù)介紹

銘瑄這款RTX 4070 MGG OC12G S0的設(shè)計(jì)和幾位師兄如出一轍，搭載了Mega Freeze VC散熱系統(tǒng)，正面三個(gè)10厘米風(fēng)扇，均有11片...

2023-12-06 標(biāo)簽：華碩PWM散熱器 1231 0

英偉達(dá)三大AI法寶：CUDA、Nvlink、InfiniBand

以太網(wǎng)是一種廣泛使用的網(wǎng)絡(luò)協(xié)議，但其傳輸速率和延遲無(wú)法滿足大型模型訓(xùn)練的需求。相比之下，端到端IB（InfiniBand）網(wǎng)絡(luò)是一種高性能計(jì)算網(wǎng)絡(luò)，能夠...

2023-12-05 標(biāo)簽：cpu交換機(jī)AI 5244 0

OpenCV4.8 CUDA編程代碼教程

OpenCV4支持通過GPU實(shí)現(xiàn)CUDA加速執(zhí)行，實(shí)現(xiàn)對(duì)OpenCV圖像處理程序的加速運(yùn)行，當(dāng)前支持加速的模塊包括如下。

2023-12-05 標(biāo)簽：編程代碼opencv 1021 0

OpenCV4.8+CUDA+擴(kuò)展模塊支持編譯指南

OpenCV4.8+CUDA+擴(kuò)展模塊支持編譯指南

2023-11-30 標(biāo)簽：源碼編譯opencv 998 0

llama.cpp代碼結(jié)構(gòu)&調(diào)用流程分析

llama.cpp 的代碼結(jié)構(gòu)比較直觀，如下所示，為整體代碼結(jié)構(gòu)中的比較核心的部分的代碼結(jié)構(gòu)

2023-11-07 標(biāo)簽：RMSCUDA 2228 0

CUDA核心是什么？CUDA核心的工作原理

CUDA核心（Compute Unified Device Architecture Core）是NVIDIA圖形處理器（GPU）上的計(jì)算單元，用于執(zhí)行...

2023-09-27 標(biāo)簽：存儲(chǔ)器NVIDIAgpu 8664 0

基于BEV的視覺3D目標(biāo)檢測(cè)器

根據(jù)我們的實(shí)驗(yàn)分析，我們認(rèn)為實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵在于提升檢測(cè)器在 BEV 空間和 2D 空間的適應(yīng)性。這種適應(yīng)性是針對(duì) query 而言的，即對(duì)于不同的 ...

2023-09-16 標(biāo)簽：檢測(cè)器CUDANDS 749 0

RTX 4070 SUPER首發(fā)評(píng)測(cè)

新一代的Ada Lovelace架構(gòu)帶來了令人咋舌的能效比，RTX 40系列顯卡在性能相同的情況下，功耗只有上代一半甚至更低，只是價(jià)格并不是那么親民。

2024-01-17 標(biāo)簽：NVIDIA流處理器CUDA 1526 0

什么是CUDA？誰(shuí)能打破CUDA的護(hù)城河？

在最近的一場(chǎng)“AI Everywhere”發(fā)布會(huì)上，Intel的CEO Pat Gelsinger炮轟Nvidia的CUDA生態(tài)護(hù)城河并不深，而且已經(jīng)成...

2023-12-28 標(biāo)簽：CUDAGPU芯片人工智能算法 1.3萬(wàn) 0

GTX 16系列全線停產(chǎn)！

GTX 1660 Ti、GTX 1660 SUPER、GTX 1660、GTX 1650 SUPER此前已經(jīng)陸續(xù)停產(chǎn)退市，唯一剩下的就是GTX 1650...

2023-12-19 標(biāo)簽：HDMINVIDIAgpu 1743 0