近日，中國(guó)移動(dòng)研究院副院長(zhǎng)段曉東攜手天數(shù)智芯、壁仞科技、中興、海光、瀚博等一眾產(chǎn)業(yè)合作伙伴，共同推出了“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)1.0版本。

該系統(tǒng)具備兩大核心能力，首先是基于非均勻計(jì)算任務(wù)切分ITD(Inhomogeneous Task Distribution)算法的3D并行策略。該策略利用通用混合訓(xùn)練框架，實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)并行和異構(gòu)流水線并行，能夠靈活應(yīng)對(duì)各種復(fù)雜的計(jì)算任務(wù)。通過這一技術(shù)，系統(tǒng)能夠根據(jù)異構(gòu)算力的特點(diǎn)，自適應(yīng)地調(diào)整數(shù)據(jù)微批次大小、數(shù)量以及流水線并行度等參數(shù)，從而充分發(fā)揮不同計(jì)算單元的性能優(yōu)勢(shì)。

其次，“芯合”系統(tǒng)還采用了基于GDR(GPU Direct RDMA)的異構(gòu)芯片高速通信技術(shù)。這一技術(shù)為異構(gòu)芯片之間的數(shù)據(jù)傳輸提供了高速通道，極大地提升了數(shù)據(jù)傳輸效率，從而進(jìn)一步提升了系統(tǒng)的整體性能。

“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)1.0的發(fā)布，標(biāo)志著中國(guó)移動(dòng)及其合作伙伴在異構(gòu)計(jì)算領(lǐng)域取得了重要突破，為未來的高性能計(jì)算和人工智能應(yīng)用提供了更加高效和靈活的訓(xùn)練平臺(tái)。