浪潮信息近日發(fā)布了一款全新的開(kāi)源大模型——“源2.0-M32”。這款大模型在“源2.0”系列大模型的基礎(chǔ)上，進(jìn)行了深度的技術(shù)創(chuàng)新與升級(jí)。

其核心技術(shù)亮點(diǎn)在于“基于注意力機(jī)制的門控網(wǎng)絡(luò)”技術(shù)的引入。通過(guò)這一技術(shù)，浪潮信息成功構(gòu)建了一個(gè)包含32個(gè)專家的混合專家模型（MoE），該模型不僅結(jié)構(gòu)先進(jìn)，而且算力效率極高。在運(yùn)行時(shí)，模型的激活參數(shù)僅為37億，這一數(shù)字在業(yè)界中堪稱領(lǐng)先。

更為值得一提的是，“源2.0-M32”在性能上全面對(duì)標(biāo)了擁有700億參數(shù)的LLaMA3開(kāi)源大模型。在業(yè)界主流基準(zhǔn)評(píng)測(cè)中，它展現(xiàn)出了卓越的性能，為用戶提供了更為高效、精準(zhǔn)的服務(wù)。

此次“源2.0-M32”的發(fā)布，無(wú)疑將進(jìn)一步推動(dòng)人工智能領(lǐng)域的發(fā)展，同時(shí)也彰顯了浪潮信息在技術(shù)創(chuàng)新方面的領(lǐng)先地位。