- 耐能的邊緣 AI 服務(wù)器 KNEO 330 為中小企業(yè)帶來 30-40% 的成本節(jié)省，同兼顧隱私和安全性。- 耐能的邊緣 GPT AI 芯片 KL830 可完全應(yīng)用于 AI PC、USB AI加速棒和邊緣服務(wù)器,與領(lǐng)先的 GPU 配合使用時(shí)，可將其能耗降低 30%。

2024年6月5日，耐能今天于2024年臺(tái)北國(guó)際電腦展(COMPUTEX 2024)上宣布推出最新的邊緣AI服務(wù)器及一款內(nèi)置耐能AI芯片的PC設(shè)備。

KNEO 330是耐能最新且第二款端側(cè)GPT服務(wù)器。首款產(chǎn)品KNEO 300于2023年推出，已經(jīng)在制造業(yè)、金融服務(wù)和大學(xué)領(lǐng)域擁有企業(yè)客戶，包括美國(guó)斯坦福大學(xué)和美國(guó)加州大學(xué)洛杉磯分校。

KNEO 330擁有48TOPS的AI計(jì)算能力，最多可支持8個(gè)并發(fā)連接，支持LLM和Stable Diffusion。在較低的硬件條件下，其RAG精度與云端解決方案相當(dāng)。KNEO 330大幅降低了小型企業(yè)的整體AI成本，降幅可達(dá)30%-40%。

與大多數(shù)云解決方案相比，KNEO 330實(shí)現(xiàn)了更簡(jiǎn)單的集成和分層權(quán)限管理，極大地提高了隱私和安全性。其全面的功能包括多模態(tài)GPT的離線版本。

耐能CEO兼創(chuàng)始人劉峻誠(chéng)表示：“AI近期蓬勃發(fā)展，強(qiáng)大的AI模型的發(fā)展速度超出了許多專家的預(yù)期。平衡AI的道德倫理與盈利驅(qū)動(dòng)是AI真正的挑戰(zhàn)。諸如訓(xùn)練AI模型所需的電力和數(shù)據(jù)以及AI幻覺的潛在問題等擔(dān)憂都是現(xiàn)實(shí)問題。我們相信我們的產(chǎn)品是解決當(dāng)前GPT ESG和能耗問題的關(guān)鍵。”

除了KNEO 330，耐能還推出搭載第三代NPU芯片KL830的PC設(shè)備。AI PC的時(shí)代已經(jīng)來臨，根據(jù)IDC報(bào)告，銷量預(yù)計(jì)將從2024年的5000萬臺(tái)增長(zhǎng)到2027年的超過1.67億臺(tái)，占整體個(gè)人電腦市場(chǎng)的60%以上。

同時(shí)，據(jù)Gartner預(yù)測(cè)，2024年全球AI個(gè)人電腦和AI智能手機(jī)的出貨量將達(dá)到2.95億臺(tái)，比2023年的2900萬臺(tái)增長(zhǎng)十倍多。

KL830強(qiáng)大的功能和低廉的成本使得低成本AI PC成為可能，將為更廣泛的消費(fèi)者群體帶來AI的普及和應(yīng)用。KL830提供高達(dá)10eTOPS@8bit 的綜合計(jì)算能力(CCP)，峰值功耗僅為2W。這款NPU將使個(gè)性化GPT成為現(xiàn)實(shí)。

當(dāng)耐能的NPU與領(lǐng)先的GPU配合使用時(shí),可將能耗降低30%，有效延長(zhǎng)產(chǎn)品使用壽命。這展示了NPU在高性能但價(jià)格親民的電競(jìng)PC領(lǐng)域的未來潛力。

該款芯片已經(jīng)準(zhǔn)備用于AIoT設(shè)備，KL830芯片使得定點(diǎn)能保持與浮點(diǎn)精度一致。KL830也可通過USB AI加速棒使用，使得任何設(shè)備，無論是寬帶路由器、物聯(lián)網(wǎng)攝像頭還是傳統(tǒng)電腦，都可以成為邊緣AI設(shè)備。它提供了10eTOPS的計(jì)算能力，并支持許多相對(duì)低參數(shù)的大型語言模型。

專為開發(fā)者設(shè)計(jì)的KNEO平臺(tái)是一個(gè)易于使用的 Edge GPT 開放平臺(tái)。耐能通過編譯器和"Hugging Face"鏈接，為用戶提供了友好的AI生成內(nèi)容模型部署方式，用戶可根據(jù)需求切換不同的Edge GPT。

耐能的Edge GPT服務(wù)（EGaaS）由開發(fā)平臺(tái)、管理平臺(tái)和Edge GPT 庫(kù)組成。Edge GPT即服務(wù)（EGaaS）使設(shè)備能夠在本地處理數(shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)決策，無需依賴互聯(lián)網(wǎng)或云服務(wù)器。這種方法有效提高了速度，同時(shí)支持多模態(tài)功能，并增強(qiáng)了隱私和安全性。

耐能全面的企業(yè)級(jí)邊緣GPT解決方案可以根據(jù)每個(gè)企業(yè)的需求進(jìn)行定制，為各種定制化場(chǎng)景訓(xùn)練和部署大型語言模型（LLM）。

審核編輯：彭菁