如果我們把歐亞大陸看作一個整體,會發(fā)現(xiàn)中國是一個有幾座山脈的超大半島,橫斷山脈與天山、陰山、昆侖山、南嶺、大興安嶺,一橫五縱的山脊,描繪出了中華大地的輪廓。
一方水土的休養(yǎng)生息,需要山脈作為屏障;一項科技的崛起與發(fā)展,需要基礎設施作為支撐。
伴隨著“人工智能+”行動的開展,AI技術在中國迎來了新的發(fā)展高峰。但如果沒有基礎設施層面AI算力的有效供給,AI算法的發(fā)展,企業(yè)對AI應用都將變成無本之木,無源之水。
發(fā)展AI技術,首先需要構筑算力山脈。通過智能算力,把AI產業(yè)切實保護起來,支撐起來。尤其需要注意的是,這種構筑并不是簡單的算力供給,而是需要切實應對企業(yè)在智算運用過程中的挑戰(zhàn),提升算力效率,降低算力門檻。
中國AI的算力山脈,究竟如何勾勒?
聯(lián)想認為,異構智算就是答案。
4月18日,第十屆聯(lián)想創(chuàng)新科技大會Tech World在上海舉行。期間,聯(lián)想提出融合了公共大模型、個人級大模型和企業(yè)大模型的混合式人工智能是未來大勢所趨。這個過程中,AI大模型將在各個行業(yè)深入落地,由此帶來了智能算力的指數級增長,對中國AI基礎設施提出了全新要求。
為了幫助千行百業(yè)應對混合式人工智能帶來的基礎設施之變,聯(lián)想ISG提出了一橫五縱的發(fā)展戰(zhàn)略。
一橫五縱背后,是聯(lián)想希望用平臺打通,以產品組合的方式,打造更可滿足當下AI需求的基礎設施集群,畫出屬于中國AI的山脊。
AI時代,智算就是山脊
如果一片土地沒有山脊保護,就很容易受到風沙與冷空氣的侵蝕,從而各種自然災害頻發(fā)。中華文明能夠延綿不絕,也有賴于幾條雄偉山脊的護佑。
在AI領域,如果說算法是土壤,應用是莊稼,那么算力就是保護這片土地的山脊,只有山脊夠高夠強,土地才有蓬勃生機。
2023年,中國出現(xiàn)了“百模大戰(zhàn)”的盛況,涌現(xiàn)出了龐大的AI應用場景與相應的智算需求。
根據《2023—2024年中國人工智能計算力發(fā)展評估報告》,2023年中國AI算力市場規(guī)模將達到664億元,同比增長82.5%。預計到2030年,人工智能驅動的全球算力將增長500倍。
過快的AI算力需求擴張,帶來了一系列相關問題。如果說AI算力是整個AI產業(yè)生態(tài)的山巒屏障,那么今天的情況就是AI算法與應用發(fā)展過快,社會各界對AI期望極大。在基礎設施層,我們需要快速去填補AI算力的空白,為中國AI筑起算力高山。
想要實現(xiàn)這個目標,需要破解幾項關鍵的挑戰(zhàn)。中國AI算力當前的核心難點在于:
1.算力供需失衡。AI算力處在供給遠不能滿足需求的情況,且將長期保持。這就需要我們珍惜已有且面向未來的所有AI算力,最大化滿足多元智算需求。
2.算力應用卡點多。企業(yè)應用AI算力,需要依賴于多層級的智能化基礎設施,端、邊、云、網等條件缺一不可,需要進行全方位適配AI算力的基礎設施更新。在企業(yè)智算實踐中,面臨著諸如針對場景匹配算法,提升AI算力利用率等問題。能力多樣、切中要害的異構智算平臺建設迫在眉睫。
3.算力生態(tài)不完善。智算基礎設施的推廣和普及,需要依賴軟硬件多方面的適配,以及行業(yè)開發(fā)者的配合,這就導致智算生態(tài)的建設至關重要。
面對這些問題與挑戰(zhàn),聯(lián)想ISG回歸基礎設施更新的基本邏輯,為中國AI發(fā)展畫下了一橫五縱的山脊。
一橫五縱,畫出山川連綿
想筑造AI時代的智算山脊,需要先有一張藍圖。
在下筆畫這張藍圖之前,需要先思考兩個問題。橫向來看,AI時代多元計算成為必然趨勢,需要一個平臺承載廣泛且多元的算力需求??v向來看,AI大模型的訓推效果取決于諸多條件,存、算、網等基礎設施缺一不可。
橫可承載智算,縱有產品周全,這樣的“畫意”驅動著聯(lián)想落筆畫出智算山川。在聯(lián)想的“AI for All”戰(zhàn)略下,聯(lián)想ISG推動了基礎設施領域全面適配AI的深入變化,以“端-邊-云-網-智”新IT架構打造混合式AI基礎設施。
(聯(lián)想集團副總裁、中國基礎設施業(yè)務群總經理陳振寬)
聯(lián)想集團副總裁、中國基礎設施業(yè)務群總經理陳振寬認為,“在人工智能1.0時代,基于全球智慧和本地創(chuàng)新,聯(lián)想打造了全面的基礎設施產品組合,包括計算、存儲、網絡、邊緣和超融合,并在通用計算、科學計算和AI計算等不同算力領域獲得大量的最佳實踐,幫助千行百業(yè)的客戶取得成功”。陳振寬表示,“如今大模型開啟的AI?2.0時代已經邁著大步朝我們走來,我們需要重塑過去積累的技術,來全面升級聯(lián)想基礎設施”。
分析聯(lián)想在AI基礎設施層面的策略與行動,可以將其歸納為“一橫五縱”。
“一橫”,即異構智算平臺。
通過實現(xiàn)對通用計算集群、科學計算集群和AI算力集群進行統(tǒng)一管理,并對多種CPU、GPU、DPU等處理器進行異構管理調度,聯(lián)想打造了更加符合AI計算需求的異構算力底座。
在AI基礎設施領域,聯(lián)想聚焦三大領域的創(chuàng)新。首先是為用戶匹配經過驗證優(yōu)化的最佳算力。第二是賦能用戶充分利用算力,提升計算效率。第三則是以先進的液冷技術幫助用戶節(jié)能增效且突破芯片散熱的瓶頸。
聯(lián)想萬全異構智算平臺,匯集了這三大能力,為AI 2.0時代帶來了五大技術創(chuàng)新,其中包括:
1.用戶智能匹配算力的算力匹配魔方。基于海量的硬件評測和AI算子算法集成工作,聯(lián)想構建了AI場景與算法與集群硬件三者匹配關系的算力魔方知識庫,來標識AI場景、算法、集群配置這三者的匹配關系。用戶只需輸入場景和數據,算力魔方即可自動加載最優(yōu)算法,并調度最佳集群配置。
2.逼近GPU算力極限的GPU內核態(tài)虛擬化。聯(lián)想研究院開發(fā)了在GPU驅動層的內核態(tài)虛擬化算法,新算法可以將虛擬化造成的GPU算力損耗降到5%以下,極致情況可以降到1%以下,大幅提升GPU利用率。
3.提升網絡通信效率的聯(lián)想集合通信算法庫。可實現(xiàn)對多類型網絡拓撲的實時感知,并以先進算法使數據在拓撲中以最佳路徑進行傳輸。以千卡規(guī)模集群為例,采用集成了聯(lián)想集合通信庫的聯(lián)想異構智算平臺做管理調度,可使網絡通信效率提升超10%,并且集群規(guī)模越大,效果越顯著。
4.減少AI訓練中斷時間的AI高效斷點續(xù)訓技術。聯(lián)想異構智算平臺對大量的AI訓練故障進行了特征采樣,開發(fā)了預測AI訓練故障的AI模型,實現(xiàn)“用AI來預測AI”。在斷點前提前優(yōu)化備份,由此能將斷點續(xù)訓恢復時間縮減到分鐘級,大幅提升訓練效率,以千卡集群為例,每月可節(jié)約上百萬元算力費用支出,讓寶貴的AI算力持續(xù)可用。
5.AI與HPC集群超級調度器。針對混合集群做資源共享需求,聯(lián)想AI與HPC超級調度器架構于AI和HPC調度之上,能夠切換AI和HPC的調度,從而滿足科學計算等場景的HPC與AI計算間的調度需求。它可以切換“語言”分別指揮AI和HPC調度器,可跨集群全局動態(tài)管理和調度算力資源,一小時內自動完成跨集群資源調度和共享。
在五大技術創(chuàng)新的合力下,異構智算平臺形成了一個能高度自動化完成AI全流程開發(fā)的平臺。
從用戶視角看,向平臺輸入場景需求和數據后,即可將計算過程交給平臺自動完成,平臺就像一個計算魔盒,能夠自動優(yōu)化數據和模型,自動匹配和調度算力,自動對計算的全過程進行監(jiān)控,直到最終輸出模型或是推理服務。
以異構智算平臺為基礎,企業(yè)多樣化、實踐化的AI算力需求都可以得到妥善滿足,并且能夠獲得高可用、高效率、高能效的AI計算體驗。
AI算力需要與軟硬件基礎進行配合,才能得到最大化的價值釋放。因此,聯(lián)想打造了“五縱”,即服務器,存儲,數據網絡,軟件及超融合以及邊緣基礎設施產品。
在基礎設施市場中,聯(lián)想多樣化的產品取得了顯著優(yōu)勢。根據IDC發(fā)布的《2023第四季度中國 x86服務器市場追蹤報告》顯示,聯(lián)想環(huán)比增速居中國x86服務器市場第一,領先市場整體增速80個百分點。而在去年11月舉辦的第五屆中國超級算力大會(ChinaSC 2023)公布的最新一期“中國高性能計算機 TOP100 排行榜”中,聯(lián)想上榜43套,獲得年度數量總份額冠軍。這也是聯(lián)想第九次問鼎并蟬聯(lián)中國高性能計算TOP100數量份額第一。
通過五大產品線的并行與配合,可以滿足中國AI基礎設施廣泛而多元的迭代需求。
以一橫五縱的山脊為基礎,智算生態(tài)可以生生不息,智算應用可以曠野花開。
山青水綠,滋養(yǎng)生態(tài)萬全
有了山脊護佑,還需要在山脊間的平原播種萬物,培育生態(tài)。為了讓一橫五縱的智算山脊真正發(fā)揮價值,聯(lián)想還需要為智算生態(tài)添加動力。
在異構智算的大潮下,聯(lián)想基礎設施業(yè)務群成功躋身人工智能基礎設施領域全球三甲。與此同時,聯(lián)想基礎設施業(yè)務群正在中國市場開啟一場復興之旅。去年,在中國市場實現(xiàn)了銷售額21%的大幅增長,并且贏回了一系列重要客戶。在進一步挖掘智算潛力,激活市場空間,聯(lián)想需要生態(tài)的支持,也需要為生態(tài)伙伴創(chuàng)造發(fā)展機遇。
為此,聯(lián)想希望在智算領域搭建一個萬全生態(tài)。所謂萬全,是指生態(tài)包羅萬法,可以保用戶算力以周全,保用戶的AI基礎設施投資回報以周全。
為了搭建這樣的生態(tài),聯(lián)想希望在生態(tài)中貢獻硬件能力和異構智算平臺的集群管理調度能力,并且要實現(xiàn)對算力生態(tài)的包容,即硬件會兼容xPU生態(tài)硬件,異構智算平臺會集成xPU底層軟件,并且以extended UI的方式對接集成AI工具鏈生態(tài),讓各類智算需求都能在開放的平臺生態(tài)中得到滿足。
在Tech World的“異構智算 多元生態(tài)”聯(lián)想智算產業(yè)生態(tài)創(chuàng)新論壇上。聯(lián)想集團與中國智能計算產業(yè)聯(lián)盟共同發(fā)起并成立異構智算產業(yè)生態(tài)聯(lián)盟,聯(lián)合產業(yè)頭部生態(tài)伙伴共建聯(lián)想萬全生態(tài)。據介紹,異構智算產業(yè)生態(tài)聯(lián)盟框架由AI芯片層、AI設備與系統(tǒng)層和AI平臺與應用層,能夠實現(xiàn)從IaaS平臺、AI訓練與推理到行業(yè)場景解決方案的全覆蓋。
目前,異構智算產業(yè)生態(tài)聯(lián)盟首批共計13家成員單位已加盟。生態(tài)聯(lián)盟成立后,將陸續(xù)發(fā)布異構智算最新成果,計劃推動《國際人工智能算力性能排行榜——AIPerf500》評選,共創(chuàng)及發(fā)布《異構智算白皮書》以及《2024國家行業(yè)發(fā)展報告(智能計算方向)》等內容,引導中國智算產業(yè)健康發(fā)展。
面向未來,萬全異構智算生態(tài)將為處于算力選擇期的中國用戶提供豐富的一站式的方案來適應多樣化的AI應用場景,并且將通過生態(tài)全鏈條的緊密合作調優(yōu),不斷提升算力效率,破解AI帶來的算力荒與能耗荒。
異構智算生態(tài)的蓬勃發(fā)展下,我們已經可以在一橫五縱的智算山脊中,看到中國智算生態(tài)的盎然生機。
山澤浩瀚,以振智能中國
在技術與產品的山脊下,在智算生態(tài)的勃發(fā)中,聯(lián)想的智算能力正在一個個產品,一個個案例中生長出來。
在產品方面,不久之前聯(lián)想剛剛成功交付了可搭載國產AI算力芯片的聯(lián)想問天WA5480 G3服務器。其具備多芯算力、靈活拓撲、安全可靠三大特色,能夠滿足自主化與AI算力需求的雙重結合。
在應用方面,聯(lián)想已經成為大量領軍企業(yè)的智能化合作伙伴,異構智算的價值釋放到了千行百業(yè)當中。在吉利汽車、紫金云、阿里云等核心用戶的應用案例中,都可以見到聯(lián)想一橫五縱產品帶來的驚喜。
一橫五縱戰(zhàn)略的核心落腳點,在于“實”。
歸根結底,將AI大模型從一種技術上的可行性,變?yōu)榍邪贅I(yè)生產場景中的可用性,需要一系列先決條件的搭建和滿足。異構計算、算法匹配、能耗問題、生態(tài)合作需求等問題,都擺在從AI大模型到新質生產力之間。二者之間,什么都不做就是萬水千山,有心為之就是通衢大道。
聯(lián)想ISG打造的一橫五縱,就是這樣一條通衢。其從現(xiàn)實場景,真實行業(yè)的智算需求出發(fā),有問題就解決問題,需要產品就打造產品,需要生態(tài)就建設生態(tài)。最終讓AI的山澤浩瀚,借由智算山脊的地勢,流入千行百業(yè)的田野。
新質生產力,由此而盤活;中國產業(yè)智能化的腳步,由此而加速。
在智算山脊之下,中國AI正草長鶯飛,蓬勃萬全。
-
聯(lián)想
+關注
關注
3文章
2602瀏覽量
62767 -
AI
+關注
關注
87文章
30728瀏覽量
268879 -
智算中心
+關注
關注
0文章
68瀏覽量
1691
發(fā)布評論請先 登錄
相關推薦
評論