2024年,全球各個國家、地區(qū),乃至千行萬業(yè)都迎來了對AI技術空前高漲的熱情與關注。在中國,兩會政府工作報告中首次提出了“人工智能+行動”;在歐盟,歐洲會議通過了具有里程碑意義的《人工智能法案》;在中東地區(qū),迪拜通過了最新的人工智能戰(zhàn)略,希望打造全球AI中心,沙特建立了數(shù)據(jù)和人工智能管理局(SDAIA),負責領導國家的AI戰(zhàn)略。
今天,AI時代已經真正來臨。與此同時,全球各方,產學各界也意識到一個問題:AI絕不僅僅是模型和算法的問題,而是對整個數(shù)字化基礎設施的全新考驗,是一場算力、存力、運力的綜合比拼。
其中,存儲是一個無法被AI時代忽視的支點。AI大模型對存儲提出了哪些需求?什么樣的存儲,才能夠稱為AI存儲?存儲產業(yè)如何在新時代找到新路徑?
(華為數(shù)據(jù)存儲產品線總裁周躍峰)
帶著這些問題,我們來到了華為中國合作伙伴大會2024。與華為數(shù)據(jù)存儲產品線副總裁樊杰進行深度交流,了解華為存儲走進AI時代的思考與行動。
在本屆大會中,華為提出了“以存強算、以存強訓、以存強安”的理念,希望為業(yè)界打造領先數(shù)據(jù)基礎設施,推進全場景閃存化。在這個節(jié)點,回顧華為存儲一路走來的戰(zhàn)略布局,會發(fā)現(xiàn)它的每一步都與AI時代的脈搏緊密相連,提前預判產業(yè)走勢,最終以極高的效率對大模型訓推、數(shù)據(jù)覺醒等需求給出了精準回應。
當存儲產業(yè),面向AI時代的漫漫曠野時,華為存儲已經率先實現(xiàn)了AI ready。
我們可以將其定義為一次拓路,幫助存儲產業(yè)拓開AI之路,幫助全球用戶拓開存力之路。
不妨一起來回顧一下,華為存儲的AI拓路是如何完成的。通過這個過程,我們能夠共同推導出一個結論:AI時代,存強則強。
AI時代,存強則強
在以深度學習為基底的本次AI復興中,智能與數(shù)據(jù)間的聯(lián)接價值達到了史無前例的高度。主流AI技術的工作機理,無不建立在算法對數(shù)據(jù)進行充分學習的基礎上。因此,數(shù)據(jù)的規(guī)模龐大、質量高、流動效率強,對AI技術的發(fā)展起到了決定性的意義,而數(shù)據(jù)的保管、流動、安全水平,都建立在存儲能力的基礎上。
從這個邏輯出發(fā),我們可以發(fā)現(xiàn)目前AI技術涉及的各個階段,都出現(xiàn)了存弱則AI弱,存強則AI強的現(xiàn)象。
首先是在AI模型最基本的訓練階段。
可以看到,隨著AI大模型的興起,大規(guī)模集群化訓練已經成為主流。而在AI訓練集群場景下,任何一個瓶頸點都會影響到整個集群的效率,其中存儲的表現(xiàn)尤為關鍵。比如說,GPU大量時間都在加載數(shù)據(jù),如果期間出現(xiàn)加載失敗,就需要中斷后進行斷點重新錄入,耗費大量時間。傳統(tǒng)的存儲解決方案沒有適配AI訓練的存力加持,會因為存儲表現(xiàn)不佳全面拖慢整個AI訓練集群的表現(xiàn)。
因此,越來越多的專家與企業(yè)認為,AI訓練需要專用的存儲。比如說,英偉達官方提供的AI訓推IT參考架構,就專門強調了大模型訓練需要使用外置的專業(yè)高性能共享存儲,以此來提升訓練過程的效率與可靠性。這是因為在萬卡集群這樣的大規(guī)模訓練場景下,傳統(tǒng)的存儲模式會導致單個盤的故障,拖累整體數(shù)據(jù)傳輸效率,并且定位故障需要耗費較長的時間,導致訓練工作頻繁暫停。而讓AI算力直通存儲的新模式,則可以大幅提升AI訓練集群的數(shù)據(jù)讀取效率,進而縮短模型訓練時間。要知道,在今天的情況下,AI大模型的訓練效率就是千行萬業(yè)的產業(yè)效率。除此之外,適配AI訓練的存儲,最好還可以實現(xiàn)更高效的數(shù)據(jù)管理,更簡便的數(shù)據(jù)清洗,以此來全方位強化AI訓練工作。
其次,是在企業(yè)數(shù)據(jù)的保存與流通階段。
伴隨著AI技術的崛起,企業(yè)的數(shù)據(jù)價值愈發(fā)寶貴,而企業(yè)所需要存儲的數(shù)據(jù)量在指數(shù)級增長。且原本只需要存放的冷數(shù)據(jù),也因為AI技術的加入而變成了溫數(shù)據(jù),甚至熱數(shù)據(jù),需要隨時參與數(shù)據(jù)流動。與此同時,在數(shù)據(jù)資產化的浪潮下,企業(yè)也希望數(shù)據(jù)具有更強的流通能力,從而真正發(fā)揮資產價值。在一系列AI技術帶來的衍生場景中,企業(yè)都需要更強的存儲能力來筑牢數(shù)據(jù)資產,實現(xiàn)數(shù)據(jù)資產的可流通屬性。
再次,是中小企業(yè)數(shù)字化進程中的數(shù)據(jù)成本問題。
在AI技術的發(fā)展進程中,我們希望智能化的價值是普惠多元的。但客觀來看,中小企業(yè)想要獲得同等的AI競爭力,需要付出更大的數(shù)字化基礎設施建設成本。如何實現(xiàn)中小企業(yè)的存儲升級普惠,尤其是完成全閃存的更迭,也是存儲行業(yè)面臨的挑戰(zhàn)。
最后,是數(shù)據(jù)安全風險加劇的問題。
在數(shù)據(jù)資產價值不斷升級,且AI大模型需要高頻次調動數(shù)據(jù)的新階段,企業(yè)面臨著以勒索病毒為代表的更深刻、更具體的數(shù)據(jù)安全問題。數(shù)據(jù)保護需要從被動保護向主動安全躍遷。
從以上種種不難看出,在智能化體系中,數(shù)據(jù)存在居于底座地位,并且牽一發(fā)動全身。適配AI時代的存儲,不僅是單一存儲技術的升級,更是對經濟智能化所產生綜合存儲升級的回應。
存強則AI強,存強則數(shù)據(jù)強,已經成為AI時代真實而深刻的風向。
智能大勢,筑基為先
在這樣的智能化大勢下,存儲產業(yè)應該如何回應?如何抓住重點,破局謀篇?
華為存儲的選擇,是首先為AI大模型建立起存力底座,讓AI技術所涉及的各類非結構化數(shù)據(jù)都能統(tǒng)一入湖。有了基礎底座,向上的一切架構延展、功能添加才不會變成空中樓閣。
面對智能化的大勢所趨,華為存儲選擇先筑牢基礎。在不久之前的MWC 2024期間,華為存儲發(fā)布了AI數(shù)據(jù)湖、全場景數(shù)據(jù)保護和DCS全棧數(shù)據(jù)中心三大解決方案。AI數(shù)據(jù)湖,就是構建華為存儲為AI時代構建的存力底座。
具體而言,華為AI數(shù)據(jù)湖解決方案,具備數(shù)據(jù)管理DME、一站式知識生成工具鏈eDataMate、數(shù)據(jù)編織Data Fabric,以及OceanStor A800/A310等全新AI存儲底座。其中新一代高性能NAS存儲OceanStor A800,可以通過數(shù)控分離架構、OceanFS高性能并行文件系統(tǒng)、雙向靈活擴展等能力,支撐大規(guī)模AI訓練集群的實時調度,成為AI大模型的存力底座。
AI數(shù)據(jù)湖對AI時代能夠起到哪些層面的加持與支撐?我們可以分三個層面來分析。
首先,AI訓練必須使用大量非結構化數(shù)據(jù),尤其是圖形類數(shù)據(jù)。AI數(shù)據(jù)湖具有強大的數(shù)據(jù)收集能力,可以確保所有數(shù)據(jù)種類都能入湖,從而使能AI訓練場景下,數(shù)據(jù)的全局可視、可管、可用,讓訓練數(shù)據(jù)歸集、預處理和訓練的效率倍增,進而全面提升大模型訓練效率,縮短訓練時間。
其次,AI數(shù)據(jù)湖具有數(shù)據(jù)清洗能力,從而可以通過先清洗再進行訓練,縮短AI訓練的等待時間。數(shù)據(jù)清洗能力的加入,讓存儲能力與AI訓練場景的適配度進一步提升。
此外,OceanStor A800/A310等全新AI存儲產品,具備TB級的帶寬,能夠實現(xiàn)極強的數(shù)據(jù)加載能力,可以全面提升數(shù)據(jù)的加載速度,從而兼容到分鐘級別的數(shù)據(jù)加載。通過數(shù)據(jù)加載能力的升級,AI訓練可以更加高效準確,讓寶貴的AI算力得到更高的使用效率。
整體而言,面向突然爆火的AI大模型,華為存儲基于長時間對AI存儲的理解與布局,用最快速度給出了回應。AI數(shù)據(jù)湖就是這種回應的集中表現(xiàn),其通過軟硬件結合搭建起了完整的AI存儲體系。這一體系架構具備強大的AI訓推效率,以及優(yōu)秀的可擴展性,能夠滿足未來幾年的持續(xù)演進,與AI大模型技術發(fā)展并軌發(fā)展。
筑牢基礎,是破局一個新趨勢、新需求的關鍵。AI數(shù)據(jù)湖,就是華為存儲為AI時代筑下的基礎。
它會成為一把鑰匙,一個樞紐,容納華為存儲的多元發(fā)展思路,進而打開企業(yè)存儲升級的多種可能性。
三流合一,存以致用
面向AI時代,存儲產業(yè)的需求是非常多元復雜的。其中容納了AI大模型的訓練推理需求,也有中小企業(yè)的普惠發(fā)展需求,以及貫穿全行業(yè)的存儲安全需求等。因此,華為存儲也執(zhí)行了面向多元需求的發(fā)展策略。
我們可以將這種策略歸納為存力升級的“三流合一”。
第一條支流,AI ready。
我們前文所重點討論的AI存儲能力,已經成為華為存儲的核心差異化競爭力。可以說,通過具有前瞻性的布局與產品打造,華為存儲在行業(yè)內率先實現(xiàn)了AI ready。未來,面向AI場景的存儲能力將愈發(fā)重要。AI相關布局也會持續(xù)融合為華為存儲的差異化競爭力。
第二條支流,全場景數(shù)據(jù)安全。
在AI技術爆發(fā)式發(fā)展,數(shù)據(jù)價值不斷提升的今天,也要看到安全隱憂也被同步放大。從近兩年的情況看,勒索病毒持續(xù)泛濫,并且已經真實危害到了金融、電力等涉及國計民生的核心產業(yè)。面向存儲的高安全需求,華為首創(chuàng)了存儲與網絡協(xié)同的多層聯(lián)動勒索攻擊防護(MRP)解決方案。通過2道防線,6層防護來構建全場景的數(shù)據(jù)安全能力。這一能力已經美國權威機構Tolly認證,可以100%實現(xiàn)防勒索病毒有效。隨著安全能力在數(shù)字化體系中的價值占比不斷提升,存儲原生安全將成為新的行業(yè)戰(zhàn)略高點。
第三條支流,全場景閃存普惠。
伴隨著各行業(yè)對數(shù)據(jù)存儲綜合能力需求的提升,越來越多中小企業(yè)希望進行全閃存升級。面對這一需求,華為在業(yè)界率先提出了閃存普惠理念,并且在目前階段,發(fā)布了含OceanStor Dorado 2100、OceanProtect X3000等全閃存系列產品,可以為企業(yè)帶來性能十倍,更好能耗比,且綜合成本沒有顯著變化的全閃存產品,助力中小企業(yè)的數(shù)字化升級。
為應對AI時代帶來的一系列變化,滿足AI訓推、閃存普惠、全場景安全等核心需求,華為打造了綜合性的全場景數(shù)據(jù)存儲產品與解決方案。其中富含的戰(zhàn)略目標,用華為自己的總結可以歸納為——以存強算,以存強訓,以存強安。
在華為存儲“三流合一”的發(fā)展節(jié)奏背后,核心是應對時代變化、需求變化的“存以致用”。只有給出準確的技術升級與產品打造,才能讓不同需求、不同行業(yè)、不同發(fā)展階段的企業(yè),都能夠用存儲強健自身的智能化選擇。
企業(yè)有了更有用,更好用的存儲能力,AI時代才能夠從曠野變成航道。
拓路曠野,設立航標
AI ready、全閃存普惠,以及全場景安全等能力的構建,不僅強化了華為存儲自身的市場價值,更對整個存儲產業(yè)起到了積極的影響。
在今天的存儲產業(yè)眼中,AI時代還是一片朦朧的曠野。業(yè)界對于AI需要適配的存儲產品具有宏觀上的共識,但缺乏具體的可執(zhí)行方案。
從眺望曠野到抵達目標,行業(yè)需要一條路。需要先進的產品作為發(fā)展導向,需要強大的技術能力作為發(fā)展標準,需要豐富的客戶實踐作為發(fā)展依據(jù)。這種情況下,華為存儲做的事情其實就是拓路,通過在全新的AI曠野踏出一條路,華為為全球存儲產業(yè)設立了航標。
面向AI時代的航標,具有兩重價值。首先從橫向的客戶價值層面看,華為存儲的AI ready讓全球客戶有了面向AI時代的數(shù)據(jù)底座選擇,同時也有了全力智能化發(fā)展的底氣與信心。
一家新加坡的TOP級銀行,基于華為存儲提供的相關能力構建了金融智能化能力。東南亞的TOP級電商,在華為存儲的幫助下搭建了千卡級別的AI數(shù)據(jù)湖底座。在中國市場,科大訊飛與華為存儲合作,用AI數(shù)據(jù)湖搭配400G網絡,大幅提升了星火大模型的訓練效率。
豐富的客戶實踐表明,華為存儲在AI時代展現(xiàn)出了更強的競爭力,不僅其性能好、可靠性高的產品優(yōu)勢得到進一步釋放,更以對AI場景的理解獲得了新的機會。
在全球市場上,華為存儲已經是當之無愧的第一梯隊。根據(jù)3月4日Gartner發(fā)布的《2024年Gartner Peer Insights主存儲客戶之聲》報告,華為存儲在全球廠商中脫穎而出,獨家獲得了全球“客戶之選”。
本次評選共有業(yè)界主流的21家廠商參與,華為OceanStor存儲收到來自亞太、歐洲、中東等區(qū)域的數(shù)百個客戶評價,覆蓋運營商、金融、教育、醫(yī)療、能源、制造等行業(yè)??蛻粢恢抡J為華為存儲最符合自身期待,提供了全球最佳的使用體驗。這一幕對于中國存儲產業(yè)來說可謂是前所未有。
而從行業(yè)縱向發(fā)展的角度看,華為存儲率先打造了符合AI時代需求的技術架構與產品體系,讓行業(yè)有了向前發(fā)展的航標。
比如說,可以看到華為在業(yè)界率先提出了AI數(shù)據(jù)湖概念,已經起到了引領市場的作用。全球各大廠商都在加強對AI存儲的研發(fā)投入,從而帶來整個AI時代的進一步增長,實現(xiàn)存算之間更加平衡的適配。
總結來看,通過洞察AI時代的存力需求,打造AI存儲基礎設施,推進“三流合一”的發(fā)展策略,華為存儲一步步實現(xiàn)了面向AI曠野的拓路。
在其努力下,存力不再是滯后與緩慢發(fā)展的一環(huán),AI時代的基礎設施巨變有了齊頭發(fā)展的可行性。
AI時代,存強則強。換言之,我們可以以存力強AI,以存力強時代。
-
存儲
+關注
關注
13文章
4296瀏覽量
85798 -
AI
+關注
關注
87文章
30728瀏覽量
268882 -
存力
+關注
關注
0文章
23瀏覽量
80
發(fā)布評論請先 登錄
相關推薦
評論