RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

對(duì)象存儲(chǔ)適合AI和機(jī)器學(xué)習(xí)工作負(fù)載的三個(gè)原因

如意 ? 來(lái)源:51cto ? 作者:51cto ? 2020-07-06 09:27 ? 次閱讀

各種各樣的企業(yè)在加快AI機(jī)器學(xué)習(xí)項(xiàng)目,但要真正發(fā)揮潛力,需要克服重大的技術(shù)障礙。雖然計(jì)算基礎(chǔ)架構(gòu)常常是關(guān)注的重點(diǎn),但存儲(chǔ)同樣重要。這三個(gè)主要的原因表明了為什么對(duì)象存儲(chǔ)(而不是文件存儲(chǔ)或塊存儲(chǔ))特別適合AI和機(jī)器學(xué)習(xí)工作負(fù)載:

1. 可擴(kuò)展性——有龐大且多樣的數(shù)據(jù)源可供學(xué)習(xí)時(shí),AI和機(jī)器學(xué)習(xí)最有效。數(shù)據(jù)科學(xué)家利用這些豐富的數(shù)據(jù)來(lái)訓(xùn)練領(lǐng)域模型。在“大數(shù)據(jù)的五個(gè)V”(容量、種類、速度、準(zhǔn)確性和價(jià)值)中,前兩個(gè)(容量和種類)最重要。簡(jiǎn)而言之,AI和機(jī)器學(xué)習(xí)依賴大量多樣化的數(shù)據(jù)(圖像、文本、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)),構(gòu)建有用的模型、提供準(zhǔn)確的結(jié)果并最終提供業(yè)務(wù)價(jià)值。

對(duì)象存儲(chǔ)是最具擴(kuò)展性的存儲(chǔ)架構(gòu),特別適合支持AI和機(jī)器學(xué)習(xí)所需的大量數(shù)據(jù)。對(duì)象存儲(chǔ)旨在通過(guò)橫向擴(kuò)展方法支持無(wú)限增長(zhǎng),使企業(yè)組織能夠通過(guò)隨時(shí)隨地添加節(jié)點(diǎn)來(lái)擴(kuò)大部署范圍。由于對(duì)象存儲(chǔ)使用單個(gè)全局命名空間,也可以同時(shí)跨多個(gè)地方進(jìn)行這種擴(kuò)展。另一方面,文件和塊系統(tǒng)通常采用縱向擴(kuò)展方法。這意味著這種平臺(tái)通過(guò)為單個(gè)節(jié)點(diǎn)添加更多計(jì)算資源實(shí)現(xiàn)縱向擴(kuò)展,這種方法最終受到限制。它們無(wú)法通過(guò)部署額外節(jié)點(diǎn)來(lái)增加計(jì)算資源以高效地橫向擴(kuò)展。

2. API——健壯靈活的數(shù)據(jù)API對(duì)于AI和機(jī)器學(xué)習(xí)很重要,如前所述,AI和機(jī)器學(xué)習(xí)使用多種類型的數(shù)據(jù)。存儲(chǔ)平臺(tái)需要支持API以容納各種數(shù)據(jù)。此外,AI和機(jī)器學(xué)習(xí)方面的創(chuàng)新日益在公共云上完成,但是仍有相當(dāng)一部分的AI和機(jī)器學(xué)習(xí)在本地或私有云中進(jìn)行,這取決于使用場(chǎng)合的具體情況(比如說(shuō),科學(xué)研究和醫(yī)療保健等領(lǐng)域的容量密集型工作負(fù)載往往最適合私有云)。這意味著企業(yè)需要在公共云和本地/私有云中都支持工作負(fù)載的存儲(chǔ)API。

文件和塊存儲(chǔ)平臺(tái)在它們支持的API方面受到限制,部分原因是它們是較舊的架構(gòu)。相比之下,對(duì)象存儲(chǔ)使用云端更高級(jí)的API,這種API旨在以應(yīng)用程序?yàn)?a target="_blank">中心,并支持比文件和塊存儲(chǔ)更廣泛的API,包括版本控制、生命周期管理、加密、對(duì)象鎖定和元數(shù)據(jù)。此外,支持AI和機(jī)器學(xué)習(xí)使用場(chǎng)景的新對(duì)象存儲(chǔ)API(比如支持流數(shù)據(jù)和海量數(shù)據(jù)集的查詢)也有可能。

由于對(duì)象存儲(chǔ)API圍繞Amazon S3實(shí)現(xiàn)了標(biāo)準(zhǔn)化,更容易整合本地和公共云中的軟件。企業(yè)可以輕松地將部署的AI和機(jī)器學(xué)習(xí)從本地/私有云環(huán)境擴(kuò)展到公共云,或者將云原生的AI和機(jī)器學(xué)習(xí)工作負(fù)載遷移到本地環(huán)境,功能不會(huì)減損。這種雙模式方法使企業(yè)能夠以合作、可互換的方式利用本地/私有云和公共云上的資源。

由于S3 API已成為對(duì)象存儲(chǔ)事實(shí)上的標(biāo)準(zhǔn),許多軟件工具和庫(kù)都可以充分利用該API。這允許共享代碼、軟件和工具,促進(jìn)AI/機(jī)器學(xué)習(xí)社區(qū)更快速的開(kāi)發(fā)。例子包括流行的機(jī)器學(xué)習(xí)平臺(tái),比如擁有內(nèi)置S3 API的TensorFlow和Apache Spark。

3.元數(shù)據(jù)——與API一樣,使用AI和機(jī)器學(xué)習(xí)的企業(yè)利用無(wú)限制、可自定義的元數(shù)據(jù)顯得至關(guān)重要。元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)——從最基本的層面上講,某個(gè)數(shù)據(jù)何時(shí)在何地創(chuàng)建、創(chuàng)建者是誰(shuí)。但是元數(shù)據(jù)可以描述更多信息:用戶可以創(chuàng)建任意的元數(shù)據(jù)標(biāo)簽來(lái)描述他們需要的任何屬性。

數(shù)據(jù)科學(xué)家需要豐富的元數(shù)據(jù)來(lái)查找特定數(shù)據(jù)以構(gòu)建和使用AI和機(jī)器學(xué)習(xí)模型。隨著更多信息添加到數(shù)據(jù)中,元數(shù)據(jù)注釋便于逐步積累知識(shí)。

文件和塊存儲(chǔ)僅支持有限的元數(shù)據(jù),比如上述基本屬性。這在很大程度上歸結(jié)為可擴(kuò)展性,因?yàn)槲募蛪K系統(tǒng)無(wú)力支持快速無(wú)縫的增長(zhǎng),如果存儲(chǔ)系統(tǒng)為依賴龐大數(shù)據(jù)集的AI和機(jī)器學(xué)習(xí)應(yīng)用程序支持豐富的元數(shù)據(jù),自然會(huì)出現(xiàn)這種情況。然而,對(duì)象存儲(chǔ)支持無(wú)限制的、完全可自定義的元數(shù)據(jù),從而更容易找到用于AI和機(jī)器學(xué)習(xí)算法的數(shù)據(jù),并從中獲得更準(zhǔn)確的信息。

以一家醫(yī)院針對(duì)X射線圖像使用圖像識(shí)別應(yīng)用程序?yàn)槔河辛嗽獢?shù)據(jù),可以使用TensorFlow模型來(lái)分析添加到對(duì)象存儲(chǔ)系統(tǒng)的每個(gè)圖像,然后為每個(gè)圖像分配細(xì)化的元數(shù)據(jù)標(biāo)簽(比如,傷病類型、基于骨骼大小或生長(zhǎng)情況來(lái)判斷患者的年齡或性別)。然后可以針對(duì)該元數(shù)據(jù)訓(xùn)練TensorFlow模型,并加以分析,對(duì)患者獲得新的寶貴信息(比如說(shuō),二三十歲的女性比五年前更容易患骨骼疾病)。

幾乎每家《財(cái)富》 500強(qiáng)公司都在大張旗鼓地搞AI和機(jī)器學(xué)習(xí),可以想象這些技術(shù)在可預(yù)見(jiàn)的將來(lái)將是最重要的企業(yè)IT項(xiàng)目。然而,AI/機(jī)器學(xué)習(xí)項(xiàng)目要獲得回報(bào),企業(yè)就要使用合適的存儲(chǔ)基礎(chǔ)架構(gòu)。由于可擴(kuò)展性、支持各種API(尤其是S3)和豐富的元數(shù)據(jù),對(duì)象存儲(chǔ)可謂是AI和機(jī)器學(xué)習(xí)的最佳支柱。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲(chǔ)
    +關(guān)注

    關(guān)注

    13

    文章

    4296

    瀏覽量

    85798
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    深度學(xué)習(xí)工作負(fù)載中GPU與LPU的主要差異

    ,一個(gè)新的競(jìng)爭(zhēng)力量——LPU(Language Processing Unit,語(yǔ)言處理單元)已悄然登場(chǎng),LPU專注于解決自然語(yǔ)言處理(NLP)任務(wù)中的順序性問(wèn)題,是構(gòu)建AI應(yīng)用不可或缺的一環(huán)。 本文旨在探討深度學(xué)習(xí)
    的頭像 發(fā)表于 12-09 11:01 ?240次閱讀
    深度<b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>工作</b><b class='flag-5'>負(fù)載</b>中GPU與LPU的主要差異

    關(guān)于對(duì)象存儲(chǔ)和云硬盤(pán)區(qū)別,你了解多少?

    掛載到云服務(wù)器上使用,適合高性能、低延遲的數(shù)據(jù)庫(kù)和文件系統(tǒng)存儲(chǔ)。選擇哪種方案應(yīng)根據(jù)具體業(yè)務(wù)需求和數(shù)據(jù)類型決定。UU云小編將從定義特點(diǎn)、使用方式與共享、存儲(chǔ)與訪問(wèn)特性、應(yīng)用場(chǎng)景等四個(gè)方面
    的頭像 發(fā)表于 11-01 10:57 ?150次閱讀

    AI大模型與傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別

    多個(gè)神經(jīng)網(wǎng)絡(luò)層組成,每個(gè)層都包含大量的神經(jīng)元和權(quán)重參數(shù)。 傳統(tǒng)機(jī)器學(xué)習(xí) :模型規(guī)模相對(duì)較小,參數(shù)數(shù)量通常只有幾千到幾百萬(wàn)個(gè),模型結(jié)構(gòu)相對(duì)簡(jiǎn)單。 二、訓(xùn)練數(shù)據(jù)需求 AI大模型 :需要大規(guī)
    的頭像 發(fā)表于 10-23 15:01 ?549次閱讀

    使用帶有三個(gè)DC-DC模塊的UCC39002的48VIN、12VOUT負(fù)載共享系統(tǒng)

    電子發(fā)燒友網(wǎng)站提供《使用帶有三個(gè)DC-DC模塊的UCC39002的48VIN、12VOUT負(fù)載共享系統(tǒng).pdf》資料免費(fèi)下載
    發(fā)表于 10-22 10:23 ?0次下載
    使用帶有<b class='flag-5'>三個(gè)</b>DC-DC模塊的UCC39002的48VIN、12VOUT<b class='flag-5'>負(fù)載</b>共享系統(tǒng)

    RISC-V如何支持不同的AI機(jī)器學(xué)習(xí)框架和庫(kù)?

    RISC-V如何支持不同的AI機(jī)器學(xué)習(xí)框架和庫(kù)?還請(qǐng)壇友們多多指教一下。
    發(fā)表于 10-10 22:24

    AI引擎機(jī)器學(xué)習(xí)陣列指南

    云端動(dòng)態(tài)工作負(fù)載以及超高帶寬網(wǎng)絡(luò),同時(shí)還可提供高級(jí)安全性功能。AI 和數(shù)據(jù)科學(xué)家以及軟硬件開(kāi)發(fā)者均可充分利用高計(jì)算密度的優(yōu)勢(shì)來(lái)加速提升任何應(yīng)用的性能。AI 引擎
    的頭像 發(fā)表于 09-18 09:16 ?384次閱讀
    <b class='flag-5'>AI</b>引擎<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>陣列指南

    機(jī)器人語(yǔ)言系統(tǒng)包括三個(gè)基本狀態(tài)

    機(jī)器人語(yǔ)言系統(tǒng)(有時(shí)也被稱為機(jī)器人語(yǔ)言操作系統(tǒng))確實(shí)包括三個(gè)基本狀態(tài),這些狀態(tài)是機(jī)器人程序運(yùn)行和管理的核心組成部分。它們分別是: 監(jiān)控狀態(tài) :在此狀態(tài)下,系統(tǒng)負(fù)責(zé)對(duì)
    的頭像 發(fā)表于 09-04 09:24 ?497次閱讀

    相電零線電流過(guò)大原因是什么

    負(fù)載不平衡 相電系統(tǒng)由三個(gè)相位的電壓和電流組成,它們之間相互垂直,形成一個(gè)閉合的回路。在理想情況下,三個(gè)相位的
    的頭像 發(fā)表于 08-14 09:41 ?1391次閱讀

    LM258A兩個(gè)上電后燒穿,三個(gè)不正常工作是什么原因導(dǎo)致的?

    您好 客戶在使用LM258AD/SOIC-8,小批100臺(tái),遇到兩個(gè)上電后燒穿,三個(gè)不正常工作。原理圖如下, VDD± 12V,輸出DC 2.5V,麻煩問(wèn)下,可能是什么原因,有沒(méi)有好
    發(fā)表于 08-02 11:54

    簡(jiǎn)述極管的三個(gè)工作區(qū)域

    極管的三個(gè)區(qū)域,通常指的是其在不同工作條件下的狀態(tài)區(qū)域,即截止區(qū)、放大區(qū)和飽和區(qū)。這三個(gè)區(qū)域定義了極管在不同電壓和電流條件下的行為特性,
    的頭像 發(fā)表于 07-29 10:50 ?3256次閱讀

    可調(diào)變阻器三個(gè)引腳怎么區(qū)分

    的區(qū)分對(duì)于正確使用可調(diào)變阻器至關(guān)重要。本文將介紹可調(diào)變阻器的三個(gè)引腳的區(qū)分方法。 一、可調(diào)變阻器的工作原理 在了解可調(diào)變阻器的三個(gè)引腳之前,我們首先需要了解其工作原理。可調(diào)變阻器主要由
    的頭像 發(fā)表于 07-24 11:12 ?1168次閱讀

    機(jī)器人視覺(jué)可以分為哪三個(gè)部分?

    機(jī)器人視覺(jué)是機(jī)器人技術(shù)中的一個(gè)重要分支,它涉及到圖像處理、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域。機(jī)器
    的頭像 發(fā)表于 07-04 11:17 ?606次閱讀

    微波測(cè)量的三個(gè)基本參量是什么

    微波測(cè)量是電子工程領(lǐng)域中的一個(gè)重要分支,它涉及到對(duì)微波信號(hào)的頻率、幅度、相位等參數(shù)的測(cè)量。在微波測(cè)量中,有三個(gè)基本參量:頻率、幅度和相位。這三個(gè)參量是微波信號(hào)的基本特征,對(duì)于微波系統(tǒng)的設(shè)計(jì)、調(diào)試
    的頭像 發(fā)表于 05-28 14:46 ?1323次閱讀

    如何判斷極管的三個(gè)極性

    極管是電子電路中的基本元件之一,其性能的好壞直接影響到整個(gè)電路的性能。而判斷極管的三個(gè)極性(基極b、發(fā)射極e、集電極c)是電路分析和設(shè)計(jì)中不可或缺的一步。下面將詳細(xì)介紹判斷極管
    的頭像 發(fā)表于 05-21 15:26 ?6359次閱讀

    個(gè)籬笆三個(gè)樁——記晶體極管的發(fā)明

    個(gè)籬笆三個(gè)樁——記晶體極管的發(fā)明
    的頭像 發(fā)表于 05-12 08:14 ?714次閱讀
    一<b class='flag-5'>個(gè)</b>籬笆<b class='flag-5'>三個(gè)</b>樁——記晶體<b class='flag-5'>三</b>極管的發(fā)明
    RM新时代网站-首页