RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

南京紫光基于對象存儲系統(tǒng)的隨機(jī)讀寫對象的方法

汽車玩家 ? 來源:愛集微 ? 作者:愛集微 ? 2020-01-03 10:55 ? 次閱讀

紫光的該項專利提出的基于對象存儲的隨機(jī)讀寫對象的方法,以索引對象和多個數(shù)據(jù)對象來構(gòu)成一個向用戶提供服務(wù)的完整對象,在索引對象中記錄各個數(shù)據(jù)對象中的數(shù)據(jù)在整個數(shù)據(jù)段中的位置關(guān)系,基于這樣的存儲方式能夠大大縮短隨機(jī)讀寫時間。

集微網(wǎng)消息,作為中國三大半導(dǎo)體存儲企業(yè)之一的紫光集團(tuán),為了促進(jìn)存儲產(chǎn)業(yè)的建設(shè),在武漢長江存儲項目之后,又在南京展開了產(chǎn)業(yè)基地的重大項目。

隨著互聯(lián)網(wǎng)、Web2 .0的快速發(fā)展,人們上傳海量的照片、視頻、音樂,社交軟件每天都新增數(shù)十億條內(nèi)容,人們每天發(fā)送數(shù)千億封電子郵件。據(jù)IDC統(tǒng)計未來在10年間數(shù)據(jù)將增長44倍,到2020年全球數(shù)據(jù)將增加到35ZB,其中80%是非結(jié)構(gòu)化數(shù)據(jù),且大部分是非活躍數(shù)據(jù)。

面對如此龐大的數(shù)據(jù)量,僅具備PB級擴(kuò)展能力的塊存儲(例如SAN架構(gòu))和文件存儲(例如NAS架構(gòu))顯得有些無能為力。人們需要一種全新架構(gòu)的存儲系統(tǒng),這種存儲系統(tǒng)需要具備極高的可擴(kuò)展性,能夠滿足人們對存儲容量TB到EB規(guī)模的擴(kuò)展需求,于是對象存儲應(yīng)運(yùn)而生。然而面對大量隨機(jī)讀寫的場景,特別是針對GB和TB級別大小的對象,對象存儲的缺點就暴露出來了,對CPU、內(nèi)存和網(wǎng)絡(luò)帶寬的要求非常高,即使在資源條件很高的情況下,隨機(jī)讀寫耗時也很長。

針對現(xiàn)有技術(shù)的不足,南京紫光申請了一項名為“基于對象存儲的隨機(jī)讀寫對象的方法和系統(tǒng)”的發(fā)明專利(申請?zhí)枺?01810554758.8),申請人為南京紫光云信息科技有限公司。

南京紫光基于對象存儲系統(tǒng)的隨機(jī)讀寫對象的方法

圖1

圖1是該專利提出的對象存儲方式的組成示意圖,一個完整的對象包括一個索引對象和多個數(shù)據(jù)對象,數(shù)據(jù)存儲在這些數(shù)據(jù)對象中,索引對象用來記錄完整對象的基本信息以及數(shù)據(jù)對象中的數(shù)據(jù)在整個數(shù)據(jù)段中的位置。索引對象主要包括索引頭信息和數(shù)據(jù)段信息,索引頭信息中提供了對象的基本信息,包含對象大小等,數(shù)據(jù)段信息記錄了數(shù)據(jù)段與數(shù)據(jù)對象中的數(shù)據(jù)的對應(yīng)關(guān)系。

南京紫光基于對象存儲系統(tǒng)的隨機(jī)讀寫對象的方法

圖2

上圖是該專利提出的一種對象存儲系統(tǒng)的結(jié)構(gòu)示意圖。該存儲系統(tǒng)包括客戶端和對象存儲設(shè)備。對象存儲設(shè)備指的是向用戶提供對象存儲服務(wù)的設(shè)備或資源 ,比如存儲云等??蛻舳朔譃閮煞N,一種是標(biāo)準(zhǔn)客戶端 ,一種是集成SDK (Software Development Kit,軟件開發(fā)工具包)的客戶端,由SDK提供相關(guān)接口來讀寫。

我們通過圖2對該系統(tǒng)結(jié)構(gòu)做一個簡要說明。網(wǎng)關(guān)由請求分析模塊、透傳模塊、SDK讀取模塊、SDK遍歷模塊和SDK刪除模塊組成。首先S3客戶端發(fā)送請求給網(wǎng)關(guān),網(wǎng)關(guān)收到請求后,通過請求分析模塊解析請求類型,根據(jù)請求類型和請求目標(biāo)調(diào)用其他模塊進(jìn)行相應(yīng)操作。請求類型包括讀取(GET)對象、刪除(DELETE)對象、遍歷對象、寫入(PUT)對象等。當(dāng)請求類型是讀取、刪除或遍歷請求時,判斷被請求的對象是否為索引對象,如果是,則調(diào)用相應(yīng)的SDK模塊進(jìn)行處理;如果被請求的對象為標(biāo)準(zhǔn)對象,讀取請求可以直接通過透傳模塊獲取數(shù)據(jù),刪除請求直接刪除對象,而對于遍歷請求則不做任何處理;如果請求類型是其他請求,那么直接通過透傳模塊將請求透傳到對象存儲設(shè)備中,由對象存儲設(shè)備來處理。

該專利提出的這種基于對象存儲的隨機(jī)讀寫對象的方法,以索引對象和多個數(shù)據(jù)對象來構(gòu)成一個向用戶提供服務(wù)的完整對象,在索引對象中記錄各個數(shù)據(jù)對象中的數(shù)據(jù)在整個數(shù)據(jù)段中的位置關(guān)系,基于這樣的存儲方式能夠大大縮短隨機(jī)讀寫時間。

在相關(guān)政策的支持下,國內(nèi)的存儲產(chǎn)業(yè)發(fā)展迅猛,誕生了許多諸如紫光集團(tuán)這樣的存儲公司。為了打破國外的壟斷,它們?yōu)榭萍紕?chuàng)新、產(chǎn)品升級注入了許多心血,為我國存儲行業(yè)的發(fā)展貢獻(xiàn)出自己的力量。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • cpu
    cpu
    +關(guān)注

    關(guān)注

    68

    文章

    10854

    瀏覽量

    211568
  • 內(nèi)存
    +關(guān)注

    關(guān)注

    8

    文章

    3019

    瀏覽量

    74001
  • 紫光
    +關(guān)注

    關(guān)注

    2

    文章

    412

    瀏覽量

    34016
收藏 人收藏

    評論

    相關(guān)推薦

    對象存儲與傳統(tǒng)網(wǎng)絡(luò)存儲有什么區(qū)別?

    (metadata)和數(shù)據(jù)本身可通過傳統(tǒng)數(shù)據(jù)訪問方法進(jìn)行訪問,對象存儲允許數(shù)據(jù)被直接訪問。此外,支持對象級和命令級的安全策略設(shè)置?! ?b class='flag-5'>對象
    發(fā)表于 09-01 16:27

    什么是對象存儲?

    與傳統(tǒng)的文件存儲不同,對象存儲將數(shù)據(jù)存儲為單個對象,每個對象具有唯一標(biāo)識符(Object ID)
    發(fā)表于 03-10 14:42

    容器實現(xiàn)持久存儲的3個基礎(chǔ)類型:塊存儲對象存儲和文件系統(tǒng)

    決定如何為容器實現(xiàn)持久存儲的第一步是確定您將使用的存儲系統(tǒng)的基礎(chǔ)類型。在這方面, 通常有三種主要選項:文件系統(tǒng)存儲、塊存儲
    的頭像 發(fā)表于 01-24 10:58 ?6610次閱讀

    一種面向高性能計算的分布式對象存儲系統(tǒng)

    帶來了嚴(yán)峻挑戰(zhàn)。 現(xiàn)有分布式文件存儲系統(tǒng)存在數(shù)據(jù)組織低效和訪問語義冗余等問題,嚴(yán)重限制了系統(tǒng)性能。為此,借鑒對象存儲思想,設(shè)計面向高性能計算的分布式
    發(fā)表于 01-29 16:08 ?0次下載
    一種面向高性能計算的分布式<b class='flag-5'>對象</b><b class='flag-5'>存儲系統(tǒng)</b>

    對象存儲與塊存儲的工作方式有何不同?

    對象存儲系統(tǒng)想像成一個沒有目錄和子目錄的層次結(jié)構(gòu)的文件系統(tǒng)。如果文件系統(tǒng)使用目錄結(jié)構(gòu)和文件名的組合來標(biāo)識和定位文件,則存儲
    的頭像 發(fā)表于 11-21 11:41 ?3115次閱讀

    對象存儲是什么?看過就明白了

    介紹: 對象存儲提供了基于分布式系統(tǒng)之上的對象形式的數(shù)據(jù)存儲服務(wù),并且可以通過 RESTful API 數(shù)據(jù)
    發(fā)表于 03-25 14:25 ?9131次閱讀

    杉巖海量對象存儲系統(tǒng)完美替代Documentum

    提供文檔數(shù)據(jù)的存儲和檢索讀取服務(wù)。 近年來隨著非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)性增長,由于Documentum系統(tǒng)架構(gòu)問題,此套解決方案出現(xiàn)了明顯性能瓶頸,杉巖海量對象存儲系統(tǒng)(SandStone
    發(fā)表于 03-26 14:56 ?845次閱讀

    為什么物聯(lián)網(wǎng)存儲基于對象

    物聯(lián)網(wǎng)數(shù)據(jù)需要一個可擴(kuò)展的存儲系統(tǒng),以及支持分析項目。企業(yè)應(yīng)該了解對象存儲系統(tǒng)如何滿足這些需求。
    發(fā)表于 03-22 20:24 ?1479次閱讀

    對象存儲、統(tǒng)一存儲與塊存儲有什么差異

    首先來說對象存儲,最常用的方案,主要是將多臺服務(wù)器內(nèi)置大容量硬盤,再裝上對象存儲管理軟件,管理其它服務(wù)器并提供讀寫訪問的功能。
    發(fā)表于 03-22 20:41 ?1418次閱讀

    對象存儲的優(yōu)勢有哪些?

    中國SDS市場占據(jù)19.6%的份額,實現(xiàn)了very fast的增長。 對象存儲(Object Storage Service,OSS),也叫基于對象存儲,是一種解決和處理離散單元的
    發(fā)表于 04-15 15:11 ?937次閱讀

    人工智能和深度學(xué)習(xí)的對象存儲挑戰(zhàn)

    高性能對象存儲不僅僅需要從基于硬盤的對象存儲系統(tǒng)切換到全閃存對象存儲。向全閃存介質(zhì)的遷移無疑會有
    的頭像 發(fā)表于 06-13 11:06 ?2480次閱讀

    對象存儲的原理分析

    對象存儲最常用的方案,就是多臺服務(wù)器內(nèi)置大容量硬盤,再裝上對象存儲軟件,然后搞幾臺服務(wù)器作為管理節(jié)點,安裝上對象
    發(fā)表于 09-16 14:58 ?5269次閱讀

    對象存儲是什么 對象存儲的優(yōu)勢

    在以前的存儲市場中,占據(jù)主導(dǎo)地位的是DAS/NAS/SAN這三種框架。很多的用戶在這三種之中相互權(quán)衡,最終選擇適合自己的方案來進(jìn)行存儲。但隨著時代的不斷發(fā)展,越來越多的人開始接觸到了對象存儲
    的頭像 發(fā)表于 10-16 17:48 ?4035次閱讀

    什么是對象存儲?

    與傳統(tǒng)的文件存儲不同,對象存儲將數(shù)據(jù)存儲為單個對象,每個對象具有唯一標(biāo)識符(Object ID)
    的頭像 發(fā)表于 03-10 14:41 ?1336次閱讀

    虹科分享 | 網(wǎng)絡(luò)仿真器 | 預(yù)測云中對象存儲系統(tǒng)的實際性能

    對象存儲是一種在云中存儲非結(jié)構(gòu)化數(shù)據(jù)的方法,從理論上講,它使得以其原始格式存儲幾乎無限量的數(shù)據(jù)成為可能。在這種
    的頭像 發(fā)表于 11-29 17:07 ?419次閱讀
    虹科分享 | 網(wǎng)絡(luò)仿真器 | 預(yù)測云中<b class='flag-5'>對象</b><b class='flag-5'>存儲系統(tǒng)</b>的實際性能
    RM新时代网站-首页