12月16日,AI時(shí)代數(shù)據(jù)存儲(chǔ)管理新挑戰(zhàn)分論壇在無錫成功召開,會(huì)上來自螞蟻集團(tuán)、SphereEx、平凱星辰、九章云極DataCanvas、StreamNative、騰訊云和華為的技術(shù)專家,共同分享了AI時(shí)代下數(shù)據(jù)庫技術(shù)最新發(fā)展與實(shí)踐。
螞蟻集團(tuán)開發(fā)工程師、HoraeDB 核心開發(fā)者 曹瑞秋 曹瑞秋在《時(shí)序數(shù)據(jù)庫HoraeDB 技術(shù)揭秘》的主題分享中表示,近期已將CeresDB內(nèi)核捐獻(xiàn)到Apache基金會(huì),捐獻(xiàn)的內(nèi)核即為HoraeDB(CeresDB現(xiàn)已更名為HoraeDB)。目前主流的InfluxDB、Prometheus、VictoriaMetrics等時(shí)序數(shù)據(jù)庫仍存在時(shí)間線高基數(shù)問題和社區(qū)分布式方案不夠完備等問題。而HoraeDB采用倒排索引支持多維查詢,時(shí)間線少,適配度高的場景,倒排索引能直接全量存放在內(nèi)存中。HoraeDB的高基數(shù)解決方案的核心是摒棄時(shí)間線概念,去除對(duì)倒排索引的強(qiáng)依賴,針對(duì)不同tag靈活選擇索引。此外,曹瑞秋還詳細(xì)介紹了HoraeDB分布式查詢優(yōu)化、Memtable/SST read等優(yōu)化設(shè)計(jì)思路。 ?SphereEx創(chuàng)始人 張亮 張亮發(fā)表了《數(shù)據(jù)庫增強(qiáng)計(jì)算引擎:數(shù)據(jù)庫架構(gòu)革新新思路》主題演講。他認(rèn)為在海量數(shù)據(jù)急速擴(kuò)張,OLTP、OLAP、HTAP等多種數(shù)據(jù)應(yīng)用場景,數(shù)據(jù)庫技術(shù)棧碎片化等情勢下,數(shù)據(jù)系統(tǒng)應(yīng)對(duì)上應(yīng)用層零入侵,數(shù)據(jù)庫本身工具化,因此中間加速引擎則具有創(chuàng)新性、可插拔、平臺(tái)化。SphereEx公司是由Apache頂級(jí)開源項(xiàng)目ShardingSphere核心團(tuán)隊(duì)創(chuàng)立,致力于為企業(yè)提供面向新一代數(shù)據(jù)架構(gòu)的數(shù)據(jù)庫增強(qiáng)引擎(DBPlusEngine),提供企業(yè)級(jí)、云原生的輕量級(jí)分布式數(shù)據(jù)庫解決方案、數(shù)據(jù)安全合規(guī)及信創(chuàng)平滑替換產(chǎn)品和服務(wù),解決了企業(yè)海量數(shù)據(jù)的存儲(chǔ)與計(jì)算、數(shù)據(jù)安全合規(guī)等問題,幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)架構(gòu)的轉(zhuǎn)型升級(jí)。 ?平凱星辰TiDB Serverless生態(tài)負(fù)責(zé)人 張翔 張翔發(fā)表了《TiDB Serverless:構(gòu)建一個(gè)云原生的Serverless數(shù)據(jù)庫》主題演講。他首先介紹了TiDB 是開源、兼容MySQL、具有分布式,可保障業(yè)務(wù)連續(xù)性的真正的內(nèi)核級(jí)HTAP分布式混合負(fù)載數(shù)據(jù)處理平臺(tái),在此之后的TiDB Serverless是在去年由PingCAP推出的一款云原生的Serverless數(shù)據(jù)服務(wù)演進(jìn)而來,已經(jīng)由經(jīng)典分布式HTAP改造為下一代Cloud Native架構(gòu)。因此可以實(shí)現(xiàn)如支持多租戶的統(tǒng)一接入網(wǎng)關(guān)、TiFlash計(jì)算存儲(chǔ)分離、計(jì)算資源池化、TiKV Keyspace,以及Scale to Zero、實(shí)時(shí)喚醒、自動(dòng)擴(kuò)縮容等按需分配,可以利用云上的海量資源、高達(dá)11個(gè)9的持久性、微服務(wù)化,更高效地使用云上資源,降低爆炸半徑等真正的原生性能,以此實(shí)現(xiàn)全量數(shù)據(jù)的彈性,以及簡單易用,降低AI時(shí)代的數(shù)據(jù)成本。 ?九章云極DataCanvas資深架構(gòu)師 孟圣智 孟圣智發(fā)表了《DingoDB:融合SQL與向量,構(gòu)建功能完整的RAG數(shù)據(jù)庫底座》主題演講,他表示AI時(shí)代數(shù)據(jù)需要從更多存儲(chǔ)變?yōu)楦讬z索,九章云極DataCanvas作為AI基礎(chǔ)軟件供應(yīng)商,自主研發(fā)的DingoDB多模向量數(shù)據(jù)庫,實(shí)現(xiàn)結(jié)構(gòu)化與非結(jié)構(gòu)化的聯(lián)合存儲(chǔ)、分析和查詢。DingoDB既是關(guān)系數(shù)據(jù)庫,支持SQL、支持事務(wù),符合用戶使用關(guān)系型數(shù)據(jù)庫的習(xí)慣。同時(shí),DingoDB也是向量數(shù)據(jù)庫,支持Python和Java SDK,可以像使用大多數(shù)純向量數(shù)據(jù)庫一樣,無縫對(duì)接LLM App,可以實(shí)現(xiàn)企業(yè)知識(shí)庫、大模型記憶體、實(shí)時(shí)決策指標(biāo)計(jì)算能力、非結(jié)構(gòu)化數(shù)據(jù)的檢索、Vector Ocean數(shù)據(jù)支撐平臺(tái)、結(jié)構(gòu)化與非結(jié)構(gòu)化的融合分析等多種知識(shí)檢索應(yīng)用場景。 ?StreamNative聯(lián)合創(chuàng)始人、Apache Pulsar PMC Member 翟佳 翟佳發(fā)表了《云原生批流融合數(shù)據(jù)平臺(tái)助力AI/LLM的實(shí)時(shí)數(shù)據(jù)處理》主題演講,他表示Pulsar從捐贈(zèng)給Apache軟件基金會(huì)后的幾年里一直在高速增長。Pulsar采用存算分離云原生架構(gòu)、支持多種語言,批和流統(tǒng)一視圖,可以與Flink、Spark等批流一體計(jì)算引擎有效地結(jié)合,方便管理實(shí)時(shí)和歷史數(shù)據(jù),確保數(shù)據(jù)新鮮度,將批流一體的數(shù)據(jù)與向量數(shù)據(jù)庫結(jié)合,確保大模型的數(shù)據(jù)顯現(xiàn)度和準(zhǔn)確性,以提高模型準(zhǔn)確性,降低模型幻覺。 ?騰訊開源專家 耿航 耿航發(fā)表了《騰訊云TDSQL平滑去O的機(jī)遇挑戰(zhàn)與開源實(shí)踐》主題演講,他表示核心數(shù)據(jù)庫平滑替換,需要從內(nèi)核、性能、使用習(xí)慣三個(gè)層面全面兼容,并且是一個(gè)完整的系統(tǒng)工程。騰訊云分布式數(shù)據(jù)庫TDSQL PG開源社區(qū)版OpenTenBase是完整去O和兼容O的數(shù)據(jù)庫內(nèi)核,以內(nèi)核兼容為基礎(chǔ),打造從驅(qū)動(dòng)、工具、內(nèi)核三個(gè)層面的甲骨文兼容能力,填補(bǔ)基于Postgres的開源分布式HTAP系統(tǒng)的空白。OpenTenBase已吸引超過10個(gè)國家和地區(qū)的開發(fā)者關(guān)注,希望通過騰訊及上下游伙伴的技術(shù)投入,打造立足中國,面向全球的開放數(shù)字基礎(chǔ)設(shè)施數(shù)據(jù)底座。 ?華為openGauss內(nèi)核技術(shù)專家 胡正超 胡正超發(fā)表了《openGauss內(nèi)核架構(gòu)雙引擎,驅(qū)動(dòng)大規(guī)模數(shù)據(jù)處理》主題演講,并分享了openGauss 5.1版本持續(xù)在高性能、高可用、高安全、高智能內(nèi)核上增強(qiáng)能力,同時(shí)在DataPod和DataKit持續(xù)創(chuàng)新,目標(biāo)是實(shí)現(xiàn)更高效的大規(guī)模數(shù)據(jù)處理,更豐富的場景支持,更便捷的使用體驗(yàn)。其中DataPod在5.1版本實(shí)現(xiàn)了一些新功能,提升了系統(tǒng)的易用性、可用性和性能。DataKit為openGauss的數(shù)據(jù)全生命周期生產(chǎn)力工具,當(dāng)前持續(xù)在平臺(tái)架構(gòu)和功能插件上構(gòu)建新功能,如增加告警中心、數(shù)據(jù)遷移、開發(fā)、運(yùn)維等插件。 近幾年數(shù)據(jù)庫百花齊放,快速發(fā)展。生成式AI爆發(fā)之后,AI大模型加速普及應(yīng)用,模型訓(xùn)練推理的準(zhǔn)確性,對(duì)系統(tǒng)數(shù)據(jù)與信息的存儲(chǔ)、檢索、計(jì)算提出了新挑戰(zhàn)。從本次分論壇嘉賓分享的干貨內(nèi)容,我們可以看到,針對(duì)AI的數(shù)據(jù)系統(tǒng)可能正在走向殊途同歸的技術(shù)路徑,那就是分布式原生、實(shí)時(shí)、向量化(時(shí)序也可看作一種向量),另外存算分離、并行架構(gòu),以滿足AI對(duì)數(shù)據(jù)的性能、成本等要求。
點(diǎn)擊“閱讀原文”訪問AtomGit
下載經(jīng)嘉賓授權(quán)的演講材料
原文標(biāo)題:AI時(shí)代數(shù)據(jù)存儲(chǔ)管理新挑戰(zhàn)分論壇圓滿舉辦
文章出處:【微信公眾號(hào):開放原子】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
OpenHarmony
+關(guān)注
關(guān)注
25文章
3713瀏覽量
16254 -
開放原子基金會(huì)
+關(guān)注
關(guān)注
1文章
483瀏覽量
5186
原文標(biāo)題:AI時(shí)代數(shù)據(jù)存儲(chǔ)管理新挑戰(zhàn)分論壇圓滿舉辦
文章出處:【微信號(hào):開放原子,微信公眾號(hào):開放原子】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論