以下文章來源于阿里云瑤池數(shù)據(jù)庫，作者阿里云AnalyticDB

1. 概述

阿里云瑤池旗下的云原生數(shù)倉AnalyticDB for PostgreSQL與AMD新一代硬件深度優(yōu)化，結(jié)合全自研計算引擎及行列混合存儲實(shí)現(xiàn)性能升級，綜合性能提升30%。結(jié)合豐富的企業(yè)級能力幫助企業(yè)構(gòu)建離在線一體、流批一體綜合數(shù)據(jù)分析平臺，采用同一引擎即可滿足離線批處理、流式加工，交互式分析三種場景，在開發(fā)運(yùn)維、時效性及成本上具備更高的性價比。

2. 性能優(yōu)化路徑

2.1 硬件架構(gòu)優(yōu)化

2.1.1 芯片性能提升

AMD和阿里云聯(lián)合打造新一代硬件采用全新CIPU架構(gòu)，處理器采用AMD EPYC Genoa處理器，可提供穩(wěn)定的算力輸出、更強(qiáng)勁的I/O引擎以及芯片級安全加固。

第四代EPYC較比第三代EPYC性能提升顯著，針對分析型數(shù)據(jù)庫產(chǎn)品痛點(diǎn)在高算力，高內(nèi)存帶寬，低延遲等特點(diǎn)進(jìn)行優(yōu)化，可幫助企業(yè)用戶在數(shù)據(jù)倉庫、在線分析場景中具備更好的性能。

2.1.2 計算能效提升

在性能功耗比方面，新一代服務(wù)器在相同核心數(shù)量下（對比搭載兩個64核AMD EPYC 9534和兩個64核的AMD EPYC 7763的服務(wù)器）整數(shù)性能提升約24%，浮點(diǎn)性提升約52%?？梢杂酶俚姆?wù)器來完成同樣的工作，或者用同樣數(shù)量的服務(wù)器在相同的時間內(nèi)完成更多的工作。

2.1.3 安全性和隔離性提升

第四代AMD EPYC支持安全內(nèi)存加密（SME）和安全加密虛擬化（SEV），將內(nèi)存與擁有他的線程相關(guān)聯(lián)，從而幫助擊退旁路攻擊；增加了SEV中加密上下文的數(shù)量，可以容納更多的安全虛擬機(jī)。

通過AMD安全加密狀態(tài)（SEV-ES）幫助保護(hù)虛擬機(jī)狀態(tài)不受惡意或受損管理程序影響；還增加AMD安全嵌套分頁（SEV-SNP）功能，以防止數(shù)據(jù)重放、內(nèi)存重映射等攻擊。

2.2 數(shù)據(jù)庫內(nèi)核優(yōu)化

2.2.1 全自研計算引擎

AnalyticDB for PostgreSQL全自研計算引擎為數(shù)據(jù)處理和交互式分析加速。它通過以下技術(shù)實(shí)現(xiàn)性能提速：

● 應(yīng)用芯片向量化技術(shù)如SIMD指令集等把芯片的并行化計算能力利用到極致。

● 采用LLVM JIT即動態(tài)編譯優(yōu)化，加速計算以提高數(shù)據(jù)處理效率。

● 自適應(yīng)內(nèi)存模型，根據(jù)計算模式動態(tài)選擇行存/列存內(nèi)存模型。

● 針對典型場景提供加速方案，比如針對Runtime Filter加速Join分析，字典特性加速低基數(shù)字段計算場景等。

2.2.2 全自研行列混存

一份存儲下即可支持實(shí)時高吞吐寫入/更新和實(shí)時高聚合分析兩種場景。

寫入方面利用Write Optimized Part高效承接批量/流式數(shù)據(jù)并通過內(nèi)部Optimize優(yōu)化，將數(shù)據(jù)轉(zhuǎn)化為更利于查詢的Read Optimized Part，從而實(shí)現(xiàn)高效的查詢性能。利用Metadata實(shí)現(xiàn)高并發(fā)Update/Delete。

支持基于Btree索引的強(qiáng)主鍵模型，在寫入數(shù)據(jù)時實(shí)現(xiàn)高效精準(zhǔn)去重。在實(shí)時寫入場景中單CPU Core可達(dá)到10萬行/秒的寫入性能。

支持Upsert功能在產(chǎn)生主鍵沖突時用戶可根據(jù)實(shí)際業(yè)務(wù)需要靈活地選擇忽略更新、覆蓋更新或是條件更新模式。

在查詢方面，存儲引擎無縫兼容多種索引類型如Btree、GIN、GIST和自研向量檢索索引，可以實(shí)現(xiàn)任意維度的高性能點(diǎn)查、全文檢索和向量檢索。

2.2.3 資源隔離增強(qiáng)

支持混合負(fù)載實(shí)現(xiàn)資源最大化利用，可同時承載流式寫入，數(shù)據(jù)加工，交互式分析三類任務(wù)。

引擎通過資源組實(shí)現(xiàn)資源管理，相對使用資源隊列更精細(xì)化、管理資源類別更全面。

它支持對CPU、內(nèi)存按照業(yè)務(wù)優(yōu)先級設(shè)置資源隔離策略，支持動態(tài)配置，配置即生效不需要重啟引擎，大大減輕運(yùn)維壓力。

2.2.4 安全能力增強(qiáng)

完善和增強(qiáng)安全能力：

● 網(wǎng)絡(luò)連接安全，支持SSL TLS 1.1/1.2/1.3加密算法，滿足最新的網(wǎng)絡(luò)安全要求。

● 存儲安全，支持云盤加密實(shí)現(xiàn)數(shù)據(jù)加密存儲。

● 加密算法，支持非對稱加密和對稱加密算法如SM4。

● 支持行級和列級權(quán)限管控，做到最細(xì)權(quán)限粒度控制和最小化敏感數(shù)據(jù)訪問。

● 動態(tài)數(shù)據(jù)脫敏，引擎級支持對敏感字段設(shè)置脫敏規(guī)則，實(shí)現(xiàn)敏感信息過濾和保護(hù)。

● 支持SQL審計可對SQL操作明細(xì)進(jìn)行審核。支持事件審計可實(shí)現(xiàn)對異常行為追溯。

3. 測試結(jié)果

性能測試采用國際標(biāo)準(zhǔn)TPC-H測試集進(jìn)行，實(shí)驗(yàn)組搭載AMD EPYC Genoa服務(wù)器 ，對照組集群搭載同等規(guī)格下的其它主流硬件。

3.1 測試資源

3.2 測試過程

3.3 測試總結(jié)

采用國際標(biāo)準(zhǔn)TPC-H測試集以及在同等運(yùn)行環(huán)境下，AnalyticDB for PostgreSQL采用AMD EPY服務(wù)器較比常規(guī)主流服務(wù)器平均性能提升32.7%。

4. 優(yōu)勢及應(yīng)用場景

4.1 離在線一體分析

AnalyticDB for PostgreSQL在AMD硬件加持和全自研計算引擎及存儲助力下，可同時提供穩(wěn)定高效的離線批處理和高性能在線報表分析能力，具備高性價比：

● 數(shù)據(jù)加工后即可為下游報表工具或系統(tǒng)提供在線數(shù)據(jù)分析服務(wù)，避免在多引擎中同步數(shù)據(jù)造成數(shù)據(jù)不一致和時效性低的問題。

● 全自研引擎實(shí)現(xiàn)高性能交互式分析，行列混合存儲可實(shí)現(xiàn)高效的IO裁剪，加速多維組合分析。

● 支持實(shí)時物化視圖實(shí)現(xiàn)高并發(fā)報表查詢。

4.2 海外數(shù)倉平滑遷移

SQL語法全覆蓋并且支持自定義函數(shù)和存儲過程。高度兼容Greenplum/Redshift/Synapse/Snowflake語法。

可覆蓋海外云數(shù)倉產(chǎn)品企業(yè)級能力，在安全能力、資源隔離、容災(zāi)等方面實(shí)現(xiàn)加強(qiáng)。在實(shí)時分析、交互式分析能力上較比海外數(shù)倉功能及性能更好，更具性價比。

4.3 流批一體實(shí)時數(shù)倉

自研業(yè)界領(lǐng)先流批一體引擎讓用戶在數(shù)倉內(nèi)即可開發(fā)流式任務(wù)，支持對批和流任務(wù)進(jìn)行細(xì)粒度的資源隔離。

● 可消費(fèi)Kafka/Flink/DTS實(shí)時數(shù)據(jù)源，支持高吞吐流式數(shù)據(jù)寫入。

● 支持增量實(shí)時物化視圖同步和異步刷新，可實(shí)現(xiàn)實(shí)時多表關(guān)聯(lián)（支持左連接和右連接）、全量歷史數(shù)據(jù)回溯、流和批表關(guān)聯(lián)。

● 可支持實(shí)時Ad-hoc查詢，滿足實(shí)時報表分析和下游應(yīng)用系統(tǒng)高時效性數(shù)據(jù)需求。