摘要：?為什么要打造多租戶的企業(yè)級Maven私有倉庫服務(wù)？ 在Java的世界中，我們通常使用Maven的依賴體系來管理構(gòu)件（artifact，又稱為二方庫或三方庫）的依賴。Maven倉庫用于存儲這些構(gòu)件。一般的遠(yuǎn)程倉庫（比如Maven Central）只提供下載功能。

為什么要打造多租戶的企業(yè)級Maven私有倉庫服務(wù)？

在Java的世界中，我們通常使用Maven的依賴體系來管理構(gòu)件（artifact，又稱為二方庫或三方庫）的依賴。Maven倉庫用于存儲這些構(gòu)件。一般的遠(yuǎn)程倉庫（比如Maven Central）只提供下載功能。而用戶想要管理自己的私有二方庫，就只能搭建Maven私服。常用的Maven私服軟件有Nexus和Artifactory等。Maven私服是很多企業(yè)都需要的功能。

如今云服務(wù)越來越深入人心，用戶不僅紛紛把自身的服務(wù)發(fā)布到云端，甚至也會使用云服務(wù)來管理自己的整個研發(fā)流程。而如果有一個企業(yè)級的Maven私有倉庫服務(wù)，用戶只需要簡單的開通服務(wù)，就可開箱即用，無需自己搭建，免去了維護的煩惱。

現(xiàn)有Maven私庫軟件的問題

打造這樣的服務(wù)首先可能會考慮借助已有的一些Maven私庫解決方案進行改造。Nexus和Artifactory的開源版雖然支持多租戶，但由于其缺乏高可用特性，無法進行水平拓展，單節(jié)點的穩(wěn)定性達不到要求。Nexus和Artifactory的商業(yè)版本具有高可用特性，但單集群支持的用戶數(shù)始終有上限。

如下是Nexus的商業(yè)版本的高可用架構(gòu)：

圖片來源https://help.sonatype.com/repomanager3/high-availability---introduction

雖然其商業(yè)版本支持高可用，但仍具有以下問題：

1. 商業(yè)版本按照用戶數(shù)和使用時間收費，花費較大；

2. 每個節(jié)點是有狀態(tài)的，通過inter-node replication的方式進行狀態(tài)同步，擴縮容有限制；

3. 單個節(jié)點支持的倉庫數(shù)量是有性能限制的，超過限制后需要對集群對sharding處理，進一步增加系統(tǒng)的復(fù)雜度。

Artifactory的商業(yè)版也具有類似的問題。

高可用的Maven私庫服務(wù)的理想架構(gòu)

既然現(xiàn)有的軟件無法滿足要求，那么只有通過自研的方式來自己實現(xiàn)一套高可用的私有倉庫管理系統(tǒng)了。一個理想中的私有倉庫管理系統(tǒng)應(yīng)該是這樣子的。

1. 每個節(jié)點都實現(xiàn)了標(biāo)準(zhǔn)的Maven倉庫服務(wù)規(guī)范，他們彼此之間是無狀態(tài)的，通過負(fù)載均衡向外暴露服務(wù)，這樣進行擴縮容會更加的平滑，便于支撐起海量的服務(wù)；

2. 使用對象存儲服務(wù)作為構(gòu)建的存儲倉庫，比如阿里云的OSS。這樣所有節(jié)點都可以共用存儲，無需擔(dān)心容量及瀏覽問題，有效的解決IO瓶頸；

3. 私有倉庫的元數(shù)據(jù)都存放在于應(yīng)用無關(guān)的數(shù)據(jù)庫中，而索引信息則存儲在Elastic Search中，數(shù)據(jù)庫和Elastic Search都進行了集群化高可用配置。

實現(xiàn)標(biāo)準(zhǔn)的Maven倉庫服務(wù)規(guī)范

拋開倉庫管理、用戶及權(quán)限管理、系統(tǒng)管理等功能來說，一個最小可用的Maven倉庫服務(wù)僅需要滿足支持Maven客戶端進行上傳和下載的功能。也就是說私有倉庫服務(wù)暴露的http URL需要滿足一定的布局，具體可參見Repository Layout - Final一文。首先需要理解兩個概念。

Maven依賴

Maven依賴是我們在構(gòu)建項目時使用到的構(gòu)件(artifact)，也就是常說的二方庫和三方庫。比如我們項目想使用fastjson組件時，需要在項目中的pom.xml文件中加入如下依賴：

??com.alibaba
??fastjson
??1.2.47

如上所示，在Maven世界中確定一個構(gòu)件需要三個參數(shù)：groupId,artifactId,version。這三個參數(shù)構(gòu)成了Maven世界中的坐標(biāo)。

主構(gòu)件和次要構(gòu)件

其實除了這三個參數(shù)外，還有另外兩個參數(shù)。第一個是packaging。該參數(shù)定義了Maven項目的打包方式，可能的值有pom,?jar,?maven-plugin,?ejb,?war,?ear,?rar,?par等，默認(rèn)值為jar，所以在上述的依賴中并不需要填寫packaging值。第二個是classifier。classifier用來擴充構(gòu)件內(nèi)容。它可以是任意字符串，經(jīng)典的兩個值為javadoc和sources。比如你訪問http://maven.aliyun.com/nexus/service/local/repositories/central/content/com/alibaba/fastjson/1.2.47/，返回的內(nèi)容中除了fastjson-1.2.47.jar還有fastjson-1.2.47-sources.jar和fastjson-1.2.47-javadoc.jar文件。fastjson-1.2.47.jar被稱為主構(gòu)件(Primary Artifacts)，而定義了classifier的構(gòu)件被稱為次要構(gòu)件(Secondary Artifacts)。

如果想獲取次要構(gòu)件可以這樣寫。

??com.alibaba
??fastjson
??1.2.47
??sources

其實Maven倉庫主要就是用來存儲管理這些構(gòu)件。Maven和Gradle之類的客戶端訪問Maven倉庫時，進行上傳和下載構(gòu)件時要求倉庫URL滿足一定的布局。

倉庫URL布局

當(dāng)上傳或下載依賴時，Maven倉庫的URL布局為：

/$groupId[0]/../$groupId[n]/$artifactId/$version/$artifactId-$version.$extension

如果classifier不為空的話（也就是說該構(gòu)件為次要構(gòu)件），則URL布局為：

$groupId[0]/../$groupId[n]/$artifactId/$version/$artifactId-$version-classifier.$extension

在這里會把groupId依據(jù)“.”分割為目錄。比如com.alibaba會變?yōu)閏om/alibaba。fastjson構(gòu)件的jar的倉庫地址為：

/com/alibaba/fastjson/1.2.47/fastjson-1.2.47.jar

而fastjson的次要構(gòu)件javadoc的倉庫地址為：

/com/alibaba/fastjson/1.2.47/fastjson-1.2.47-javadoc.jar

每個主構(gòu)件都應(yīng)該有一個POM文件與之對應(yīng)：

/$groupId[0]/../${groupId[n]/$artifactId/$version/$artifactId-$version.pom

次要構(gòu)件則無需單獨的POM文件，它會引用主構(gòu)件的POM文件。

Maven會為每個構(gòu)件（包括pom文件）生成md5和sha1校驗文件，放置在同級目錄下。比如fastjson-1.2.47.jar的校驗文件為fastjson-1.2.47.jar.sh1和fastjson-1.2.47.jar.md5。

只要實現(xiàn)了這樣的URL布局就可以滿足一個最小化的maven倉庫需要具備的功能。

后端對象存儲服務(wù)化改造

根據(jù)日常的統(tǒng)計來看，Maven倉庫服務(wù)的下載數(shù)量遠(yuǎn)遠(yuǎn)大于上傳數(shù)量。為了提供更好、更快的服務(wù)，我們可以對下載進行一系列的優(yōu)化。優(yōu)化以前下載構(gòu)件的流程是這樣的。

從上圖中可以看出，當(dāng)下載構(gòu)件時，倉庫服務(wù)需要先從對象存儲服務(wù)下載資源，然后再轉(zhuǎn)發(fā)給客戶端。整個過程不僅耗時，而且會對倉庫服務(wù)節(jié)點的性能造成影響。經(jīng)過仔細(xì)分析以后，我們發(fā)現(xiàn)其實倉庫服務(wù)無需從對象存儲服務(wù)下載構(gòu)件，只需要收到客戶端的請求后，給客戶端返回一個302狀態(tài)碼，并生成一個預(yù)先簽名的對象存儲服務(wù)下載鏈接。這樣客戶端就可以直接通過對象存儲服務(wù)下載所需的構(gòu)件。

新的實現(xiàn)方式無需倉庫服務(wù)和對象存儲服務(wù)進行數(shù)據(jù)流的交互，IO壓力都交給了更專業(yè)的對象存儲服務(wù)，下載速度可以提高數(shù)倍。

除此之外，還可以進行進一步的優(yōu)化，即在對象存儲服務(wù)之前加上一層CDN服務(wù)，這樣可以保證不同的地區(qū)的客戶端的下載體驗都是一致的。

最后

目前這套架構(gòu)已經(jīng)替換了maven.aliyun.com，現(xiàn)在maven.aliyun.com運行的如絲般平滑。如果你需要使用可以自行上傳下載的maven私有倉庫服務(wù)，可以訪問我們的云效版。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。