在2024OCP全球峰會上，開發(fā)CXL交換機SoC和CXL IP的韓國無晶圓廠初創(chuàng)公司Panmnesia展示了第一個支持CXL的AI集群，該集群采用CXL 3.1交換機。

OCP全球峰會由世界上最大的數(shù)據(jù)中心硬件開發(fā)委員會OCP主辦。在活動期間，全球相關公司將討論如何構建具有成本效益和可持續(xù)性的數(shù)據(jù)中心IT基礎設施的解決方案。在今年特別關注AI相關主題的活動中，Panmnesia展示了其支持CXL的AI集群，以加速用于ChatGPT等服務的下一代人工智能應用RAG，擴大其全球客戶群。

AI競爭的加劇凸顯了CXL的必要性

鑒于AI服務的重要性日益增加，企業(yè)正在努力提高其AI服務的質(zhì)量。近年來，人們不斷嘗試提高準確率，特別是通過增加AI模型的規(guī)?；蚶酶嗟臄?shù)據(jù)。這導致企業(yè)對內(nèi)存的需求增加。為了增加內(nèi)存容量，企業(yè)通常會增加更多的服務器。但是，增加更多的服務器會給公司帶來不必要的支出，因為它們需要購買內(nèi)存本身之外的一系列服務器組件。

這就是下一代連接技術CXL發(fā)揮作用的地方。與前一種方法相比，CXL提供了一種擴展內(nèi)存的新方法。使用CXL，公司只需要購買內(nèi)存和CXL設備，而不需要花錢購買額外的服務器組件。因此，CXL吸引了一些大型IT公司的興趣，這些公司一直遭受著與低效內(nèi)存擴展相關的成本困擾。

AI的CXL解決方案

在CXL獲得全球關注的同時，Panmnesia也因其在CXL技術開發(fā)方面的領導地位而吸引了業(yè)界的興趣。該公司首次在2022年USENIX年度技術會議上推出了世界上第一個帶有CXL 2.0交換機的完整系統(tǒng)框架“DirectCXL”，引起了人們的關注。該公司在2023超級計算展覽會上推出了世界上第一個包含所有類型CXL 3.0/3.1組件的系統(tǒng)，進一步鞏固了其在CXL技術方面的領先地位。此外，該公司還宣布了CXL解決方案，以加速AI，響應行業(yè)需求。

在2023年閃存峰會(CES)上，該公司在其CXL 3.0/3.1框架上展示了推薦系統(tǒng)（商業(yè)上使用最多的AI應用之一）的加速。隨后，在CES 2024上，Panmnesia宣布了一款支持CXL的AI加速器，通過處理接近內(nèi)存的數(shù)據(jù)來減少數(shù)據(jù)移動開銷，從而獲得了CES創(chuàng)新獎。在今年的OCP/OpenInfra峰會上，該公司推出了通過CXL技術擴展GPU系統(tǒng)內(nèi)存的解決方案CXL-GPU，進一步鞏固了Panmnesia作為AI CXL解決方案領導者的地位。

啟用了CXL的AI集群

在2024年OCP全球峰會上，Panmnesia展示了支持CXL的AI集群，它代表了該公司以AI為重點的CXL技術前沿。

支持CXL的AI集群包括一個配備CXL內(nèi)存擴展器的“CXL-Memory節(jié)點”和一個配備CXLGPU的“CXL-GPU節(jié)點”。CXL-Memory節(jié)點通過多個CXL內(nèi)存擴展器提供大容量內(nèi)存，而CXL-GPU節(jié)點通過多個CXL- GPU加速AI模型推理/訓練。

為了構建這個AI集群，Panmnesia使用了它的兩個主要產(chǎn)品：CXL IP和CXL交換機。首先，該公司的CXL IP嵌入到每個系統(tǒng)設備中，以啟用CXL功能。由于CXL IP優(yōu)化了設備之間的通信過程，因此它允許在不犧牲性能的情況下擴展內(nèi)存，同時保持成本效益。接下來，使用Panmnesia的CXL 3.1交換機來互連上述各種類型的設備。

請注意，這不僅僅涉及物理連接。具體來說，CXL將GPU等加速器歸類為第2類設備，將內(nèi)存擴展器歸類為第3類設備。為了將這些不同類型的設備互連在一起，交換機必須支持每種類型的設備所需的功能。由于該公司的CXL 3.1交換機滿足這些要求，因此能夠配置由不同類型設備組成的支持CXL的AI集群。此外，該公司的CXL 3.1交換機在增強跨多個節(jié)點（服務器）的可擴展性方面發(fā)揮著至關重要的作用。這是通過支持為高可擴展性而設計的CXL 3.1特性來實現(xiàn)的，例如多級交換和基于port的路由。

該公司表示：“這是世界上第一個采用CXL 3.1交換機的AI集群，也是世界上第一個采用CXL驅動的AI加速解決方案CXL- GPU的完整系統(tǒng)?！?/p>

CXL 3.1開關芯片也將在25年下半年提供給客戶。

OCP全球峰會演示：在支持CXL的AI集群上加速前沿AI模型RAG

在OCP全球峰會上，Panmnesia在其支持CXL的AI集群上展示了全球首個RAG加速演示。RAG是下一代LLM（大規(guī)模語言模型），目前正在開發(fā)中，并被OpenAI和微軟等公司使用。它可以成為當今行業(yè)的主要應用，因為它解決了現(xiàn)有LLM的固有局限性，即幻覺現(xiàn)象。

簡單解釋一下RAG的概念，它在包含大量數(shù)據(jù)的數(shù)據(jù)庫中搜索與用戶輸入相關的信息，并使用搜索結果來提高LLM響應的準確性。

Panmnesia的一位代表表示:“我們的演示將顯示，通過利用各種類型的CXL設備，Panmnesia的支持CXL的AI集群可以加速RAG應用程序的所有階段?！?/p>

據(jù)該公司透露，通過CXL擴展的大內(nèi)存可以有效地加速搜索過程，而CXL-GPU則可以加速LLM。

Panmensia相關人士表示：“通過CXL 3.1交換器和高性能CXL IP，可以連接數(shù)十臺甚至100臺設備，可以在數(shù)據(jù)中心層面有效地加速RAG等最新AI應用。通過參與OCP全球峰會，我們的目標是加強我們現(xiàn)有的全球合作伙伴關系，擴大我們的客戶群?！?/p>