面臨的主要技術(shù)挑戰(zhàn)之一是邊緣計算：如何在資源受限的嵌入式設(shè)備上執(zhí)行計算密集型人工智能任務(wù)。在這種追求中，硬件和軟件從根本上相互矛盾，因為設(shè)計人員試圖同時平衡低功耗、低成本和高性能。

機器學(xué)習(xí)硬件初創(chuàng)公司SiMa.ai現(xiàn)在正試圖通過設(shè)計“軟件優(yōu)先”的硬件來應(yīng)對這一挑戰(zhàn)，以實現(xiàn)前所未有的邊緣AI性能。本周，SiMa.ai發(fā)布了他們的新MLSoC平臺，這是一個以ML為中心的SoC，旨在使邊緣AI比以往任何時候都更加直觀和靈活。

在本文中，我們將討論邊緣AI的現(xiàn)狀，以及SiMa.ai的新平臺希望如何解決其一些缺點。

Edge AI的現(xiàn)狀

當(dāng)談到將AI帶到邊緣時，也被稱為TinyML，這個過程通常非常以硬件為中心。

通常，邊緣AI的挑戰(zhàn)在于設(shè)備資源非常有限，RAM、處理能力和電池壽命有限。因此，TinyML的設(shè)計過程通常圍繞著將機器學(xué)習(xí)模型定制為設(shè)備的大多數(shù)預(yù)定硬件功能。

量化感知培訓(xùn)流程圖。圖片來源：Courtesy of

Novac等人

為此，軟件流程包括獲取給定的機器學(xué)習(xí)模型，在所需的數(shù)據(jù)集上對其進行訓(xùn)練，然后將其縮小以適應(yīng)邊緣設(shè)備的約束。這種模型縮放通常通過量化過程來完成，量化過程是降低模型權(quán)重和參數(shù)的精度以使它們消耗更少內(nèi)存的過程。

通過這種方式，TinyML工程師可以采用大型機器學(xué)習(xí)模型，該模型旨在部署在更強大的設(shè)備上，并將其縮小以適應(yīng)邊緣設(shè)備。nbsp;

正如SiMa.ai所看到的，這種工作流程的問題在于，這些模型實際上并不是為邊緣而設(shè)計的，而是為邊緣而設(shè)計的。這在性能和靈活性方面受到限制，因為模型從未真正針對硬件進行優(yōu)化，反之亦然。

SiMa的新SoC解決方案

為了解決這個問題，SiMa.ai最近發(fā)布了他們的MLSoC平臺，這是一個“軟件優(yōu)先”的邊緣AI SoC。

MLSoC平臺基于16 nm工藝構(gòu)建，是一種異構(gòu)計算片上系統(tǒng)（SoC），集成了許多專用硬件模塊用于AI加速。在這些硬件中，模塊包括SiMa.ai專有的機器學(xué)習(xí)加速器（MLA）。該公司表示，它以10 TOPS/W的速度為神經(jīng)網(wǎng)絡(luò)計算提供50 TOPS。

SoC的應(yīng)用處理單元（APU）由四個1.15 GHz Arm Cortex-A65雙線程處理器組成。還有一個視頻編碼器和解碼器模塊以及一個計算機視覺單元（CVU），它由一個四核Synopsys ARC EV 74嵌入式視覺處理器組成。這些模塊由4 MB片內(nèi)存儲器以及32位LPDDR 4 DRAM接口支持。更多信息可在MLSoC產(chǎn)品簡介中找到。

MLSoC的框圖。圖片來源：Courtesy of

SiMa.ai

然而，除了硬件之外，SiMa.ai聲稱其MLSoC平臺是獨一無二的，因為它是與其ML軟件工具鏈共同設(shè)計的。具體來說，該公司聲稱其方法包括精心定義的中間表示以及新穎的編譯器優(yōu)化技術(shù)，以支持廣泛的框架和網(wǎng)絡(luò)。

這些框架包括TensorFlow，PyTorch和ONNX等熱門框架，同時還聲稱支持超過120個網(wǎng)絡(luò)。其想法是，通過使用MLSoC軟件工具鏈，工程師可以開發(fā)專門針對MLSoC SoC的ML模型，從而提高設(shè)計靈活性、效率和性能。

重新構(gòu)想TinyML的方法？

總的來說，該公司聲稱，他們的MLSoC平臺現(xiàn)在正在向客戶交付，與同類競爭對手相比，可以在計算機視覺方面提供10倍的性能/功耗解決方案。為了支持這一點，他們聲稱在ResNet-50 v1上具有500 FPS/W的一流DNN推理效率，批量大小為1。nbsp;

憑借其獨特的軟件/硬件兼容性方法，www.example.com希望重新想象業(yè)界對TinyML的方法，并借此釋放前所未有的性能和效率。

審核編輯 黃宇