由于計(jì)算機(jī)架構(gòu)的革命性發(fā)展以及人工智能和機(jī)器學(xué)習(xí)應(yīng)用的突破性進(jìn)展，嵌入式系統(tǒng)技術(shù)正在經(jīng)歷一個(gè)轉(zhuǎn)型時(shí)期。

根據(jù)設(shè)計(jì)，機(jī)器學(xué)習(xí)模型使用大量資源，并且需要強(qiáng)大的計(jì)算機(jī)基礎(chǔ)設(shè)施。因此，它們通常是具有更多資源的運(yùn)行設(shè)備，例如 PC 或云服務(wù)器，其中數(shù)據(jù)處理效率很高。機(jī)器學(xué)習(xí)應(yīng)用程序、ML 框架和處理器計(jì)算能力現(xiàn)在可以直接部署在嵌入式設(shè)備上，這要?dú)w功于機(jī)器學(xué)習(xí)和高級(jí)算法的最新發(fā)展。這稱為嵌入式機(jī)器學(xué)習(xí) （E-ML）。

處理過程被移動(dòng)到更靠近邊緣的地方，傳感器使用嵌入式機(jī)器學(xué)習(xí)技術(shù)收集數(shù)據(jù)。這有助于消除帶寬和連接問題、通過互聯(lián)網(wǎng)傳輸數(shù)據(jù)的安全漏洞以及數(shù)據(jù)傳輸功率使用等障礙。此外，它還支持使用神經(jīng)網(wǎng)絡(luò)和其他機(jī)器學(xué)習(xí)框架，以及信號(hào)處理服務(wù)、模型構(gòu)建、手勢(shì)識(shí)別等。根據(jù)最大化市場(chǎng)研究小組的報(bào)告，2021 年至 2026 年間，全球嵌入式 AI市場(chǎng)預(yù)計(jì)將以 5.4% 的復(fù)合年增長率增長，達(dá)到約 388.7 億美元。

嵌入式機(jī)器學(xué)習(xí)的基本概念

如今，嵌入式計(jì)算系統(tǒng)正迅速擴(kuò)展到人類企業(yè)的各個(gè)領(lǐng)域，從可穿戴健康監(jiān)測(cè)系統(tǒng)、無線監(jiān)控系統(tǒng)、物聯(lián)網(wǎng) （IoT） 上的網(wǎng)絡(luò)系統(tǒng)、家庭自動(dòng)化的智能家電到汽車的防抱死制動(dòng)系統(tǒng)，都得到了實(shí)際應(yīng)用。

用于嵌入式平臺(tái)的常見 ML 技術(shù)包括 SVM（支持向量機(jī)）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）、DNN（深度神經(jīng)網(wǎng)絡(luò)）、k-NN（K 最近鄰）和樸素貝葉斯。使用這些技術(shù)進(jìn)行高效訓(xùn)練和推理需要大量的處理和內(nèi)存資源。即使具有深度緩存結(jié)構(gòu)、多核改進(jìn)等，通用 CPU 也無法處理深度學(xué)習(xí)模型的高計(jì)算需求。這些限制可以通過利用 GPU 和 TPU 處理器等資源來克服。這主要是因?yàn)閺?fù)雜的線性代數(shù)計(jì)算，如矩陣和向量運(yùn)算，是非平凡深度學(xué)習(xí)應(yīng)用程序的組成部分。深度學(xué)習(xí)算法可以在GPU和TPU上非常有效和快速地運(yùn)行，這使它們成為理想的計(jì)算平臺(tái)。

在嵌入式硬件上運(yùn)行機(jī)器學(xué)習(xí)模型稱為嵌入式機(jī)器學(xué)習(xí)。后者根據(jù)以下基本規(guī)則工作：雖然模型執(zhí)行和推理過程發(fā)生在嵌入式設(shè)備上，但神經(jīng)網(wǎng)絡(luò)等 ML 模型的訓(xùn)練發(fā)生在計(jì)算集群或云中。與普遍的看法相反，事實(shí)證明，深度學(xué)習(xí)矩陣操作可以在CPU功能受限的硬件上有效地執(zhí)行，甚至可以在微型16位/ 32位微控制器上執(zhí)行。使用極小的硬件（如超低功耗微控制器）來運(yùn)行ML模型的嵌入式機(jī)器學(xué)習(xí)類型稱為TinyML。

機(jī)器學(xué)習(xí)方法可以分為三大類：強(qiáng)化學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，可以學(xué)習(xí)標(biāo)記的數(shù)據(jù);在無監(jiān)督學(xué)習(xí)中，可以在未標(biāo)記的數(shù)據(jù)中找到隱藏的模式;在強(qiáng)化學(xué)習(xí)中，系統(tǒng)可以通過試錯(cuò)法從其直接環(huán)境中學(xué)習(xí)。學(xué)習(xí)過程被稱為模型的“訓(xùn)練階段”，它經(jīng)常利用具有大量處理能力的計(jì)算機(jī)架構(gòu)（如多個(gè) GPU）進(jìn)行。然后將訓(xùn)練好的模型應(yīng)用于新數(shù)據(jù)，以便在學(xué)習(xí)后做出明智的決策。實(shí)現(xiàn)的推理階段稱為此過程。物聯(lián)網(wǎng)和移動(dòng)計(jì)算設(shè)備，以及處理資源有限的其他用戶設(shè)備，經(jīng)常用于進(jìn)行推理。

機(jī)器學(xué)習(xí)技術(shù)

嵌入式機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域

智能傳感器系統(tǒng)

機(jī)器學(xué)習(xí)技術(shù)在嵌入式傳感器網(wǎng)絡(luò)系統(tǒng)中的有效應(yīng)用引起了極大的興趣。包括GMM（高斯混合模型）、SVM和DNN在內(nèi)的眾多機(jī)器學(xué)習(xí)算法正在移動(dòng)自組織網(wǎng)絡(luò)、智能可穿戴系統(tǒng)和智能傳感器網(wǎng)絡(luò)等重要領(lǐng)域找到實(shí)際應(yīng)用。

異構(gòu)計(jì)算系統(tǒng)

包含多種類型處理內(nèi)核的計(jì)算機(jī)系統(tǒng)稱為異構(gòu)計(jì)算系統(tǒng)。大多數(shù)異構(gòu)計(jì)算系統(tǒng)都用作加速單元，以將計(jì)算要求苛刻的任務(wù)從CPU轉(zhuǎn)移出去并加速系統(tǒng)。異構(gòu)多核架構(gòu)是一個(gè)應(yīng)用領(lǐng)域，為了加速計(jì)算昂貴的機(jī)器學(xué)習(xí)技術(shù)，中間件平臺(tái)將 GPU 加速器集成到已經(jīng)存在的基于 CPU 的架構(gòu)中，從而提高 ML 數(shù)據(jù)模型集的處理效率。

嵌入式 FPGA

由于其低成本、出色的性能、能源經(jīng)濟(jì)性和靈活性，F(xiàn)PGA 在計(jì)算行業(yè)中越來越受歡迎。它們經(jīng)常用于預(yù)實(shí)現(xiàn)ASIC架構(gòu)和設(shè)計(jì)加速單元。使用 FPGA 和基于 OpenCL 的 FPGA 硬件加速進(jìn)行 CNN 優(yōu)化是使用 FPGA 架構(gòu)來加速機(jī)器學(xué)習(xí)模型執(zhí)行的應(yīng)用領(lǐng)域。

好處

高效的網(wǎng)絡(luò)帶寬和功耗

在嵌入式硬件上運(yùn)行的機(jī)器學(xué)習(xí)模型可以直接從數(shù)據(jù)源中提取特征和見解。因此，不再需要將相關(guān)數(shù)據(jù)傳輸?shù)竭吘壔蛟品?wù)器，從而節(jié)省帶寬和系統(tǒng)資源。微控制器是眾多高能效嵌入式系統(tǒng)之一，無需充電即可長時(shí)間運(yùn)行。與在移動(dòng)計(jì)算系統(tǒng)上執(zhí)行的機(jī)器學(xué)習(xí)應(yīng)用程序相比，TinyML可以更大程度地提高嵌入式平臺(tái)機(jī)器學(xué)習(xí)應(yīng)用程序的電源自主性。

全面的隱私

嵌入式機(jī)器學(xué)習(xí)消除了在云服務(wù)器上傳輸數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)的需要。這降低了數(shù)據(jù)泄露和隱私泄露的可能性，這對(duì)于處理敏感數(shù)據(jù)（如個(gè)人個(gè)人信息、醫(yī)療數(shù)據(jù)、知識(shí)產(chǎn)權(quán) （IP） 信息和機(jī)密信息）的應(yīng)用程序至關(guān)重要。

低延遲

嵌入式 ML 支持低延遲操作，因?yàn)樗讼蛟七M(jìn)行大量數(shù)據(jù)傳輸?shù)男枰?。因此，在各種工業(yè)場(chǎng)景中實(shí)現(xiàn)現(xiàn)場(chǎng)執(zhí)行和控制等實(shí)時(shí)用例時(shí)，嵌入式機(jī)器學(xué)習(xí)是一個(gè)不錯(cuò)的選擇。

嵌入式機(jī)器學(xué)習(xí)應(yīng)用程序是使用方法和工具構(gòu)建的，這些方法和工具可以在資源有限的節(jié)點(diǎn)上創(chuàng)建和部署機(jī)器學(xué)習(xí)模型。它們?yōu)橄Ｍ畲蠡鋽?shù)據(jù)價(jià)值的企業(yè)提供了大量創(chuàng)新機(jī)會(huì)。它還有助于優(yōu)化其機(jī)器學(xué)習(xí)應(yīng)用程序的帶寬、空間和延遲。

審核編輯：郭婷