機器學習 (ML) 在服務器和移動應用中已經(jīng)風靡多年，現(xiàn)在這種趨勢已蔓延到邊緣設(shè)備，并且變得突出。由于邊緣設(shè)備需要節(jié)能，因此開發(fā)人員需要學習和了解如何將ML模型部署到基于微控制器的系統(tǒng)中。

在微控制器上運行的ML模型通常被稱為tinyML。然而，將模型部署到微控制器并非易事，但它正在變得越來越容易，沒有經(jīng)過任何專業(yè)培訓的開發(fā)人員也能在規(guī)定時間完成部署。

本文探討了嵌入式環(huán)境開發(fā)人員如何通過STMicroelectronics的STM32微控制器開始使用ML。為此，文中展示了如何通過?X-CUBE-AI?將TensorFlow Lite for Microcontrollers模型轉(zhuǎn)換用于STM32CubeIDE，來創(chuàng)建“Hello World”應用。

tinyML用例介紹

tinyML是一個不斷發(fā)展的領(lǐng)域，它將ML功能整合到微控制器等資源和功耗受限的設(shè)備中，通常采用深度神經(jīng)網(wǎng)絡。然后，這些微控制器設(shè)備可以運行ML模型，在邊緣進行有價值的工作。以下幾個用例中的tinyML非常值得關(guān)注。

第一個用例常見于許多移動設(shè)備和家庭自動化設(shè)備，即關(guān)鍵詞識別。通過關(guān)鍵詞識別，嵌入式設(shè)備可以使用麥克風捕獲語音并檢測預先訓練的關(guān)鍵詞。tinyML模型使用表示語音的時間序列輸入，將其轉(zhuǎn)換為語音特征，通常為頻譜圖，其中包含隨時間變化的頻率信息。然后，將頻譜圖輸入經(jīng)過訓練的神經(jīng)網(wǎng)絡，以檢測特定的字詞，結(jié)果就是檢測到特定字詞的概率。圖1顯示了這個過程的示例。

圖1：關(guān)鍵詞識別是tinyML的有趣用例。輸入的語音被轉(zhuǎn)換為頻譜圖，然后輸入經(jīng)過訓練的神經(jīng)網(wǎng)絡，以確定是否有預先訓練的字詞。（圖片來源：Arm）

許多嵌入式環(huán)境開發(fā)人員感興趣的另一個tinyML用例為圖像識別。微控制器從攝像頭捕獲圖像，然后將其輸入預先訓練的模型。模型可以辨別圖中的內(nèi)容。例如，模型可以確定是否有貓、狗或者魚等等。圖像識別用于邊緣的一個很好的例子是視頻門鈴。視頻門鈴通?？梢詸z測門口是否有人，或者是否有放下的包裹。 最后一個非常常見的用例是用tinyML進行預見性維護。預見性維護使用ML基于異常檢測、分類算法和預測模型來預測設(shè)備狀態(tài)。同樣，從HVAC系統(tǒng)到工廠車間設(shè)備，應用非常廣泛。 盡管上述三個用例是目前常見的tinyML，但開發(fā)人員無疑還可以找到更多潛在的用例。以下是相關(guān)應用的列表：

手勢分類

異常檢測

模擬量表讀取器

指導和控制 (GNC)

包裝檢測

無論哪個用例，開始熟悉tinyML的最好方法是使用“Hello World”應用，它可以幫助開發(fā)人員學習和理解實現(xiàn)并運行一個最基礎(chǔ)的系統(tǒng)所遵循的基本流程。在STM32微控制器上運行tinyML模型，有5個必要步驟：

捕獲數(shù)據(jù)

標記數(shù)據(jù)

訓練神經(jīng)網(wǎng)絡

轉(zhuǎn)換模型

在微控制器上運行模型

捕獲、標記和訓練“Hello World”模型

關(guān)于捕獲和標記用于訓練模型所需的數(shù)據(jù)，開發(fā)人員通常有許多選擇。首先，有大量的線上訓練數(shù)據(jù)庫。開發(fā)人員可以搜索他人收集和標記的數(shù)據(jù)。例如，對于基本的圖像檢測，有CIFAR-10或ImageNet。如需訓練模型來檢測照片中的微笑，也有一個圖像集。從在線數(shù)據(jù)存儲庫開始顯然是不錯的選擇。

如果所需的數(shù)據(jù)尚未在互聯(lián)網(wǎng)上公開，開發(fā)人員也可以生成自己的數(shù)據(jù)。可以使用Matlab或其他工具來生成數(shù)據(jù)集。如果不能自動生成數(shù)據(jù)，也可以手動完成。最后，如果覺得這些都太耗時，也可在互聯(lián)網(wǎng)上購買數(shù)據(jù)集。收集數(shù)據(jù)往往是最令人興奮和有趣的選擇，但也最費事。

這里探討的“Hello World”示例展示了如何訓練模型來生成正弦波并將其部署到STM32上。這個示例由Pete Warden和Daniel Situnayake整理，當時他們在谷歌開展TensorFlow Litefor Microcontrollers工作。這樣一來，工作變得更容易，因為他們已經(jīng)整理出了簡單的捕獲、標記和訓練模型的公開教程。可以在Github上找到（點擊此處）；打開鏈接后，開發(fā)人員應點擊“Run in Google Colab”（在Google Colab中運行）按鈕。Google Colab是Google Collaboratory的簡稱，它允許開發(fā)人員在瀏覽器中編寫和執(zhí)行Python，無需配置，并提供對Google GPU的免費訪問。

瀏覽訓練示例將輸出兩個不同的模型文件；一個是為微控制器量化的model.tflite TensorFlow模型，一個是沒有量化的model_no_quant.tflite模型。量化可以表明如何以數(shù)字方式存儲模型的激活和偏置。量化后可以得到更小的模型，更適合于微控制器。好奇的讀者可以在圖2中查看訓練過的模型結(jié)果與實際正弦波結(jié)果的對比。模型的輸出以紅色顯示。正弦波輸出并不完美，但對“Hello World”程序而言，其效果已經(jīng)很好了。

圖2：TensorFlow模型正弦波預測與實際值的對比。（圖片來源：BeningoEmbedded Group）

選擇開發(fā)板

在研究如何轉(zhuǎn)換TensorFlow模型以便在微控制器上運行之前，需要選擇該模型中部署的微控制器。本文將重點介紹STM32微控制器，因為STMicroelectronics公司有許多tinyML/ML工具，可以很好地轉(zhuǎn)換和運行模型。此外，STMicroelectronics有多種與其ML工具兼容的元器件（圖3）。

圖3：圖示為STMicroelectronics AI生態(tài)系統(tǒng)目前支持的微控制器和微處理器單元(MPU)。（圖片來源：STMicroelectronics）

如果辦公室里有這樣一塊開發(fā)板，就非常適合啟動和運行“HelloWorld”應用。然而，如果對本例之外的應用感興趣，想要了解手勢控制或關(guān)鍵詞識別，可以選擇STM32 B-L4S5I-IOT01A開發(fā)套件物聯(lián)網(wǎng)節(jié)點（圖4）。

該開發(fā)板帶有STM32L4+系列Arm Cortex-M4處理器。該處理器有2MB閃存和640KB RAM，為tinyML模型提供了充足的空間。該模塊還帶有STMicroelectronics的MP34DT01微機電系統(tǒng) (MEMS) 麥克風，可用于關(guān)鍵詞識別的應用開發(fā)，適用于tinyML用例實驗。此外，同樣來自STMicroelectronics的板載LIS3MDLTR三軸加速計，可用于基于tinyML的手勢檢測。

圖4：STM32 B-L4S5I-IOT01A開發(fā)套件物聯(lián)網(wǎng)節(jié)點搭載Arm Cortex-M4處理器、MEMS麥克風和三軸加速計，是適應性tinyML實驗平臺。（圖片來源：STMicroelectronics）

使用STM32Cube.AI轉(zhuǎn)換和運行TensorFlow Lite模型

憑借可以運行tinyML模型的開發(fā)板，開發(fā)人員現(xiàn)在可以開始對TensorFlow Lite模型進行轉(zhuǎn)換，以便在微控制器上運行。TensorFlowLite模型可以直接在微控制器上運行，但需要一個運行時環(huán)境來處理它。

運行模型時，需要執(zhí)行一系列的功能。這些功能首先收集傳感器數(shù)據(jù)，然后篩選，提取必要特征，并反饋給模型。該模型輸出結(jié)果，然后對結(jié)果進一步篩選，通常還會再進行一些操作。圖5顯示了該過程的概況。

圖5：數(shù)據(jù)如何從傳感器流向運行時，再到tinyML應用的輸出。（圖片來源：Beningo Embedded Group）

STM32CubeMx的X-CUBE-AI插件提供了解釋TensorFlow Lite模型的運行時環(huán)境，并提供了開發(fā)人員可以利用的替代運行時和轉(zhuǎn)換工具。X-CUBE-AI插件在項目中默認不啟用。然而，在創(chuàng)建新項目并初始化電路板后，在SoftwarePacks-> Select Components（軟件包-> 選擇組件）下，有一個啟用AI運行時的選項。這里有幾個選項；確保本例中使用的是Application模板，如圖6所示。

圖6：X-CUBE-AI插件需要使用本例的應用模板來啟用。（圖片來源：BeningoEmbedded Group）

啟用X-CUBE-AI后，STMicroelectronics X-CUBE-AI類別將出現(xiàn)在工具鏈中。點擊該類別，開發(fā)人員能選擇自己創(chuàng)建的模型文件并設(shè)置模型參數(shù)，如圖7所示?？赏ㄟ^分析按鈕對模型進行分析，并為開發(fā)人員提供RAM、ROM和執(zhí)行周期信息。強烈建議開發(fā)人員比較Keras和TFLite模型選項。在較小的正弦波模型示例中，沒有顯著差異，但卻可以發(fā)現(xiàn)其中的區(qū)別。點擊“Generate code”（生成代碼）可生成該項目。

圖7：分析按鈕為開發(fā)人員提供RAM、ROM和執(zhí)行周期信息。（圖片來源：Beningo Embedded Group）

代碼生成器將初始化項目，并為tinyML模型構(gòu)建運行時環(huán)境。但默認情況下，不會為模型提供輸入。開發(fā)人員需要添加代碼，為模型提供輸入值 — x值，模型將解釋該值并生成正弦y值。如圖8所示，需要在acquisition_and_process_data和post_process函數(shù)中增加幾段代碼。

圖8：所示代碼將連接偽輸入傳感器值到正弦波模型。（圖片來源：Beningo Embedded Group）

此時，本例運行就緒。注意：添加一些printf語句來獲取模型輸出，以便快速驗證?？焖倬幾g和部署能讓“Hello World”tinyML 模型運行。獲取整個周期的模型輸出得到圖9所示的正弦波。它并不完美，但對于首個tinyML應用來說非常優(yōu)秀。由此，開發(fā)人員可以將輸出與脈沖寬度調(diào)制器 (PWM) 聯(lián)結(jié)起來，并產(chǎn)生正弦波。

圖9：在 STM32上運行時的“Hello World”正弦波模型輸出。（圖片來源：Beningo Embedded Group）

嵌入式系統(tǒng)上的ML技巧和竅門

開發(fā)人員若要在基于微控制器的系統(tǒng)上開始使用ML，需要做相當多的工作，才能讓自己的首個tinyML應用運行起來。然而，記住幾個“技巧和竅門”，可以簡化和加快其開發(fā)：

瀏覽TensorFlow Lite forMicrocontrollers的“Hello World”示例，包括Google Colab文件?；c兒時間調(diào)整參數(shù)，了解這些參數(shù)對經(jīng)過訓練的模型的影響。

在微控制器應用中使用量化模型。量化模型經(jīng)過壓縮，可以使用uint8_t而非32位浮點數(shù)。因此，該模型更小，執(zhí)行速度更快。

了解TensorFlow Lite forMicrocontrollers資源庫中的其他示例。其他示例包括手勢檢測和關(guān)鍵詞檢測。

以“Hello World”為例，將模型輸出連接到PWM和低通濾波器上，以查看產(chǎn)生的正弦波。執(zhí)行運行時實驗，增加和減少正弦波頻率。

選擇包括“額外”傳感器的開發(fā)板，以便嘗試廣泛的ML應用。

盡管收集數(shù)據(jù)很有趣，但一般來說，購買或使用開源數(shù)據(jù)庫來訓練模型更容易。

開發(fā)人員遵循這些“技巧和竅門”，可以在確保應用安全的同時節(jié)省更多的時間并省去更多的麻煩。

本文小結(jié)

機器學習已經(jīng)蔓延至網(wǎng)絡邊緣，而基于資源受限微控制器的系統(tǒng)是其主要目標。最新的工具可以轉(zhuǎn)換和優(yōu)化機器學習模型，以在實時系統(tǒng)上運行。如圖所示，在STM32開發(fā)板上實現(xiàn)和運行模型相對容易，但也會涉及復雜性問題。雖然只探討了產(chǎn)生正弦波的簡單模型，但也可以實現(xiàn)更復雜的模型，如手勢檢測和關(guān)鍵詞識別。