我們已經(jīng)習(xí)慣了我們的設(shè)備變得更加智能，通過先進(jìn)的音頻和視頻處理技術(shù)以及復(fù)雜的傳感器來識別和解釋語音和動作。說“Hey Google”或揮手，我們的設(shè)備不僅會做出響應(yīng)，而且經(jīng)常會提供他們受過訓(xùn)練的偏好。歡迎來到智能物聯(lián)網(wǎng)邊緣設(shè)備時代。

這些智能設(shè)備已經(jīng)無處不在，它們的功能令人期待：具有語音控制功能的揚(yáng)聲器，可從大量訓(xùn)練有素的語音命令詞匯中進(jìn)行高度準(zhǔn)確的語音識別；可穿戴活動追蹤器，可根據(jù)陀螺儀、加速度計(jì)和磁力計(jì)等傳感器的輸入數(shù)據(jù)識別人類活動，例如坐、站、走和跑步；配備智能攝像頭的門鈴，執(zhí)行面部識別并觸發(fā)警報(bào)，該警報(bào)可以通過圖像或視頻發(fā)送到所有者的移動設(shè)備；甚至是自動駕駛汽車，應(yīng)用先進(jìn)的計(jì)算機(jī)視覺技術(shù)來檢測車輛、行人和危險駕駛條件。

這種演變的核心是越來越強(qiáng)大和復(fù)雜的機(jī)器學(xué)習(xí)技術(shù)，這些技術(shù)已被更廣泛地采用，以使我們的系統(tǒng)更具上下文感知和響應(yīng)能力。機(jī)器學(xué)習(xí)技術(shù)經(jīng)過訓(xùn)練可以從一個或多個傳感器（例如，麥克風(fēng)、陀螺儀、相機(jī)）捕獲的數(shù)據(jù)中識別某些復(fù)雜模式（例如，語音命令、人類活動、面部、行人），這帶來了新的水平給我們的生活帶來安全和便利。當(dāng)感應(yīng)到它被訓(xùn)練識別的模式時，設(shè)備可以做出相應(yīng)的響應(yīng)。例如，當(dāng)語音命令“播放音樂”被識別時，智能音箱可以啟動播放喜歡的歌曲。

更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)和算法的出現(xiàn)使機(jī)器學(xué)習(xí)驅(qū)動的設(shè)備得以發(fā)展，這些設(shè)備無需明確編程即可學(xué)習(xí)。然而，機(jī)器學(xué)習(xí)實(shí)現(xiàn)更高的自動化和智能的承諾，特別是在消費(fèi)設(shè)備或其他在邊緣運(yùn)行的應(yīng)用程序中，受到功耗的限制。

低功耗挑戰(zhàn)

現(xiàn)代物聯(lián)網(wǎng)邊緣設(shè)備雖然體積小，但必須支持一系列復(fù)雜的傳感、通信和處理任務(wù)。挑戰(zhàn)在于，許多物聯(lián)網(wǎng)邊緣設(shè)備都是電池供電的，并且功率預(yù)算很緊，或者有其他限制功耗的限制，這使得低功耗設(shè)計(jì)成為一個非常重要的考慮因素。

這需要高能效處理器以及出色的循環(huán)效率，以便物聯(lián)網(wǎng)設(shè)備的處理器能夠以低頻運(yùn)行。低功耗對于執(zhí)行始終在線功能的物聯(lián)網(wǎng)邊緣設(shè)備尤其重要，例如智能揚(yáng)聲器、智能手機(jī)或具有“始終聆聽”語音命令功能的家庭娛樂系統(tǒng)。執(zhí)行面部檢測或手勢識別的基于攝像頭的設(shè)備也是如此，這些設(shè)備“一直在觀察”。我們的健康和健身監(jiān)測設(shè)備必須“始終感應(yīng)”。

此類設(shè)備通常應(yīng)用智能技術(shù)來降低功耗。例如，“一直在聽”的設(shè)備可能會對麥克風(fēng)信號進(jìn)行采樣，并使用簡單的語音檢測技術(shù)來檢查是否有人在說話。然后，它僅在檢測到語音活動時應(yīng)用計(jì)算密集型機(jī)器學(xué)習(xí)推理來識別語音命令。處理器必須限制每種不同狀態(tài)下的功耗——在這種情況下，是語音檢測和語音命令識別。因此，必須利用包括有效睡眠模式和斷電模式在內(nèi)的各種電源管理功能來滿足能耗要求。

機(jī)器學(xué)習(xí)：訓(xùn)練與推理

在機(jī)器學(xué)習(xí)中，兩個主要功能對我們的智能設(shè)備很重要：訓(xùn)練和推理。訓(xùn)練從未經(jīng)訓(xùn)練的模型開始，例如具有選定圖形結(jié)構(gòu)的多層神經(jīng)網(wǎng)絡(luò)。在這些神經(jīng)網(wǎng)絡(luò)中，每一層都將輸入數(shù)據(jù)轉(zhuǎn)換為輸出數(shù)據(jù)，同時應(yīng)用一組系數(shù)或權(quán)重。使用 Caffe 或 TensorFlow 等機(jī)器學(xué)習(xí)框架，使用大型訓(xùn)練數(shù)據(jù)集訓(xùn)練模型。結(jié)果是一個訓(xùn)練有素的模型，例如，一個神經(jīng)網(wǎng)絡(luò)，其權(quán)重被調(diào)整用于將輸入數(shù)據(jù)分類為某些類別，例如上述可穿戴活動跟蹤器中的不同類型的人類活動。

Inference 使用經(jīng)過訓(xùn)練的模型來處理傳感器捕獲的輸入數(shù)據(jù)，以推斷它已被訓(xùn)練識別的復(fù)雜模式。例如，它可以檢查輸入數(shù)據(jù)是否與神經(jīng)網(wǎng)絡(luò)訓(xùn)練過的類別之一相匹配，例如活動跟蹤器設(shè)備中的“行走”或“坐著”。在推斷時，將訓(xùn)練好的模型應(yīng)用于新數(shù)據(jù)，并且通常在現(xiàn)場執(zhí)行推斷。這就是低功耗變得尤為重要的地方，也是設(shè)計(jì)在邊緣運(yùn)行的物聯(lián)網(wǎng)設(shè)備時的重要考慮因素。

根據(jù)應(yīng)用的不同，輸入數(shù)據(jù)速率和推理的模型復(fù)雜性在物聯(lián)網(wǎng)設(shè)備中可能會有很大差異。例如，與音頻識別功能相比，簡單的運(yùn)動檢測功能需要更少的輸入數(shù)據(jù)，而音頻識別功能將少于復(fù)雜的機(jī)器視覺系統(tǒng)。輸入數(shù)據(jù)速率的范圍可以從每秒 10 次樣本（用于使用少量傳感器的人類活動識別）到高達(dá)每秒 1 億次樣本（用于使用高分辨率相機(jī)以高幀速率捕獲圖像的高級計(jì)算機(jī)視覺）。因此，機(jī)器學(xué)習(xí)推理的計(jì)算要求可能相差幾個數(shù)量級。

機(jī)器學(xué)習(xí)：低功耗設(shè)計(jì)

對于具有中低計(jì)算要求的機(jī)器學(xué)習(xí)推理（大部分消費(fèi)物聯(lián)網(wǎng)設(shè)備），選擇合適的處理器是實(shí)現(xiàn)機(jī)器學(xué)習(xí)推理實(shí)現(xiàn)高效率的關(guān)鍵。具體來說，是否具有用于神經(jīng)網(wǎng)絡(luò)處理的正確處理器能力可能是滿足低 MHz 要求（因此是低功耗）與否之間的區(qū)別。

有關(guān)如何在智能物聯(lián)網(wǎng)設(shè)計(jì)中實(shí)現(xiàn)低功耗操作的更多詳細(xì)信息，請下載我們的免費(fèi)低功耗機(jī)器學(xué)習(xí)白皮書，該白皮書描述了在可編程處理器上高效實(shí)現(xiàn)機(jī)器學(xué)習(xí)推理。我們還提供了一個可編程處理器和一個相關(guān)的軟件庫，用于有效實(shí)施低/中端機(jī)器學(xué)習(xí)推理。

審核編輯：符乾江