作者：

崔曉晴 鄭州輕工業(yè)大學

1前言

英特爾作為IT領(lǐng)域的領(lǐng)軍企業(yè)，為開發(fā)者們提供了全面的支持，包括芯片、開發(fā)套件、培訓課程和開發(fā)環(huán)境等。為了更好地與開發(fā)者互動，英特爾發(fā)起了“走近開發(fā)者”活動，其中包括哪吒開發(fā)套件的免費試用機會、AI創(chuàng)新計劃以及有獎征文活動。

2背景

隨著中國經(jīng)濟的快速增長和城市化進程的加速，城市交通擁堵、交通事故頻發(fā)以及環(huán)境污染等問題日益嚴重，尤其是在大城市中，這些問題表現(xiàn)得尤為突出。交通擁堵不僅影響了市民的日常出行效率，更是嚴重影響了緊急車輛的快速通行，延誤了救援時間，增加了事故和傷亡風險。在高峰時段，城市中心區(qū)域和主要交通干道常常出現(xiàn)嚴重擁堵，這不僅降低了城市的運行效率，也對緊急服務的及時響應構(gòu)成了障礙。面對這些挑戰(zhàn)，中國交通管理亟需轉(zhuǎn)型升級，利用現(xiàn)代科技手段提高智能化水平，以實現(xiàn)對交通流量的實時監(jiān)控、智能分析和優(yōu)化控制。

在這樣的背景下，“聲納警衛(wèi)——基于深度學習的紅綠燈控制系統(tǒng)”項目應運而生，它代表了智能交通系統(tǒng)在中國城市交通管理中的創(chuàng)新應用。該項目通過音頻傳感器采集城市公路上的聲音，利用深度學習模型識別緊急車輛，如消防車、救護車等，并智能控制紅綠燈，優(yōu)先放行這些緊急車輛。這種智能化的交通管理系統(tǒng)不僅能夠提高城市交通管理的智能化水平，確保緊急車輛的快速響應，同時還能優(yōu)化交通流量管理，減少因交通擁堵造成的經(jīng)濟損失和社會成本。

3開發(fā)板介紹

3.1開發(fā)板資料

哪吒開發(fā)套件以一張信用卡大小（85 x 56mm）的哪吒開發(fā)板為核心，搭載英特爾 N97（Alder Lake-N）處理器。這款處理器以其高性能與低功耗的特點，為開發(fā)板提供了強大的計算能力。哪吒開發(fā)板支持四核SoC，最高頻率可達3.60GHz，而熱設計功耗（TDP）僅為12W，這使得它在保持高性能的同時，也能實現(xiàn)低功耗運行。

內(nèi)置的Intel UHD Graphics Gen12 GPU擁有多達24個執(zhí)行單元，基于Xe架構(gòu)，為新一代產(chǎn)品。這款GPU不僅是一個強大的圖形處理單元，也是一個高效的AI引擎，特別適合于AI推理任務。它支持包括INT8在內(nèi)的主要數(shù)據(jù)類型，通過HDMI 1.4b接口，能夠支持30Hz的4K UHD（3840×2160）分辨率顯示，為高分辨率顯示提供了可能。

哪吒開發(fā)板只有身份證大小，配備了最大8GB的LPDDR5系統(tǒng)內(nèi)存和最大64GB的eMMC存儲，為運行各種應用程序提供了充足的內(nèi)存和存儲空間。此外，開發(fā)板內(nèi)置TPM 2.0，增強了安全性，40針的GPIO連接器提供了豐富的外設連接選項，可以配置為PWM、UART、I2C、I2S、SPI和ADC等多種功能，為開發(fā)者提供了構(gòu)建解決方案的靈活性。

此外，哪吒開發(fā)板支持Windows和Linux操作系統(tǒng)，無風扇散熱設計，使得它在多種應用場景下都能提供高效的解決方案。這款開發(fā)板適合用于教育、物聯(lián)網(wǎng)網(wǎng)關(guān)、數(shù)字標牌和機器人等領(lǐng)域，其多功能性和靈活性，為開發(fā)者提供了一個強大的平臺，以實現(xiàn)他們的創(chuàng)意和項目。

3.2 開箱照片

圖3-3 哪吒開發(fā)板開箱圖

4項目介紹

4.1 整體構(gòu)思

產(chǎn)品介紹

本項目以哪吒開發(fā)板作為數(shù)據(jù)處理中心，利用音頻傳感器采集城市公路上的聲音，這些數(shù)據(jù)被傳輸至哪吒開發(fā)板，隨后通過預處理和深度學習模型進行推理操作，以識別聲音來源是緊急車輛如消防車、救護車還是普通汽車?；谶@些識別結(jié)果，系統(tǒng)將智能控制紅綠燈，優(yōu)先放行緊急車輛，確保它們能夠快速響應。

同時，系統(tǒng)將把推理結(jié)果實時傳輸至云側(cè)平臺，供城市管理中心監(jiān)控和分析，從而優(yōu)化交通流量管理。為了提升系統(tǒng)的整體性能和用戶體驗，可以考慮引入視頻傳感器和環(huán)境傳感器，實現(xiàn)多傳感器數(shù)據(jù)融合，提高識別的準確性。此外，系統(tǒng)的算法需要不斷優(yōu)化，以適應不同環(huán)境下的噪音水平和交通狀況。

哪吒開發(fā)板的數(shù)據(jù)處理能力將保證實時處理大量數(shù)據(jù)流，滿足快速決策的需求。與云平臺的深度集成將使得系統(tǒng)能夠利用云計算資源進行更復雜的數(shù)據(jù)分析和模型訓練，同時支持遠程監(jiān)控、系統(tǒng)升級和維護。城市管理中心將通過一個直觀的用戶界面實時查看交通狀況和系統(tǒng)狀態(tài)，進行必要的手動干預。系統(tǒng)的設計將嚴格遵守數(shù)據(jù)安全性和隱私保護標準，確保所有傳輸和存儲的數(shù)據(jù)都符合法規(guī)要求。

在部署前，系統(tǒng)將經(jīng)過嚴格的測試和評估，以確保其在各種環(huán)境下的穩(wěn)定性和可靠性。此外，項目將確保與當?shù)亟煌ü芾碚吆头ㄒ?guī)的兼容性，與現(xiàn)有的交通管理系統(tǒng)和應急服務流程實現(xiàn)無縫對接，為城市交通的智能化管理提供全面而高效的解決方案。

功能設計

智能交通聲音識別與控制系統(tǒng)利用哪吒開發(fā)板作為核心，通過音頻傳感器收集城市公路聲音數(shù)據(jù)，經(jīng)預處理和深度學習模型推理后，智能識別緊急車輛并控制紅綠燈以優(yōu)先放行。系統(tǒng)將識別結(jié)果實時上傳至云平臺，供城市管理中心監(jiān)控和優(yōu)化交通流量。

為提升準確性，系統(tǒng)考慮集成視頻和環(huán)境傳感器，實現(xiàn)多傳感器數(shù)據(jù)融合。哪吒開發(fā)板強大的數(shù)據(jù)處理能力確保了實時處理和快速決策，而云平臺集成則支持遠程監(jiān)控和系統(tǒng)維護。系統(tǒng)設計遵循數(shù)據(jù)安全和隱私保護標準，并在部署前經(jīng)過嚴格測試，確保穩(wěn)定性和可靠性，同時與當?shù)亟煌ㄕ吆头ㄒ?guī)兼容，實現(xiàn)與現(xiàn)有系統(tǒng)的無縫對接。

產(chǎn)品總結(jié)

本產(chǎn)品是一個創(chuàng)新的智能交通管理系統(tǒng)，旨在通過聲音識別技術(shù)優(yōu)化城市交通流量，確保緊急車輛快速響應。系統(tǒng)集成了哪吒開發(fā)板作為核心數(shù)據(jù)處理中心，結(jié)合音頻、視頻和環(huán)境傳感器，實現(xiàn)多傳感器數(shù)據(jù)融合，提高識別準確性，并智能控制交通信號燈。

4.2 方案架構(gòu)

數(shù)據(jù)處理

首先從CSV文件中讀取包含音頻文件路徑和類別標簽的元數(shù)據(jù)，使用LabelEncoder將文本類別標簽轉(zhuǎn)換為整數(shù)標簽，然后定義一個函數(shù)parse_wav來遍歷每個音頻文件，利用librosa庫加載WAV文件并從中提取梅爾頻率倒譜系數(shù)（MFCC）特征，同時計算每個音頻文件的MFCC特征均值，并進行特征縮放以標準化數(shù)據(jù)。

最終，代碼將提取的MFCC特征、MFCC均值、縮放后的MFCC特征以及對應的標簽數(shù)組保存為一個.npz文件，為機器學習模型的訓練提供預處理后的數(shù)據(jù)。整個過程包括數(shù)據(jù)加載、標簽編碼、特征提取、特征處理和數(shù)據(jù)保存，是一個完整的音頻數(shù)據(jù)處理流程，旨在將原始音頻文件轉(zhuǎn)換為適合機器學習模型訓練的數(shù)值特征。

神經(jīng)網(wǎng)絡介紹

本項目所使用的神經(jīng)網(wǎng)絡架構(gòu)是一個深度學習模型，專門設計用于處理和分類音頻數(shù)據(jù)。它由四個順序堆疊的卷積層組成，每個卷積層都是一維的（`nn.Conv1d`），用于從輸入的音頻信號中提取時間序列特征。每個卷積層后面緊跟著一個ReLU激活函數(shù)和一個批量歸一化層，ReLU激活函數(shù)引入非線性，幫助網(wǎng)絡學習復雜的特征表示，而批量歸一化層則用于減少內(nèi)部協(xié)變量偏移，加速訓練過程，并提高模型的泛化能力。

卷積層的權(quán)重采用He初始化方法，這是一種專為ReLU激活設計的初始化技術(shù)，有助于保持訓練初期的梯度規(guī)模，而偏置則初始化為0。所有這些卷積層、激活函數(shù)和批量歸一化層被封裝在一個順序容器中，簡化了模型的構(gòu)建和前向傳播過程。

在卷積層之后，模型使用自適應平均池化層將特征圖的每個通道壓縮成一個單一數(shù)值，減少特征維度，并使模型對音頻信號長度變化具有不變性。經(jīng)過池化的特征被送入一個全連接層，將高維特征映射到類別空間，輸出每個類別的預測分數(shù)。在全連接層和輸出層之間，模型使用Dropout層來隨機丟棄一部分特征，減少過擬合。

最后，模型使用`F.log_softmax`函數(shù)將全連接層的輸出轉(zhuǎn)換為對數(shù)概率分布，為多分類問題提供了合適的輸出格式，通常與交叉熵損失函數(shù)一起使用。整體而言，這個架構(gòu)通過深度卷積網(wǎng)絡結(jié)構(gòu)和適當?shù)募夹g(shù)，實現(xiàn)了高效準確地對音頻信號進行特征提取和分類。

4.3 模型轉(zhuǎn)化

pth格式轉(zhuǎn)化為onnx

import torch
from model import AudioMutiCNN


config = {}


device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = AudioMutiCNN(config)
model.load_state_dict(torch.load('./wsp.pth',map_location=torch.device(device), weights_only=True))


dummy_input = torch.randn(1, 64, 345)




torch.onnx.export(model,
         dummy_input,
         f='D:/python_code/tool/sonar_guard/yjs.onnx',
         export_params=True,
         verbose=False,
         # input_names=['input'],
         # output_names=['output'],
         opset_version=11)

onnx轉(zhuǎn)化為IR模型

import openvino as ov
path = ‘./wsp.onnx’


 


# 導出模型為 ONNX 格式
onnx_path = ‘path’
 


# 轉(zhuǎn)換 ONNX 模型為 OpenVINO 格式
ov_model = ov.convert_model(onnx_path)
 


 


# 保存 OpenVINO 模型
ir_path = './sonar_guard/yjs.xml'
ov.save_model(ov_model, ir_path)
 


print("OpenVINO IR model saved to:", ir_path)

圖4-1 模型轉(zhuǎn)化展示

4.4 硬件部分

使用了Intel的哪吒開發(fā)板作為上位機控制arduino開發(fā)板。我們在arduino板中燒錄紅綠燈控制系統(tǒng)代碼。（下圖展示的為紅綠燈控制系統(tǒng)在接收到串口數(shù)據(jù)后，停止其他燈亮，打開綠燈的展示效果）

圖4-2效果展示圖

5總結(jié)和后記

在本項目中，我們有幸得到了英特爾公司提供的哪吒開發(fā)板，這不僅是一次技術(shù)探索的機遇，也是對我們團隊技術(shù)實力的一次挑戰(zhàn)。通過這次“走近開發(fā)者”活動，我們深入體驗了哪吒開發(fā)板的強大功能，并成功將其應用于智能交通聲音識別與控制系統(tǒng)的開發(fā)中。

首先，我們要感謝英特爾公司提供的哪吒開發(fā)板，它以小巧的體積和強大的性能，為我們的項目提供了數(shù)據(jù)處理的核心。哪吒開發(fā)板搭載的英特爾 N97處理器，以及內(nèi)置的Intel UHD Graphics Gen12 GPU，為我們的深度學習模型提供了強大的推理能力。這些技術(shù)的支持，使得我們能夠處理大量的聲音數(shù)據(jù)，并實現(xiàn)快速準確的緊急車輛識別。

在項目開發(fā)過程中，我們充分利用了哪吒開發(fā)板的高性能與低功耗特性，結(jié)合音頻、視頻和環(huán)境傳感器，實現(xiàn)了多傳感器數(shù)據(jù)融合，提高了系統(tǒng)的識別準確性。通過深度學習模型的推理操作，我們成功實現(xiàn)了對城市公路上聲音的智能識別，并智能控制紅綠燈，優(yōu)先放行緊急車輛，確保了快速響應能力。

此外，哪吒開發(fā)板與云平臺的深度集成，為我們提供了遠程監(jiān)控、系統(tǒng)升級和維護的能力，同時也支持了更復雜的數(shù)據(jù)分析和模型訓練。這不僅提升了系統(tǒng)的整體性能，也為城市管理中心提供了實時的交通狀況和系統(tǒng)狀態(tài)監(jiān)控，優(yōu)化了交通流量管理。

在項目實施過程中，我們嚴格遵守了數(shù)據(jù)安全性和隱私保護標準，確保所有傳輸和存儲的數(shù)據(jù)都符合法規(guī)要求。同時，系統(tǒng)在部署前經(jīng)過了嚴格的測試和評估，以確保其在各種環(huán)境下的穩(wěn)定性和可靠性。我們確保了與當?shù)亟煌ü芾碚吆头ㄒ?guī)的兼容性，實現(xiàn)了與現(xiàn)有交通管理系統(tǒng)和應急服務流程的無縫對接。