人工神經(jīng)網(wǎng)絡(luò)是模擬人腦神經(jīng)活動(dòng)的重要模式識(shí)別工具，受到了眾多科學(xué)家和學(xué)者的關(guān)注。然而，近年來(lái)DNN的改進(jìn)與優(yōu)化工作主要集中于網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的設(shè)計(jì)，神經(jīng)元模型的發(fā)展一直非常有限。神經(jīng)生物學(xué)和認(rèn)知神經(jīng)科學(xué)的研究表明，神經(jīng)元的學(xué)習(xí)能力是生物神經(jīng)系統(tǒng)完成學(xué)習(xí)和記憶任務(wù)的重要基礎(chǔ)，這些機(jī)理可促使我們?cè)谏窠?jīng)元設(shè)計(jì)和優(yōu)化方面進(jìn)一步提高DNN的性能。

受生物認(rèn)知機(jī)制的啟發(fā)，中國(guó)科學(xué)院半導(dǎo)體研究所高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室李衛(wèi)軍研究員團(tuán)隊(duì)設(shè)計(jì)了一種具有高度柔性與可塑性的超香腸覆蓋式神經(jīng)元模型（HSCF neuron）（如圖1所示）。

?圖1.超香腸覆蓋式神經(jīng)元模型及分類策略可視化表示

研究團(tuán)隊(duì)定義了一種新的交叉熵和體積覆蓋率損失函數(shù)，該損失函數(shù)可最大限度地壓縮超香腸的體積，從而確保樣本的類內(nèi)緊湊性。研究團(tuán)隊(duì)引入了一種分裂迭代方法，將每個(gè)神經(jīng)元模型視為一個(gè)弱分類器，并迭代增加弱分類器的數(shù)量，該迭代方法可自適應(yīng)地確定HSCF神經(jīng)元的最優(yōu)數(shù)量，形成了端到端的學(xué)習(xí)框架（如圖2所示）。

圖2.基于超香腸覆蓋式神經(jīng)元模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

最后，研究團(tuán)隊(duì)在模式識(shí)別領(lǐng)域的八個(gè)經(jīng)典數(shù)據(jù)集上進(jìn)行的對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)證明了該方法的有效性。超香腸覆蓋式神經(jīng)元模型可以應(yīng)用于經(jīng)典的DNN中以解決多種模式識(shí)別問(wèn)題，具有廣泛的應(yīng)用與學(xué)術(shù)價(jià)值；此外，所提出的方法也證明了利用神經(jīng)元可塑性增強(qiáng)DNN性能的可行性，為DNN的進(jìn)一步發(fā)展提供了新的視角。

該研究成果近日以“Hyper-sausage coverage function neuron model and learning algorithm for image classification”為題發(fā)表于模式識(shí)別領(lǐng)域TOP期刊《Pattern Recognition》(136 (109216), 2023), 文章發(fā)表后相繼入選ESI熱點(diǎn)與ESI高倍引論文，并入選期刊2023年Editors' Choice Paper。論文第一作者為半導(dǎo)體所寧欣副研究員，通訊作者為李衛(wèi)軍研究員。本工作得到國(guó)家自然科學(xué)基金委項(xiàng)目的支持。

審核編輯：湯梓紅