人工智能正在改變幾乎所有行業(yè)和應(yīng)用領(lǐng)域的工程。隨之而來(lái)的是對(duì)高 AI 模型準(zhǔn)確性的需求。事實(shí)上，AI 模型在取代傳統(tǒng)方法時(shí)往往更準(zhǔn)確，但這有時(shí)也會(huì)付出代價(jià)：復(fù)雜的 AI 模型是如何做出決策的;作為工程師，我們?nèi)绾悟?yàn)證結(jié)果是否如預(yù)期那樣有效?

進(jìn)入可解釋 AI —— 它是一套工具和技術(shù)，可幫助我們理解模型決策，并發(fā)現(xiàn)黑盒模型的問(wèn)題，如偏差或?qū)构粢赘行??？山忉屝钥梢詭椭鶤I模型的使用者理解機(jī)器學(xué)習(xí)模型是如何得出預(yù)測(cè)，這就像理解哪些特征驅(qū)動(dòng)模型決策那樣簡(jiǎn)單，但在試圖解釋復(fù)雜模型時(shí)會(huì)變得困難。

AI 模型的演變

為什么要大力推動(dòng)可解釋 AI 技術(shù)?模型并不總是那么復(fù)雜。其實(shí)，我們不妨先看一個(gè)冬季恒溫器的簡(jiǎn)單示例。基于規(guī)則的模型如下所示：

低于 65 華氏度開啟加熱器

高于 68 華氏度關(guān)閉加熱器

恒溫器是否正常工作?變量包括當(dāng)前室溫和加熱器是否工作，所以根據(jù)室內(nèi)溫度很容易進(jìn)行驗(yàn)證。

由于問(wèn)題的簡(jiǎn)單性或?qū)ξ锢黻P(guān)系的固有“常識(shí)性”理解，某些模型(如溫度控制)本質(zhì)上是可以解釋的。一般來(lái)說(shuō)，對(duì)于不能接受黑盒模型的應(yīng)用，使用本身具有可解釋性的簡(jiǎn)單模型是可行的，只要模型足夠準(zhǔn)確，就可接受并視為有效。

但是，轉(zhuǎn)向更高級(jí)的模型可以帶來(lái)以下優(yōu)勢(shì)：

準(zhǔn)確度：

在許多情況下，復(fù)雜的模型會(huì)帶來(lái)更準(zhǔn)確的結(jié)果。有時(shí)結(jié)果可能不會(huì)立即顯現(xiàn)出來(lái)，但可以更快地找到答案。

處理更復(fù)雜的數(shù)據(jù)：

工程師可能需要處理復(fù)雜的數(shù)據(jù)，如流信號(hào)和圖像，這些數(shù)據(jù)可以直接用于 AI 模型，從而節(jié)省大量的建模時(shí)間。

復(fù)雜應(yīng)用領(lǐng)域：

應(yīng)用的復(fù)雜性不斷增加，新的研究正在探索深度學(xué)習(xí)技術(shù)可以替代像特征提取等傳統(tǒng)技術(shù)的更多領(lǐng)域。

圖 1：AI 模型的演變。簡(jiǎn)單模型可能具有更高的透明度，復(fù)雜的模型則可以提高性能。

為什么尋求可解釋性?

AI 模型通常被稱為“黑盒”，你無(wú)法看到模型在訓(xùn)練過(guò)程中學(xué)習(xí)了什么，也無(wú)法確定模型在未知條件下是否能按預(yù)期工作。對(duì)可解釋模型的關(guān)注旨在提出有關(guān)模型的問(wèn)題，以發(fā)現(xiàn)任何未知數(shù)并解釋它們的預(yù)測(cè)、決策和行動(dòng)。

復(fù)雜性與可解釋性

在轉(zhuǎn)向更復(fù)雜模型的過(guò)程中，理解模型內(nèi)部運(yùn)行情況的能力變得越來(lái)越具有挑戰(zhàn)性。因此，隨著預(yù)測(cè)能力的提升，工程師們需要找到新的方法來(lái)確保他們能夠保持對(duì)模型的信心。

圖 2：可解釋性和預(yù)測(cè)能力之間的權(quán)衡。一般來(lái)說(shuō)，更強(qiáng)大的模型往往不太容易解釋，工程師將需要新的方法來(lái)實(shí)現(xiàn)可解釋性，以確保隨著預(yù)測(cè)能力的提升，他們能夠保持對(duì)模型的信心。

使用可解釋的模型可以提供最深入的見解，而無(wú)需為流程添加額外步驟。例如，使用決策樹或線性權(quán)重可以為模型選擇特定結(jié)果的原因提供確切的證據(jù)。

工程師需要更深入地了解他們的數(shù)據(jù)和模型，并出于以下原因推動(dòng)可解釋性研究： 1. 對(duì)模型的信心：

基于其角色以及與應(yīng)用的交互，許多相關(guān)人員都很關(guān)注解釋模型的能力。例如：

決策者希望信任并理解 AI 模型的工作方式。

客戶希望確信應(yīng)用在所有場(chǎng)景中都能按預(yù)期工作，并且系統(tǒng)的行為是合理和可理解的。

模型開發(fā)人員希望深入了解模型行為，并且可以通過(guò)了解模型做出特定決策的原因來(lái)提高準(zhǔn)確性。

2. 監(jiān)管要求：

人們?cè)絹?lái)越希望在具有內(nèi)部和外部監(jiān)管要求的安全關(guān)鍵領(lǐng)域和治理及合規(guī)應(yīng)用中使用 AI 模型。盡管每個(gè)行業(yè)都有特定的要求，但提供訓(xùn)練穩(wěn)健性、公平性和可信度的證據(jù)會(huì)很重要。

3. 識(shí)別偏差：

當(dāng)模型在有偏差或采樣不均勻的數(shù)據(jù)上進(jìn)行訓(xùn)練時(shí)，就會(huì)引入偏差。對(duì)于應(yīng)用于人的模型，偏差尤其令人擔(dān)憂。模型開發(fā)人員務(wù)必要了解偏差會(huì)如何隱式地影響結(jié)果，并將這種影響納入考慮，以便 AI 模型進(jìn)行“泛化”，即提供準(zhǔn)確的預(yù)測(cè)，而不會(huì)隱式地偏向于組和子集。

4. 調(diào)試模型：

對(duì)于處理模型的工程師來(lái)說(shuō)，可解釋性可以幫助分析不正確的模型預(yù)測(cè)。這可能包括調(diào)查模型或數(shù)據(jù)中的問(wèn)題。下面一節(jié)將介紹一些有助于調(diào)試的具體可解釋性技術(shù)。

當(dāng)前的可解釋性方法

可解釋性方法分為兩類：

全局方法：

根據(jù)輸入數(shù)據(jù)和預(yù)測(cè)輸出，提供模型中最具影響力的變量的概覽。

局部方法：

提供對(duì)單個(gè)預(yù)測(cè)結(jié)果的解釋。

圖 3：全局方法和局部方法的區(qū)別。局部方法側(cè)重于單項(xiàng)預(yù)測(cè)，而全局方法側(cè)重于多項(xiàng)預(yù)測(cè)。

了解特征影響

全局方法包括特征排序，它根據(jù)特征對(duì)模型預(yù)測(cè)的影響程度對(duì)特征進(jìn)行排序;還包括部分依賴圖，它聚焦于一個(gè)特定特征，并指出其在整個(gè)值范圍內(nèi)對(duì)模型預(yù)測(cè)的影響。

最常用的局部方法包括：

1. 用于機(jī)器和深度學(xué)習(xí)的 LIME：

與模型無(wú)關(guān)的局部可解釋性方法 (LIME) 可用于傳統(tǒng)機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的解釋。其主要機(jī)理是在關(guān)注點(diǎn)附近用一個(gè)簡(jiǎn)單、可解釋的模型來(lái)逼近一個(gè)復(fù)雜模型，從而確定哪個(gè)預(yù)測(cè)變量對(duì)決策影響最大。

2. Shapely 值：

某個(gè)數(shù)據(jù)點(diǎn) (也叫查詢點(diǎn))的特征的 Shapley 值解釋了該特征導(dǎo)致的預(yù)測(cè)與平均預(yù)測(cè)的偏差。使用 Shapley 值解釋各個(gè)特征對(duì)指定查詢點(diǎn)處預(yù)測(cè)的影響。

可視化

在為圖像處理或計(jì)算機(jī)視覺應(yīng)用構(gòu)建模型時(shí)，可視化是評(píng)估模型可解釋性的最佳方法之一。

模型可視化：Grad-CAM 和遮擋敏感度等局部方法可以識(shí)別圖像和文本中對(duì)模型預(yù)測(cè)影響最大的位置。

圖 4：可視化提供對(duì)網(wǎng)絡(luò)錯(cuò)誤預(yù)測(cè)的深入見解。

特征比較和分組：全局方法 T-SNE 是使用特征分組來(lái)理解類別之間關(guān)系的一個(gè)示例。T-SNE 在用簡(jiǎn)單的二維圖顯示高維數(shù)據(jù)方面表現(xiàn)出色。

這些只是目前可用于幫助模型開發(fā)人員實(shí)現(xiàn)可解釋性的眾多技術(shù)中的一小部分。無(wú)論算法的細(xì)節(jié)如何，目標(biāo)都是相同的：幫助工程師更深入地了解數(shù)據(jù)和模型。在 AI 建模和測(cè)試期間使用時(shí)，這些技術(shù)可以為 AI 預(yù)測(cè)提供更多洞察力和信心。

可解釋性之外

可解釋性有助于克服許多高級(jí) AI 模型的黑盒性質(zhì)。但消除相關(guān)人員或監(jiān)管機(jī)構(gòu)對(duì)黑盒模型的抵制，只是在工程系統(tǒng)中自信地使用 AI 的一步。在實(shí)踐中應(yīng)用 AI 需要使用能夠被理解的模型，這些模型應(yīng)遵循嚴(yán)格的構(gòu)建流程，并且能夠在符合安全關(guān)鍵性和敏感型應(yīng)用要求的水平上運(yùn)行。

持續(xù)關(guān)注和改進(jìn)的領(lǐng)域包括：

驗(yàn)證和確認(rèn)：

驗(yàn)證和確認(rèn)是正在進(jìn)行的一個(gè)研究領(lǐng)域。它對(duì)可解釋性進(jìn)行了拓展，從確信和證明模型在特定條件下有效，擴(kuò)展到重點(diǎn)關(guān)注在安全關(guān)鍵型應(yīng)用中使用的必須滿足最低標(biāo)準(zhǔn)的模型。

安全認(rèn)證：

汽車和航空航天等行業(yè)正在定義針對(duì)其應(yīng)用的 AI 安全認(rèn)證。用 AI 取代或增強(qiáng)的傳統(tǒng)方法必須符合相同的標(biāo)準(zhǔn)，并且只有證明結(jié)果并顯示可解釋的結(jié)果，才能取得成功。

更透明的模型：

系統(tǒng)的輸出必須符合角色的期望。這是工程師從一開始就必須考慮的問(wèn)題：將如何與最終用戶分享結(jié)果?

可解釋性是否適合您的應(yīng)用?

未來(lái)的 AI 將非常強(qiáng)調(diào)可解釋性。隨著 AI 被應(yīng)用于安全至關(guān)重要的日常應(yīng)用中，來(lái)自內(nèi)部相關(guān)人員和外部用戶的審查可能會(huì)增加。將可解釋性視為每個(gè)人可以獲得的基本益處。工程師可以使用更準(zhǔn)確的信息來(lái)調(diào)試他們的模型，以確保輸出與他們的直覺相匹配。他們將獲得更多洞察信息來(lái)滿足各種要求和標(biāo)準(zhǔn)，并且能夠?qū)Ｗ⒂谔岣呷遮厪?fù)雜的系統(tǒng)的透明度。

| 關(guān)于作者

Johanna Pingel

Johanna Pingel，MathWorks 產(chǎn)品經(jīng)理，主要負(fù)責(zé)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用，致力于讓 AI 更實(shí)用、更有趣、更可行。她于 2013 年加入公司，擅長(zhǎng) MATLAB 圖像處理和計(jì)算機(jī)視覺應(yīng)用。

審核編輯：湯梓紅

?