作者：無窮小敏

今天要給大家介紹一篇OpenAI的在今年4月19日發(fā)表的一篇研究，該研究提出了一種指令層次結(jié)構(gòu)（instruction hierarchy），以減少LLM被攻擊的風(fēng)險(xiǎn)，提高模型的魯棒性。

可能有些小伙伴平時(shí)更關(guān)注大模型的性能，但是大模型安全在工業(yè)界，特別是AI模型落地時(shí)，是非常重要的一個(gè)考量。例如之前很火的prompt攻擊方式“奶奶漏洞”，通過讓GPT扮演奶奶睡前講故事，可以套路GPT，讓他說出某些正版軟件的密鑰。很顯然這會(huì)給LLM公司帶來法律風(fēng)險(xiǎn)。雖然這種直接注入漏洞已經(jīng)被修復(fù)了，但是現(xiàn)在LLM結(jié)合工具/Agent之后，會(huì)有更多間接注入攻擊讓我們的LLM沒有按照希望的方式去工作。

為了解決這個(gè)問題，這篇研究提出了一種指令層次結(jié)構(gòu)（instruction hierarchy）。它明確定義了不同指令的優(yōu)先級(jí)，以及當(dāng)不同優(yōu)先級(jí)的指令發(fā)生沖突時(shí)，LLM應(yīng)該如何表現(xiàn)。通過這種方式，LLM會(huì)區(qū)別開系統(tǒng)指令和來自不受信任用戶的指令之間的優(yōu)先級(jí)，而不是像之前一樣對(duì)所有的prompt都一視同仁。再根據(jù)優(yōu)先級(jí)沖突時(shí)制定的策略以規(guī)范LLM的表現(xiàn)，從而減少LLM被攻擊的風(fēng)險(xiǎn)。

這篇研究還提出了一種自動(dòng)數(shù)據(jù)生成方法，來演示這種層次指令的跟蹤行為，從而教會(huì)LLM有選擇地忽略權(quán)限較低的指令。實(shí)驗(yàn)表明在幾乎不影響LLM的標(biāo)準(zhǔn)能力的情況下，極大地提高了模型的魯棒性。特別是即使在對(duì)訓(xùn)練期間從未見過的攻擊類型也是如此！說明這種方法在應(yīng)對(duì)未知的攻擊時(shí)也是有一定的泛化性的。

接下來讓我們一起跟隨研究者的腳步，看看這篇研究是如何提出指令層次結(jié)構(gòu)，設(shè)計(jì)自動(dòng)數(shù)據(jù)生成方法的吧~

指令層次結(jié)構(gòu)

LLM之所以會(huì)受到prompt注入、越獄等攻擊，主要原因是LLM通常認(rèn)為系統(tǒng)提示與來自不受信任的用戶和第三方的文本具有相同的優(yōu)先級(jí)。這樣當(dāng)然會(huì)導(dǎo)致LLM把不安全的prompt當(dāng)成和系統(tǒng)提示同樣重要的指令來工作。從而給了prompt攻擊以可趁之機(jī)。以下是個(gè)例子：

從上圖可以看到，通過工具輸出（Tool Output）間接實(shí)現(xiàn)了prompt注入攻擊。背后的機(jī)制在于LLM缺乏指令特權(quán)（instruction privileges）。即缺乏對(duì)指令優(yōu)先級(jí)的定義。因此這篇研究將不同類型的指令賦予了不同的優(yōu)先級(jí)，具體而言：系統(tǒng)消息優(yōu)先于用戶消息，用戶消息優(yōu)先于第三方內(nèi)容（如工具輸出）。如下圖所示:

理想模型行為

當(dāng)存在多個(gè)指令時(shí)，較低特權(quán)的指令可能與較高特權(quán)的指令對(duì)齊或不對(duì)齊。理想的模型應(yīng)該根據(jù)與較高級(jí)別指令的一致性，有條件地遵循較低級(jí)別的指令。

對(duì)齊指令，即與更高級(jí)別的指令具有相同的約束、規(guī)則或目標(biāo)的指令。因此需要LLM遵守這一指令；

不對(duì)齊指令，即和更高級(jí)別的指令有沖突的指令。例如上圖中ToolOutputs中的Web Reuslt1并沒有回答用戶問題（這是系統(tǒng)級(jí)指令），而是嘗試提取對(duì)話記錄。我們希望LLM忽略，或者拒絕遵守這種提取對(duì)話記錄的指令。

讀到目前為止，這篇研究的動(dòng)機(jī)還是很直觀的，接下來我們一起看看具體是怎么做的吧~

數(shù)據(jù)生成方法

為了有效地將指令層次結(jié)構(gòu)融入LLM，需要用具有層次結(jié)構(gòu)的指令數(shù)據(jù)微調(diào)LLM，所以本篇提出了創(chuàng)建層次結(jié)構(gòu)的指令訓(xùn)練數(shù)據(jù)的方法，該方法使用了上下文綜合（Context Synthesis）上下文忽略（Context Ignorance）和兩種策略：

上下文綜合（Context Synthesis）：對(duì)于對(duì)齊指令，將指令分解成更小的部分，然后將分解后的小指令放置在層次結(jié)構(gòu)的不同級(jí)別，微調(diào)模型來預(yù)測(cè)真實(shí)的響應(yīng)；（例如將“用西班牙語寫一個(gè)20行的詩”分解成更小的指令片段，如“寫詩”、“使用西班牙語”、“使用20行”，然后將這些指令放到不同的層級(jí)中。）

上下文忽略（Context Ignorance）：對(duì)于未對(duì)齊指令，會(huì)采取完全相反的方法：訓(xùn)練LLM，當(dāng)它從未見過低級(jí)別的指令時(shí)，生成相同的答案。

生成數(shù)據(jù)時(shí)，注意不要觸發(fā)過度拒絕行為，即對(duì)于對(duì)齊的低層次指令，模型也拒絕遵守或執(zhí)行。因?yàn)檫@會(huì)極大地?fù)p害模型的指令遵循能力。

對(duì)于對(duì)齊的指令，我們將指令分解成更小的部分，然后放入層次結(jié)構(gòu)的不同級(jí)別。如下圖所示，將一段定期檢查銀行狀態(tài)的指令放入用戶層級(jí)中。對(duì)應(yīng)LLM而言，應(yīng)該表現(xiàn)的就好像它在系統(tǒng)消息中看到了整個(gè)組合指令(System Message + UserInput)一樣；所以它的輸出也會(huì)提醒用戶定期檢查。

對(duì)于沒有對(duì)齊的低層次指令（例如用戶的輸入），我們讓模型的輸出為拒絕訪問或者直接忽視，如下圖所示，用戶層級(jí)試圖直接prompt注入攻擊，LLM應(yīng)該忽略或者拒絕回答，所以它輸出我無法幫助您。

注：由于篇幅有限，其他領(lǐng)域攻擊方式的數(shù)據(jù)構(gòu)造模板請(qǐng)閱讀原文哦。

通過這兩種策略，我們就可以構(gòu)建層次結(jié)構(gòu)的指令供大模型微調(diào)啦。接下來看看實(shí)驗(yàn)是怎么做的。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)方法：有監(jiān)督微調(diào)+基于人類反饋的強(qiáng)化學(xué)習(xí)(SFT+RLHF)

模型：GPT-3.5 Turbo

數(shù)據(jù)：上述生成數(shù)據(jù)

Baseline LM：為了評(píng)估指令層次結(jié)構(gòu)的有效性，選擇了一個(gè)類似的模型做微調(diào)，但是它的數(shù)據(jù)沒有采用指令層次結(jié)構(gòu)。

研究使用監(jiān)督微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)，對(duì)上述數(shù)據(jù)微調(diào)了GPT-3.5 Turbo以觀察模型的魯棒性，作為對(duì)比，作者還微調(diào)了一個(gè)類似的模型作為BaselineL。唯一的區(qū)別在于Baseline LM沒有使用層序結(jié)構(gòu)的指令作為訓(xùn)練數(shù)據(jù)，而是正常的指令數(shù)據(jù)。下面我們來看看結(jié)果：

主要結(jié)果

如下圖所示，指令層次結(jié)構(gòu)訓(xùn)練的模型在各種攻擊中具有顯著更高的魯棒性。最高提高了63.1%！

泛化結(jié)果

在訓(xùn)練期間，雖然沒有為越獄攻擊（jailbreaks）構(gòu)建指令層次結(jié)構(gòu)的訓(xùn)練數(shù)據(jù)。但是根據(jù)下圖的實(shí)驗(yàn)結(jié)果，依然將魯棒性提高了34%，這說明LLM學(xué)會(huì)了指令層次的結(jié)構(gòu)，對(duì)未曾見過的prompt也有一定的泛化性。

過度拒絕結(jié)果

由于上文提到的創(chuàng)建訓(xùn)練數(shù)據(jù)的方法會(huì)比較容易導(dǎo)致過度拒絕的問題，所以需要和BaselineLM比較下大模型遵循指令的性能。如下圖所示，在遵循不沖突的指令的性能方面，基本上和Baseline匹配，沒有出現(xiàn)模型行為的明顯下降。

總結(jié)

這篇論文提出了一種新的框架，即指令層級(jí)，用于提高 LLMs 的安全性和魯棒性，同時(shí)保持其遵循正常指令的基本能力不受損害。并且通過實(shí)驗(yàn)驗(yàn)證了他們的方法比當(dāng)今LLM的現(xiàn)狀有了巨大的進(jìn)步。

審核編輯：黃飛

?