引言

對(duì)話系統(tǒng)（dialogue system）是 NLP 中的的重點(diǎn)研究方向之一。其可以分為任務(wù)型對(duì)話系統(tǒng)和開放域?qū)υ捪到y(tǒng)。兩者在現(xiàn)實(shí)生活中都有著廣泛的應(yīng)用。

本次 Fudan DISC 實(shí)驗(yàn)室將分享 ACL 2021 中關(guān)于對(duì)話系統(tǒng)的 3 篇論文，介紹了任務(wù)型對(duì)話系統(tǒng)和基于人設(shè)的開放域?qū)υ捪到y(tǒng)的相關(guān)創(chuàng)新。

文章概覽

HyKnow: End to End Task-Oriented Dialog Modeling with Hybrid

論文地址：https://arxiv.org/pdf/2105.06041v2.pdf

這篇文章提出了一個(gè)基于聯(lián)合知識(shí)的任務(wù)導(dǎo)向型對(duì)話系統(tǒng)HyKnow，該模型通過延伸信念狀態(tài)來管理結(jié)構(gòu)化知識(shí)和非結(jié)構(gòu)化知識(shí)，它是第一個(gè)基于兩類知識(shí)進(jìn)行聯(lián)合優(yōu)化的端到端對(duì)話系統(tǒng)。實(shí)驗(yàn)證明，HyKnow 模型展現(xiàn)了優(yōu)于現(xiàn)有模型的強(qiáng)大的端到端性能。其更加出色的非結(jié)構(gòu)化知識(shí)檢索準(zhǔn)確率，也證明了模型勝于管道知識(shí)管理策略的聯(lián)合知識(shí)管理能力。

BoB: BERT Over BERT for Training Persona-based Dialogue Models

論文地址：https://arxiv.org/pdf/2106.06169.pdf

當(dāng)前對(duì)話數(shù)據(jù)的人設(shè)稀疏性，阻礙了魯棒且一致的基于人設(shè)的對(duì)話系統(tǒng)的構(gòu)建。本文提出了 BoB 模型，通過將基于人設(shè)的對(duì)話生成任務(wù)分離為一致性理解子任務(wù)和回應(yīng)生成子任務(wù)，利用非對(duì)話關(guān)系數(shù)據(jù)集訓(xùn)練一致性，解決了上述困難。模型在少量訓(xùn)練數(shù)據(jù)和人設(shè)稀疏的數(shù)據(jù)集上均展現(xiàn)了出色的性能。

Modulating Language Models with Emotions

論文地址：https://aclanthology.org/2021.findings-acl.379.pdf

針對(duì)情感對(duì)話生成任務(wù)，本文受 CV 領(lǐng)域相關(guān)技術(shù)的啟發(fā)，在Transformer 模型的層歸一化模塊中融入了情感信息，使得能夠利用大規(guī)模的預(yù)訓(xùn)練的語言模型來生成情感回應(yīng)。

論文細(xì)節(jié)

論文動(dòng)機(jī)

現(xiàn)有的基于人設(shè)的對(duì)話模型嚴(yán)重依賴和人設(shè)相關(guān)的對(duì)話數(shù)據(jù)，比如 PersonaChat 數(shù)據(jù)集。這類眾包數(shù)據(jù)集包含了大量的人設(shè)特征，但是其規(guī)模受到兩個(gè)因素的制約：其一，標(biāo)注者根據(jù)給定的人設(shè)來設(shè)計(jì)一致的對(duì)話會(huì)消耗大量精力；其二，日常生活中的對(duì)話常常不具備鮮明的人設(shè)特征，因此很難獲得現(xiàn)有的涉及豐富人設(shè)的對(duì)話。所以，在這類人設(shè)稀疏的對(duì)話數(shù)據(jù)集上訓(xùn)練的模型不能充分地學(xué)習(xí)一致性。

一個(gè)合格的基于人設(shè)的對(duì)話模型應(yīng)當(dāng)具備以下功能：一是能夠理解“人設(shè)-回應(yīng)”的一致性，二是能夠根據(jù)對(duì)話上下文生成人設(shè)相關(guān)的回應(yīng)。顯然，當(dāng)下缺乏合適的數(shù)據(jù)集支持這些功能的實(shí)現(xiàn)。然而，一旦將基于人設(shè)的對(duì)話生成任務(wù)分解為一致性理解子任務(wù)和對(duì)話生成子任務(wù)，就很容易得到大量的訓(xùn)練資源。對(duì)于一致性理解子任務(wù)，可以利用大規(guī)模的非對(duì)話關(guān)系數(shù)據(jù)集，比如 SNLI 和 MNLI 作為訓(xùn)練數(shù)據(jù)。至于對(duì)話生成子任務(wù)，我們已經(jīng)有了充足的大規(guī)模人設(shè)稀疏的數(shù)據(jù)集。

模型

文章提出的模型主要分為三個(gè)模塊，包括一個(gè)編碼器()，一個(gè)用于回應(yīng)生成的解碼器()和一個(gè)一致性理解解碼器()。模型框架如下圖所示

編碼器

編碼器的輸入包括人設(shè) P 和上下文 Q，對(duì)于人設(shè)，只需將人設(shè)句子簡單地拼接即可。模型將一個(gè) special token 放在人設(shè)序列和對(duì)話上下文之間，得到編碼器的輸入

接著嵌入層將輸入轉(zhuǎn)化為表示，這種表示是詞嵌入，類型嵌入和位置嵌入的和，其中在類型嵌入中，用 0 和 1 分別表示人設(shè)和上下文。用和代表人設(shè)和上下文獨(dú)立的表示，用代表和的聯(lián)合表示，即

其中表示輸入的最大長度。

然后編碼器對(duì)做多頭注意力，將其轉(zhuǎn)化為隱向量的序列，

即其中,MultiHead是帶有的全連接層，是編碼器的最終輸出，即。

回應(yīng)生成解碼器

一個(gè)交叉注意力被植入在和之間，其中來自的最后一層，且和均來自：

包含多個(gè)相同的層，每一層的輸出都會(huì)作為下一層的輸入，最終輸出被送往。這里的是模型產(chǎn)生的粗糙回應(yīng)，其不一定和人設(shè)保持一致，一致性學(xué)習(xí)和調(diào)整將會(huì)在一致性理解解碼器模塊上進(jìn)行。

一致性理解解碼器

利用進(jìn)行初始化。在的每一層中，多頭注意力被執(zhí)行兩次

以上得到的結(jié)果融合了人設(shè)信息和 粗糙回應(yīng)。最后一層的輸出連接一個(gè)線性層即可得到模型生成的最終回應(yīng)。

訓(xùn)練目標(biāo)

模型針對(duì)文本生成子任務(wù)采用了負(fù)對(duì)數(shù)損失，針對(duì)一致性理解采用了非似然損失。

回應(yīng)生成

模型在和上分別生成粗糙和精確的回應(yīng)，兩者的負(fù)對(duì)數(shù)損失可以表示為

非似然訓(xùn)練

在一致性理解模塊的訓(xùn)練中，模型主要利用非對(duì)話的關(guān)系數(shù)據(jù)集。對(duì)于一個(gè)樣本，將 premise 和 hypothesis 輸入解碼器中。如果兩者關(guān)系是 entailment，則應(yīng)當(dāng)促進(jìn)這種生成，那么訓(xùn)練目標(biāo)是最大化這類輸出的概率；如果兩者關(guān)系是 contradiction，則應(yīng)當(dāng)抑制這種生成，那么訓(xùn)練目標(biāo)是最小化這類輸出的概率。經(jīng)過上述訓(xùn)練模式，一致性理解模塊可以隱式地判斷人設(shè)和粗糙回應(yīng)的關(guān)系，并傾向于產(chǎn)生一種和人設(shè)保持一致的回應(yīng)。具體而言，將關(guān)系數(shù)據(jù)集劃分為兩類，一類是關(guān)系為 entailment 的樣本組成的子集，另一類是關(guān)系為 contradiction 的樣本組成的子集。在和上的損失可以表示為（記 premise 和 hypothesis 為，）

生成損失和一致性理解損失可以表示為

總損失可以表示為

其中和是超參數(shù)。

實(shí)驗(yàn)

本文為了驗(yàn)證 BoB 在人設(shè)稀疏的數(shù)據(jù)集上依然能夠保持優(yōu)秀的性能，挑選了兩個(gè)數(shù)據(jù)集 PersonaChat 和 PersonaDialog，前者包含了充足的人設(shè)信息，后者人設(shè)信息較少。本文在兩個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)?；€模型選擇了包括 GPT-2 在內(nèi)的預(yù)訓(xùn)練模型和一些非預(yù)訓(xùn)練模型。評(píng)價(jià)指標(biāo)包括人工評(píng)價(jià)和自動(dòng)評(píng)價(jià)，人工評(píng)價(jià)主要評(píng)估模型生成的流利度，信息量和相關(guān)性；自動(dòng)評(píng)價(jià)中，利用困惑度評(píng)價(jià)回應(yīng)的內(nèi)容質(zhì)量，利用 Dist 評(píng)價(jià)回應(yīng)的多樣性，利用 C.Score 和來評(píng)價(jià)回應(yīng)和人設(shè)的一致性。在人設(shè)密集的 PersonaChat 數(shù)據(jù)集上實(shí)驗(yàn)，得到如下結(jié)果

實(shí)驗(yàn)證明，在各項(xiàng)評(píng)價(jià)指標(biāo)上，BoB 都超過了基線模型。同時(shí)當(dāng)數(shù)據(jù)量減少為 1/2，1/4，1/8 時(shí)，模型依然展現(xiàn)出比肩基線模型的強(qiáng)大性能，證明了 BoB 模型的優(yōu)越性。

在人設(shè)稀疏的 PersonaDialog數(shù)據(jù)集上實(shí)驗(yàn)，得到如下結(jié)果

我們發(fā)現(xiàn)，即使在人設(shè)信息不足的情況下，BoB 依然能夠產(chǎn)生和人設(shè)高度一致的回應(yīng)，這得益于一致性理解模塊的訓(xùn)練脫離了有限的人設(shè)對(duì)話數(shù)據(jù)，轉(zhuǎn)而依賴大量的非對(duì)話關(guān)系數(shù)據(jù)。因此，一致性的學(xué)習(xí)不受人設(shè)信息多少的影響。這也是 BoB 最核心的創(chuàng)新點(diǎn)！

2

論文動(dòng)機(jī)

近幾年，任務(wù)型對(duì)話系統(tǒng)在達(dá)成用戶目的方面已經(jīng)收獲了不錯(cuò)的效果。大部分這樣的對(duì)話系統(tǒng)基于用戶需求查詢結(jié)構(gòu)化知識(shí)，比如表格和數(shù)據(jù)庫等，并利用查詢到的結(jié)果引導(dǎo)系統(tǒng)回應(yīng)的生成。然而，現(xiàn)實(shí)生活中的對(duì)話常常涉及到非結(jié)構(gòu)化的知識(shí)，比如餐廳的廣告，用戶用餐反饋等等。這些出現(xiàn)在非結(jié)構(gòu)化知識(shí)中的信息通常無法在結(jié)構(gòu)化知識(shí)中查詢得到。但是現(xiàn)有的任務(wù)型對(duì)話系統(tǒng)缺乏利用非結(jié)構(gòu)化知識(shí)的能力，這樣的缺陷可能導(dǎo)致對(duì)話進(jìn)程的終端，造成追蹤用戶需求和生成系統(tǒng)回應(yīng)的困難。

針對(duì)以上問題，本文考慮在任務(wù)型對(duì)話系統(tǒng)中結(jié)合不同形式的領(lǐng)域知識(shí)，構(gòu)建了一個(gè)同時(shí)基于結(jié)構(gòu)化知識(shí)和非結(jié)構(gòu)化知識(shí)的對(duì)話系統(tǒng) HyKnow。在基于結(jié)構(gòu)化知識(shí)的對(duì)話輪中，系統(tǒng)需要用三元組來跟蹤用戶需求，以此查詢數(shù)據(jù)庫條目，最后利用查詢結(jié)果生成回應(yīng)；在基于非結(jié)構(gòu)化知識(shí)的對(duì)話輪中，模型管理文檔庫來檢索相關(guān)信息來做回應(yīng)的生成。

模型

下圖給出了模型 HyKnow 的框架。模型總共分為三個(gè)部分：第一，模型使用拓展信念追蹤（extended belief tracking）來追蹤用戶需求；第二，模型基于拓展信念狀態(tài)（extended belief state）來搜索和用戶需求相關(guān)的結(jié)構(gòu)化知識(shí)和非結(jié)構(gòu)化知識(shí)；最后，模型利用拓展信念狀態(tài)和相關(guān)知識(shí)來生成系統(tǒng)回應(yīng)。

信念狀態(tài)

信念狀態(tài)有著特定的格式。信念狀態(tài)均由以上形式的三元組構(gòu)成，每個(gè)三元組表示用戶的某個(gè)需求，以(restaurant, food, Italian)為例，該三元組表示用戶需要了解餐飲領(lǐng)域關(guān)于意式食物的訊息。所謂拓展信念狀態(tài)，就是隨著對(duì)話輪的進(jìn)行，用戶需求的更新，信念狀態(tài)中添加了一些表示用戶新需求的三元組，我們將這樣的三元組集合記為，其中表示第輪對(duì)話。除此之外，信念狀態(tài)中也會(huì)包含關(guān)于用戶需求的話題，記作。注意到，和在解碼時(shí)所用到的詞表是不同的??！

拓展信念狀態(tài)解碼

遵循 Seq2Seq 框架，首先利用上下文編碼器來編碼對(duì)話上下文，其中的最后一維輸出用來初始化解碼器的隱層?；谏舷挛木幋a器的隱狀態(tài)和上一輪對(duì)話的拓展信念狀態(tài)，接著解碼本輪對(duì)話的拓展信念狀態(tài)，具體可以采用兩種方案。

因?yàn)楹突诘脑~表是不同的，所以用兩種方法實(shí)現(xiàn)的解碼：

第一，利用一個(gè)信念狀態(tài)解碼器來生成整個(gè)，優(yōu)化過程是聯(lián)合的，即

第二，對(duì)和用各自的解碼器分別解碼，兩個(gè)解碼器的參數(shù)是不共享的，優(yōu)化過程是非聯(lián)合的，即

知識(shí)查詢

基于拓展信念狀態(tài)，模型查詢數(shù)據(jù)庫得到，檢索文檔庫得到相關(guān)文檔，兩者用來引導(dǎo)系統(tǒng)生成。在數(shù)據(jù)庫的查詢中，只需要用三元組匹配條目即可。在文檔庫的檢索中，只需預(yù)處理文檔庫，提取每個(gè)文檔的話題，和三元組的相關(guān)內(nèi)容匹配即可。

回應(yīng)生成

基于上下文，拓展信念狀態(tài)和查詢結(jié)果，生成回應(yīng)由以下公式給出

其中和表示信念狀態(tài)編碼器和文檔編碼器。

實(shí)驗(yàn)

本文選擇了修改的 MultiWOZ 2.1 數(shù)據(jù)集，并將 HyKnow 模型和以下幾類基線模型相比較：一、現(xiàn)有的端到端任務(wù)型對(duì)話模型（E2E TOD）和對(duì)話狀態(tài)跟蹤模型（DST），以證明結(jié)合非結(jié)構(gòu)化知識(shí)的好處；二、非結(jié)構(gòu)化知識(shí)管理模型，以證明 HyKnow 檢索非結(jié)構(gòu)化知識(shí)方法的優(yōu)越性；三、上述兩者的結(jié)合，以證明 HyKnow 不僅強(qiáng)大在同時(shí)結(jié)合了結(jié)構(gòu)化知識(shí)和非結(jié)構(gòu)化知識(shí)，而且知識(shí)的管理，組織和查詢方式以及兩類知識(shí)的融合方式都是非常優(yōu)秀的。實(shí)驗(yàn)結(jié)果如下圖所示

實(shí)驗(yàn)表明，HyKnow 在各項(xiàng)性能指標(biāo)上都超過了基線模型，包括用戶需求的完成度，知識(shí)查詢準(zhǔn)確率等等。除此之外，實(shí)驗(yàn)證明，當(dāng)模型采用聯(lián)合優(yōu)化的時(shí)候，表現(xiàn)會(huì)更高，這說明兩類知識(shí)的模塊在共享參數(shù)時(shí)能夠彼此促進(jìn)。

3

論文動(dòng)機(jī)

當(dāng)前對(duì)話系統(tǒng)領(lǐng)域的一個(gè)重要任務(wù)是基于情感產(chǎn)生合適的回應(yīng)。關(guān)于這個(gè)任務(wù)，研究者提出了一些經(jīng)典的模型，比如 Seq2Seq 模型的變體，變分自編碼器，對(duì)抗網(wǎng)絡(luò)等等，不過這些模型生成的回應(yīng)通常較為枯燥乏味，可能是帶有情感標(biāo)簽的數(shù)據(jù)量有限的緣故。最近的研究提出了預(yù)訓(xùn)練模型來解決這類問題，比如 GPT-2 等等。不過，從頭訓(xùn)練一個(gè)預(yù)訓(xùn)練模型成本太高，并且收集用于預(yù)訓(xùn)練的包含豐富情感的對(duì)話數(shù)據(jù)非常困難。

針對(duì)上述困難，本文提出了一個(gè)簡單且易于部署的技術(shù)，使得大規(guī)模的預(yù)訓(xùn)練模型能夠產(chǎn)生細(xì)粒度的情感回應(yīng)。首先，利用 emoji 表情作為情感標(biāo)簽；其次，在 Transformer 塊的每個(gè)層歸一化模塊中引入情感 emoji，使得在每次做層歸一化的時(shí)候模型都能向著目標(biāo)情感進(jìn)行自我調(diào)整，這種方法簡單而自然，且易于推廣。

方法

模型的創(chuàng)新主要集中在對(duì) Transformer 模型的層歸一化的改造，我們稱經(jīng)過改造的層歸一化模塊為 Mod-LN。具體操作如下：對(duì)于輸入層歸一化模塊的隱狀態(tài)向量 x，，按照如下方式進(jìn)行歸一化

其中是磨光參數(shù)，以避免分母為 0。和是兩個(gè)可訓(xùn)練的模塊，運(yùn)行機(jī)制如下

其中和是屬于層的全連接層，表示情感標(biāo)簽的表示向量，表示偏置，表示激活函數(shù)。模型結(jié)構(gòu)如下圖所示

實(shí)驗(yàn)

本文在 MojiTalk 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，其中有 64 個(gè)細(xì)粒度的情感 emoji?；€模型選取 R-CVAE。本文分別在 BERT-to-BERT，GPT2-to-GPT2 上利用 Mod-LN，和基線模型相比較，以證明添加的 Mod-LN 的優(yōu)越性。關(guān)于情感分析性能，作者對(duì)模型生成的回應(yīng)用情感分類器預(yù)測情感，將其和正確情感比較，從而得到模型的情感預(yù)測準(zhǔn)確率，準(zhǔn)確率越高，情感分析質(zhì)量越高。除此之外，采用人工評(píng)價(jià)的方式，評(píng)估回應(yīng)的情感性和可讀性。以上兩個(gè)評(píng)價(jià)方面的結(jié)果如下表所示

實(shí)驗(yàn)證明，添加了 Mod-LN 的模型不僅在各項(xiàng)性能指標(biāo)上超過了基線模型，而且在有限數(shù)據(jù)集上依然表現(xiàn)尚佳。這是因?yàn)?，將目?biāo)情感滲透到每個(gè)層歸一化模塊中，每個(gè) Transformer 中，使得模型總是頻繁地向著目標(biāo)情感的方向進(jìn)行自我調(diào)整。

責(zé)任編輯：haq