預(yù)測源代碼，聽著就是一件非常炫酷的事情。最近，谷歌大腦的研究人員就對此高難度任務(wù)發(fā)起了挑戰(zhàn)，在構(gòu)建源代碼生成模型上實現(xiàn)了新突破！

編程神技來了！

根據(jù)已經(jīng)編輯好的代碼預(yù)測源代碼的AI，對程序員來說是一個非常寶貴的工具。

最近，谷歌大腦團隊就對這項難度頗高的任務(wù)發(fā)起了挑戰(zhàn)。

論文地址：

https://arxiv.org/pdf/1904.02818.pdf

改代碼是程序員經(jīng)常要做的事，需求一變，甚至可能要重頭再來。然而，編輯模式(edit pattern)是無法僅僅根據(jù)要插入/刪除的內(nèi)容或者寫好內(nèi)容后的代碼狀態(tài)來被理解。

它需要根據(jù)變化與其所處狀態(tài)的關(guān)系來理解，準確地對代碼序列進行建模需要學(xué)習(xí)舊代碼的表示方法，這就允許模型可以概括一種模式且對未來要編寫的代碼內(nèi)容進行預(yù)測。

舉個例子：

有兩個歷史記錄A和B，這兩段代碼序列在經(jīng)過2次編輯后，得到了相同狀態(tài)，即“狀態(tài)2”。但是在這個過程當中，歷史記錄A是在向foo函數(shù)添加參數(shù)，而歷史記錄B是在從foo函數(shù)中刪除參數(shù)。

這項工作，就是希望根據(jù)“狀態(tài)0”和“編輯 1&2 ”，可以預(yù)測接下來“編輯3”的操作內(nèi)容。

為了達到這個目的，他們首先開發(fā)了兩種表示方法來捕獲意圖信息，這些信息將隨著代碼序列的長度“優(yōu)雅地”擴展：

顯式表示方法：在序列中“實例化”代碼內(nèi)容；

隱式表示方法：用于實例化后續(xù)要編寫的代碼。

然后它們構(gòu)建了一個機器學(xué)習(xí)模型，這個模型可以捕獲原始代碼和預(yù)測代碼之間的上下文關(guān)系。

構(gòu)建源代碼生成模型新突破

近年來，構(gòu)建源代碼的生成模型成為十分受重視的核心任務(wù)。

然而，以前的生成模型總是根據(jù)生成代碼的靜態(tài)快照(static snapshot)來構(gòu)建的。而在這項工作中，研究人員將源代碼視為一個動態(tài)對象(dynamic object)，并處理軟件開發(fā)人員對源代碼文件進行編輯的建模問題。

對編輯序列建模的主要挑戰(zhàn)是如何開發(fā)良好的表示，既能捕獲有關(guān)意圖的所需信息，又能優(yōu)雅地對序列的長度進行擴展。

正如上述，這項工作主要考慮編輯的兩種表示方法，一是顯式表示方法，二是隱式表示方法。

在顯式表示方法中，將分層循環(huán)指針網(wǎng)絡(luò)模型視為強大但計算成本較高的基線。在隱式表示方法中，考慮一個vanilla序列到序列模型，以及一個基于注意力的雙頭模型。這些模型展示了由不同問題公式產(chǎn)生的權(quán)衡，并為未來的編輯序列模型提供設(shè)計決策。

在精心設(shè)計的合成數(shù)據(jù)和對Python源代碼進行細粒度編輯的大型數(shù)據(jù)集上，研究人員評估了模型的可伸縮性和準確性，以及模型觀察以往編輯序列并預(yù)測未來編輯內(nèi)容的能力。

實驗表明，雙頭注意力模型特別適合實現(xiàn)對真實數(shù)據(jù)的高精度、校準良好的置信度和良好的可擴展性。

總之，這項工作形式化了從編輯序列中學(xué)習(xí)和預(yù)測編輯序列的問題，提供了對模型空間的初步探索，并演示了從開發(fā)人員對源代碼進行的編輯中學(xué)習(xí)的實際問題的適用性。

問題定義：如何表示編輯序列數(shù)據(jù)

隱式和顯式數(shù)據(jù)表示

第一個問題是如何表示編輯序列數(shù)據(jù)。我們定義了兩種具有不同權(quán)衡的數(shù)據(jù)格式。

顯式格式 (圖 2 (a)) 將編輯序列表示為 2D 網(wǎng)格中 tokens 序列的序列。內(nèi)部序列對文件中的 tokens 建立索引，外部序列對時間建立索引。任務(wù)是消耗前 t 行并預(yù)測在時間 t 進行的編輯的位置和內(nèi)容。

隱式格式 (圖 2 (b)) 將初始狀態(tài)表示為 tokens 序列，將編輯表示為 (position, content) 對的序列。

圖 2：將 “BACA” 轉(zhuǎn)換為 “BABBCACC” 的編輯序列的顯式表示 (a) 和隱式表示 (b)。

問題描述

顯式問題的目標是學(xué)習(xí)一個模型，該模型使給定的的可能性最大化；隱式問題是學(xué)習(xí)一個模型，該模型使給定所有 t 的的?

基線模型

基線顯式模型 (Baseline Explicit Model)

基線顯式模型是一個兩級長短時記憶 (LSTM) 神經(jīng)網(wǎng)絡(luò)，類似于 Serban 等人 (2016) 的分層 RNN 模型。

基線隱式模型 (Baseline Implicit Model)

sequence-to-sequence 框架的自然應(yīng)用是使用編碼器的初始狀態(tài) s (0)，并在解碼器中生成 (p (t) i, c (t)) 對的序列。編碼器是一個標準的 LSTM。解碼器不太標準，因為每個動作都是成對的。為了將對作為輸入處理，我們將 p (t) i 的嵌入與 c (t) 的嵌入連接起來。為了產(chǎn)生成對的輸出，我們先預(yù)測位置，然后給出給定位置的內(nèi)容。

隱式注意力模型

我們開發(fā)了一個模型，它對隱式表示進行操作，但是能夠更好地捕獲編輯內(nèi)容與編輯上下文之間關(guān)系的序列。

該模型深受 Vaswani 等人 (2017) 的啟發(fā)。在訓(xùn)練時，編輯的完整序列在單個前向傳遞中被預(yù)測。

有一個編碼器計算初始狀態(tài)和所有編輯的隱藏表示，然后有兩個 decoder heads：第一個解碼每個編輯的位置，第二個解碼給定位置的每個編輯的內(nèi)容。

圖 3 (b, c) 對模型的整體結(jié)構(gòu)進行了概述。

圖 3：(a) 基線顯式模型；(b, c) 隱式注意力模型

實驗和結(jié)果：模型可以解決幾乎所有任務(wù)

實驗的目的是了解上述模型的能力和局限性，并在實際數(shù)據(jù)上進行評估。

實驗有兩個主要因素，一是模型如何準確地學(xué)習(xí)識別編輯序列中的模式，二是模型如何擴展到大數(shù)據(jù)。

在第一組實驗中，我們在一個簡單的環(huán)境中研究了這些問題；在第二組實驗中，我們根據(jù)真實數(shù)據(jù)進行了評估。

本節(jié)中，我們評估了三種方法：顯式模型縮寫為 E，隱式 RNN 模型縮寫為 IR，隱式注意力模型縮寫為 IA。

表 1：在合成數(shù)據(jù)集上的準確性

表 1 報告了產(chǎn)生最佳開發(fā)性能的超參數(shù)設(shè)置和步驟的測試性能。結(jié)果表明，顯式模型和改進的隱式模型可以解決幾乎所有的任務(wù)，甚至包括那些涉及元字符和相對較長的替換序列的任務(wù)。

圖 4：(a)-(c) 在訓(xùn)練期間處理序列所需的時間，跨越不同插入數(shù) (10,50,100) 的 n-gram 問題。(d) 當將預(yù)測限制在模型最有信心的上下文中時，實際數(shù)據(jù)集的 token 級精度。

如圖 4 (d) 所示，顯式模型始終比隱式模型成本更高，并且隨著數(shù)據(jù)大小的增加，這種差距也會增大。長度為 100 的插入序列比實際數(shù)據(jù)集中的序列小十倍，但在運行時已經(jīng)存在一個數(shù)量級的差異。注意力模型通常占隱式 RNN 模型的 50% ~ 75% 的時間。

結(jié)論和未來研究

在這項工作中，我們提出了從過去的編輯中學(xué)習(xí)，以預(yù)測未來編輯的問題，開發(fā)了具有很強泛化能力的編輯序列模型，并證明了該方案對大規(guī)模源代碼編輯數(shù)據(jù)的適用性。

我們做了一個不切實際的假設(shè)，即快照之間的編輯是按從左到右的順序執(zhí)行的。另一種值得探索的方案是，將其視為從弱監(jiān)督中學(xué)習(xí)?？梢韵胂筮@樣一個公式，其中快照之間的編輯順序是一個潛在變量，必須在學(xué)習(xí)過程中推斷出來。

該研究有多種可能的應(yīng)用。在開發(fā)人員工具的背景中，我們特別感興趣的是調(diào)整過去的編輯以做出其他類型的預(yù)測。例如，我們還可以設(shè)置光標位置的條件，并研究如何使用編輯歷史來改進忽略編輯歷史的傳統(tǒng)自動完成系統(tǒng)。另一個例子是，根據(jù)開發(fā)人員最近的編輯，預(yù)測他們接下來會發(fā)出哪些代碼搜索查詢。一般來說，我們希望預(yù)測開發(fā)人員接下來要做的事情。我們認為，編輯歷史包含了重要的有用信息，在這項工作中提出的公式和模型是學(xué)習(xí)使用這些信息的良好起點。