OpenAI號(hào)稱史上最強(qiáng)“通用”NLP模型又有新動(dòng)作啦！繼今年2 月發(fā)布了小型1.24億參數(shù)模型GPT-2后，OpenAI宣布發(fā)布7.74億參數(shù)GPT-2 模型，15.58億的完整模型也有望于幾個(gè)月內(nèi)發(fā)布。

今年2月，OpenAI發(fā)布了號(hào)稱史上最強(qiáng)“通用”NLP模型，它基于Transformer，擁有15億參數(shù)，使用含有800萬(wàn)網(wǎng)頁(yè)內(nèi)容的數(shù)據(jù)集訓(xùn)練，只為一個(gè)目的：

根據(jù)當(dāng)前已有的信息，預(yù)測(cè)下一個(gè)單詞是什么。

新模型的名字叫GPT-2，是OpenAI去年發(fā)布的無(wú)監(jiān)督NLP模型GPT的直接拓展，新模型用到的參數(shù)和訓(xùn)練數(shù)據(jù)，都增長(zhǎng)了超過(guò)10倍參數(shù)數(shù)量。

但是OpenAI表示，由于這個(gè)新模型過(guò)于強(qiáng)大怕被濫用，所以沒有全部開源，遭到網(wǎng)友猛懟。

就在本周，OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語(yǔ)言模型，15.58億的完整模型也有望于幾個(gè)月內(nèi)發(fā)布，并將GPT-2這6個(gè)月的進(jìn)展情況在博客上和大家做了介紹，本文將為大家梳理。

OpenAI博客地址：https://openai.com/blog/gpt-2-6-month-follow-up/ GPT-2有多“可怕”？訓(xùn)練1小時(shí)相當(dāng)于燒掉1臺(tái)頂配版X Max

今年2月，OpenAI宣稱他們研究出一個(gè)GPT-2的NLP模型，號(hào)稱“史上最強(qiáng)通用NLP模型”，因?yàn)樗牵?/p>

踩在15億參數(shù)的身體上：爬取了Reddit上點(diǎn)贊超過(guò)三票的鏈接的文本內(nèi)容，大約用到1000萬(wàn)篇文章，數(shù)據(jù)體量超過(guò)了40G，相當(dāng)于35000本《白鯨記》。（注：小說(shuō)約有21萬(wàn)單詞，是電影《加勒比海盜》的重要故事參考來(lái)源之一。動(dòng)漫《海賊王》里四皇之一的白胡子海賊團(tuán)的旗艦就是以故事主角大白鯨的名字Moby Dick命名）。

無(wú)需預(yù)訓(xùn)練的“zero-shot”：在更通用的數(shù)據(jù)集基礎(chǔ)上，使用自注意力模塊遷移學(xué)習(xí)，不針對(duì)任何特定任務(wù)的數(shù)據(jù)進(jìn)行訓(xùn)練，只是作為最終測(cè)試對(duì)數(shù)據(jù)進(jìn)行評(píng)估，在Winograd Schema、LAMBADA以及其他語(yǔ)言建模任務(wù)上實(shí)現(xiàn)了state-of-the-art 的結(jié)果。

最終結(jié)果：8個(gè)數(shù)據(jù)集中油7個(gè)刷新當(dāng)前最佳紀(jì)錄。

下表顯示了最先進(jìn)的zero-shot結(jié)果。(+)表示該項(xiàng)分?jǐn)?shù)越高越好。(-)表示分?jǐn)?shù)越低越好。

雖然OpenAI沒有在論文中提及具體的計(jì)算力及訓(xùn)練時(shí)間，但通過(guò)公布的數(shù)據(jù)推測(cè)，他們的模型使用了256個(gè)谷歌云TPU v3。

TPU v3在Google之外只提供單獨(dú)使用版本(排除OpenAI可能得到了特別的許可)，很可能GPT-2訓(xùn)練時(shí)所需的成本將高達(dá)8 * 256 = 2048美元/小時(shí)，相當(dāng)于一小時(shí)燒掉一臺(tái)512G的iPhone Xs Max。

然而，OpenAI并沒有完全公布GPT-2模型及代碼，OpenAI給出的理由是：因?yàn)檫@個(gè)模型能力太強(qiáng)大了！他們目前還有點(diǎn)hold不住它。一旦開源后被壞人拿到，將會(huì)貽害無(wú)窮。有點(diǎn)中國(guó)武俠小說(shuō)里，絕世武功秘籍的意思。

網(wǎng)友吐槽：不公開代碼和訓(xùn)練集就干脆別發(fā)表！

于是開發(fā)者和學(xué)者們不干了，紛紛質(zhì)疑OpenAI這種做法顯得心口不一。甚至盛產(chǎn)吐槽大神的Reddit上，有人建議OpenAI干脆改名CloseAI的言論，獲得了數(shù)百網(wǎng)友的點(diǎn)贊。

OpenAI干脆改名“CloseAI”算了！

我也做了個(gè)超強(qiáng)大的MNIST模型，要不要擔(dān)心它被濫用而不公開呢？

更有甚者，比如下面這位Ben Recht，還發(fā)了一條Twitter長(zhǎng)文進(jìn)行嘲諷：

對(duì)于種種質(zhì)疑，OpenAI在最新的博客中進(jìn)行了回應(yīng)。 OpenAI在對(duì)模型的研究和合作測(cè)試中總結(jié)出3點(diǎn)

在對(duì)模型的研究和合作測(cè)試中，OpenAI有3點(diǎn)總結(jié)： 1.協(xié)調(diào)合作很困難，但有可能實(shí)現(xiàn)。 到目前為止，我們還沒有公開發(fā)布15.58億參數(shù)的完整模型，不過(guò)已經(jīng)有不少組織開發(fā)了系統(tǒng)來(lái)訓(xùn)練模型，并公開討論如何訓(xùn)練更大的模型。比如來(lái)自華盛頓大學(xué)的NLP開發(fā)人員Hugging Face和艾倫人工智能研究所（AI2）的團(tuán)隊(duì)已明確采用了類似的分階段發(fā)布方法。自今年2月以來(lái)，我們已經(jīng)與超過(guò)五個(gè)復(fù)制GPT-2模型的團(tuán)隊(duì)進(jìn)行了交流。 進(jìn)行這些對(duì)話并不容易，因?yàn)樗婕皩Ｓ邢到y(tǒng)，而且我們并不清楚是討論這些模型應(yīng)該找哪些人來(lái)交流，以及在不同組織和團(tuán)隊(duì)間討論尚未發(fā)布的模型時(shí)，合適的流程是什么，等等。 2、通過(guò)模型合成的文本可能會(huì)讓人們感覺更為合理。 我們的合作伙伴Sarah Kreps和Miles McCain在康奈爾大學(xué)發(fā)表的一項(xiàng)研究表明，人們發(fā)現(xiàn)GPT-2合成文本的樣本幾乎與真人寫出的文本具有同樣的說(shuō)服力（測(cè)試者中有72％的人認(rèn)為這些合成的文章是可信的）《紐約時(shí)報(bào)》上的真實(shí)文章得票率為83％。 此外，艾倫研究所和華盛頓大學(xué)的研究表明，由名為“GROVER”的AI系統(tǒng)撰寫的新聞比人類寫的更為合理。這些研究結(jié)果使我們?cè)诎l(fā)布語(yǔ)言模型時(shí)更加謹(jǐn)慎。 3.檢測(cè)模型并不是個(gè)簡(jiǎn)單的事。 惡意使用者可以使用各種采樣技術(shù)（包括拒絕采樣）或微調(diào)模型來(lái)逃避檢測(cè)。最終部署的檢測(cè)系統(tǒng)可能需要在各代中都具備極高準(zhǔn)確率（99.9％-99.99％）。 我們的研究表明，目前基于機(jī)器學(xué)習(xí)的方法只能達(dá)到90% 到95%的準(zhǔn)確度，對(duì)語(yǔ)言模型進(jìn)行微調(diào)還會(huì)進(jìn)一步降低準(zhǔn)確性。這條路真的很有前途，但這個(gè)問(wèn)題也是真的困難。我們認(rèn)為，文本的統(tǒng)計(jì)檢測(cè)需要輔以人類判斷和與文本相關(guān)的元數(shù)據(jù)，以便有效地打擊對(duì)語(yǔ)言模型的濫用。 OpenAI與其他機(jī)構(gòu)團(tuán)隊(duì)的合作

OpenAI與四家領(lǐng)先的研究機(jī)構(gòu)合作，分析了新發(fā)布的7.74億參數(shù)的GPT-2模型，以及尚未發(fā)布的完整GPT-2模型。我們將一些初步結(jié)果寫入了技術(shù)報(bào)告，目前正在分析可能發(fā)布的15.58億參數(shù)完整模型的有關(guān)問(wèn)題。此外，還制定了非商用法律協(xié)議，以促進(jìn)組織機(jī)構(gòu)之間的模型共享。 康奈爾大學(xué)正在研究人類對(duì)語(yǔ)言模型產(chǎn)生的數(shù)字虛假信息的敏感性。 米德爾伯里恐怖主義、極端主義和反恐國(guó)際研究中心（CTEC）正在探索GPT-2被網(wǎng)絡(luò)上的恐怖分子和極端分子濫用的情況。 俄勒岡大學(xué)在開發(fā)一系列“偏差檢測(cè)器”來(lái)分析GPT-2模型中的偏差。 德克薩斯大學(xué)奧斯汀分校正在研究在特定領(lǐng)域數(shù)據(jù)集上進(jìn)行微調(diào)后的GPT-2輸出的統(tǒng)計(jì)可檢測(cè)性，以及跨不同語(yǔ)言模型的檢測(cè)傳遞程度。 未來(lái)，完整模型何時(shí)發(fā)布？ 未來(lái)我們將綜合考慮以上這些合作伙伴的研究成果，觀察當(dāng)前的7.74億參數(shù)模型的使用情況，并與研究人員和決策者討論語(yǔ)言模型的制定。作為我們分階段發(fā)布策略的一部分，我們目前的計(jì)劃是在幾個(gè)月內(nèi)發(fā)布15.58億參數(shù)的完整GPT-2模型，但如果合作伙伴的調(diào)查結(jié)果有變，或者當(dāng)前的模型出現(xiàn)了惡意使用，那么最終的發(fā)布時(shí)間也可能會(huì)變化。 我們認(rèn)為，分階段發(fā)布、以及基于合作伙伴關(guān)系的模型共享，這兩點(diǎn)是負(fù)責(zé)任的AI模型發(fā)布的關(guān)鍵基礎(chǔ)，在性能強(qiáng)大的生成模型的背景下更是如此。未來(lái)，隨著時(shí)間的推移，大型模型固有的問(wèn)題將會(huì)越來(lái)越多，而不是越來(lái)越少。我們希望在GPT-2模型上開展的合作會(huì)有助于解決這些問(wèn)題。

大型語(yǔ)言模型存在無(wú)法估量的潛在威脅，公開數(shù)據(jù)需要謹(jǐn)慎再謹(jǐn)慎！

隨模型發(fā)布的還有一份技術(shù)報(bào)告，介紹與更廣泛的AI研究社區(qū)協(xié)調(diào)發(fā)布規(guī)范方面的經(jīng)驗(yàn)。新智元也把重點(diǎn)內(nèi)容為大家做了總結(jié)：

大型語(yǔ)言模型在各個(gè)領(lǐng)域具有廣泛的用途。例如創(chuàng)建情感分類器、語(yǔ)音識(shí)別系統(tǒng)、翻譯系統(tǒng)、對(duì)話系統(tǒng)，區(qū)分由語(yǔ)言模型（尤其是對(duì)抗性示例）生成的合成文本和人類創(chuàng)作的文本。

除此之外，在生物醫(yī)學(xué)文獻(xiàn)分析、生成綜合測(cè)試數(shù)據(jù)、生成放射學(xué)報(bào)告和腦電圖報(bào)告等方面的應(yīng)用對(duì)人類健康有著非常大的價(jià)值。

在過(guò)去六個(gè)月內(nèi)，GPT-2已經(jīng)被應(yīng)用在軟件工程、文案、藝術(shù)、娛樂、健康等多個(gè)領(lǐng)域，幫助文字工作者糾正語(yǔ)法、提供靈感，為開發(fā)者自動(dòng)補(bǔ)全代碼（例如Deep TabNine），創(chuàng)作音樂（例如OpenAI的MuseNet）等等。

小參數(shù)的GPT-2就在這些領(lǐng)域的成功應(yīng)用，為研究人員發(fā)布更大規(guī)模參數(shù)的模型樹立了極大的信心。在此之前，研究人員一直擔(dān)心GPT-2可能導(dǎo)致無(wú)法估量的潛在風(fēng)險(xiǎn)，例如虛假信息、網(wǎng)絡(luò)暴力等。

研究人員將目前已知的惡意行為分為三個(gè)層級(jí)：

1. 初、中級(jí)。資源有限，可能只是好奇想試著搞點(diǎn)事情 2. 專家級(jí)。能力夠，資源也不少。例如水軍、營(yíng)銷號(hào)、垃圾郵件等 3. 大師級(jí)。也被稱為高級(jí)持續(xù)性威脅（APT），技能一流，資源充足，能夠打硬仗、打持久戰(zhàn)

研究人員通過(guò)后續(xù)監(jiān)測(cè)最終確認(rèn)，別有用心之人很難具備利用GPT-2掀起滔天巨浪的能力和資源，因此研究人員才敢繼續(xù)釋放更大規(guī)模的參數(shù)。

而面對(duì)大師級(jí)的惡意攻擊者，數(shù)據(jù)量的多少，根本不能顯著的影響他們?yōu)榉亲鞔醯囊庠负瓦M(jìn)度。這個(gè)時(shí)候，正式專業(yè)的安防機(jī)構(gòu)體現(xiàn)價(jià)值的機(jī)會(huì)。

OpenAI正在和合作伙伴攜手研究應(yīng)對(duì)可能的各種威脅，制定對(duì)戰(zhàn)策略，加固正義的防線。

語(yǔ)言模型未來(lái)的四大趨勢(shì)

通過(guò)進(jìn)一步的研究，OpenAI希望語(yǔ)言模型能夠以更高的輸出質(zhì)量和準(zhǔn)確度擴(kuò)展性能。除了這些模型級(jí)別的改進(jìn)之外，OpenAI還確定了四種趨勢(shì)，以便以有益和有效的方式理解和塑造語(yǔ)言模型的社會(huì)影響。 趨勢(shì)1：語(yǔ)言模型轉(zhuǎn)移到設(shè)備 考慮到計(jì)算能力成本的歷史趨勢(shì)，我們可以期待語(yǔ)言模型在一系列設(shè)備上得到更廣泛的部署。例如，Hugging Face將1.24億參數(shù)GPT-2移植到Swift CoreML中，以便在iOS設(shè)備上進(jìn)行推理。 趨勢(shì)2：更可控的文本生成 語(yǔ)言模型的潛在用途將隨著提高可靠性和/或可控性的發(fā)展而增長(zhǎng)，例如新的抽樣方法、新的數(shù)據(jù)集、新的目標(biāo)函數(shù)和新的人機(jī)界面。 可控性的例子包括： ?在GROVER模型中，進(jìn)行界面修改以引入輸出可控性，使得可以輸入文章元數(shù)據(jù)（例如，標(biāo)題，作者）以生成高質(zhì)量輸出。 ?清華大學(xué)的ERNIE模型與知識(shí)庫(kù)相結(jié)合，促進(jìn)了比通用語(yǔ)言模型更可控的生成。 ?Stanford和FAIR展示了通過(guò)更直接地針對(duì)高級(jí)會(huì)話屬性（例如重復(fù)程度）進(jìn)行優(yōu)化來(lái)改善聊天機(jī)器人性能的潛力。 趨勢(shì)3：更多風(fēng)險(xiǎn)分析 目前還不清楚如何比較具有不同性能配置文件的兩個(gè)大型語(yǔ)言模型的誤用性（misusability），特別是在考慮微調(diào)（fine-tuning）時(shí)。一些關(guān)鍵的考慮因素包括在模型的幫助下生成一定質(zhì)量的文本所需的時(shí)間和專業(yè)知識(shí)，以及不使用模型的情況，盡管隨著技術(shù)工具的發(fā)展，這將隨著時(shí)間的推移而變化。 趨勢(shì)4：工具可用性提升 今天，模型的訓(xùn)練和部署需要了解ML技術(shù)，使用工具的技能以及訪問(wèn)測(cè)試平臺(tái)以進(jìn)行評(píng)估。穩(wěn)步改進(jìn)的與語(yǔ)言模型交互的工具，如Talk to Transformer和Write with Transformer，將擴(kuò)大能夠以各種不同方式使用語(yǔ)言模型的參與者的數(shù)量。這些對(duì)工具可用性的改進(jìn)將對(duì)模型性能和采樣方法的改進(jìn)起到補(bǔ)充作用，并將使語(yǔ)言模型的創(chuàng)造性應(yīng)用比我們目前看到的更廣泛。

GPT-2時(shí)間線梳理

2019年2月

OpenAI首次公布了GPT-2論文以及1.24億參數(shù)的GPT-2模型。

論文： https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

2019年3月

OpenAI及其合作伙伴舉行晚宴討論發(fā)布高風(fēng)險(xiǎn)AI的合適時(shí)機(jī)： https://www.partnershiponai.org/when-is-it-appropriate-to-publish-high-stakes-ai-research/

2019年5月

發(fā)布3.35億模型，以及大規(guī)模模型輸出的數(shù)據(jù)集。

發(fā)布檢測(cè)基線，幫助人們了解如何檢測(cè)GPT-2等模型的輸出。

TalktoTransformer.com網(wǎng)站上線，可以讓大眾直觀體驗(yàn)GPT-2。輸入一句話，它會(huì)自動(dòng)為你腦補(bǔ)出一段狗血?jiǎng)∏?，下圖：

隨后一份教程上線。但作者也提醒GPT-2帶來(lái)的潛在風(fēng)險(xiǎn)不可限量，并舉例水軍機(jī)器人由于GPT-2得到極大的提升。

2019年6月

OpenAI在國(guó)會(huì)聽證會(huì)上，討論關(guān)于合成媒體的影響，包括討論合成文本。

DeepMind討論了GPT-2及適用于生成模型的出版規(guī)范的重要性無(wú)監(jiān)督學(xué)習(xí)的討論： https://deepmind.com/blog/article/unsupervised-learning

OpenAI開始與合作伙伴開展研究合作，以制定人工智能研究的出版規(guī)范。并嘗試與各種各樣的人工智能研究組織合作，提出科學(xué)家在發(fā)布之前可能要問(wèn)的問(wèn)題，以及他們可以用來(lái)做出版決策的潛在框架。

2019年7月

DeepTabNine基于GPT-2開發(fā)代碼自動(dòng)補(bǔ)全應(yīng)用。

使用自回歸Transformer模型生成多圈對(duì)話響應(yīng)：

https://arxiv.org/abs/1908.01841

GLTR：生成文本的統(tǒng)計(jì)檢測(cè)和可視化： https://www.aclweb.org/anthology/P19-3019

2019年8月

思科技術(shù)項(xiàng)目和劍橋大學(xué)的研究人員發(fā)表了一篇關(guān)于減少合成惡意使用的工作文件媒體研究：機(jī)器學(xué)習(xí)的注意事項(xiàng)和潛在發(fā)布實(shí)踐

論文： https://arxiv.org/abs/1907.11274

初創(chuàng)公司AI21 Labs發(fā)布了一個(gè)神經(jīng)文本生成器“HAIM”，他們只發(fā)布了該模型的3.45億參數(shù)版本： https://www.ai21.com/haim-post

NVIDIA Research訓(xùn)練了83億參數(shù)GPT-2模型： https://nv-adlr.github.io/MegatronLM

發(fā)布了7.74億參數(shù)模型。