智能客服一直被視為大模型最適合的應(yīng)用場景之一，而京東在大模型出現(xiàn)后，不僅推出了京東言犀大模型，還利用這些模型升級了智能客服、交互式營銷、數(shù)字人等產(chǎn)品，并在實際場景中逐步落地，取得了顯著成果。在本次“極客有約”對話節(jié)目中，魚哲和京東云言犀算法總監(jiān)祝天剛討論了大模型在智能服務(wù)領(lǐng)域的落地要點。

亮點：

大模型在數(shù)據(jù)需求上相對較低，能夠更接近端到端處理，生成結(jié)果更自然流暢，提供更好的用戶體驗。

更新不僅限于基礎(chǔ)模型的更新，還包括知識庫的更新。

使用大模型在某種程度上為我們提供了更多的可能性，但也引入了更多的復(fù)雜性。

沒有一個通用的模板或規(guī)則來告訴我們應(yīng)該使用哪個模型。

技術(shù)的選擇應(yīng)該基于深刻理解的業(yè)務(wù)需求，以確保問題得到最好的解決。

嘉賓簡介：

魚哲，Lepton AI 創(chuàng)始團隊成員，產(chǎn)品負責(zé)人。

祝天剛，京東云言犀算法總監(jiān)，主要負責(zé)智能客服、交互式營銷等產(chǎn)品的算法研發(fā)，大模型應(yīng)用落地等工作，產(chǎn)品服務(wù)于京東域內(nèi)百萬商家，域外政府、銀行、企業(yè)等眾多應(yīng)用場景。

在哪些業(yè)務(wù)場景里應(yīng)用了大模型

魚哲：京東作為電商領(lǐng)域的佼佼者，在大規(guī)模模型的嶄露頭角后，不管是從商家端還是用戶體驗方面，表現(xiàn)都非常出色。我們今天將深入探討京東在自然語言處理和客服技術(shù)上的挑戰(zhàn)和應(yīng)用場景。從京東云言犀的首頁能看出京東非常貼近實際業(yè)務(wù)場景，呈現(xiàn)了多種實際業(yè)務(wù)場景的應(yīng)用。在大模型技術(shù)流行之后，京東云言犀團隊采取了哪些措施？京東是如何采納這一技術(shù)的，以及如何將這些新技術(shù)應(yīng)用到業(yè)務(wù)中的？

祝天剛：你剛才提到言犀似乎更貼近業(yè)務(wù)，這點我非常認同。我們部門堅持一個基本原則，即研究和探索應(yīng)該源自實際業(yè)務(wù)需求。一旦我們做出研究并取得成果，我們必須將其應(yīng)用到業(yè)務(wù)中，以評估技術(shù)在業(yè)務(wù)中是否能帶來收益和價值，以及是否能影響更多人。

關(guān)于大模型的興起，特別是在言犀和智能客服領(lǐng)域，我們也采用了一些新的技術(shù)。我的主要關(guān)注點是言犀，這是一個智能對話平臺，我們在這個領(lǐng)域進行了許多工作。在對話過程中，涉及到問答和內(nèi)容生成，機器人也主動提問。生成的內(nèi)容不僅僅用于對話，還用于其他場景。因此，在客服對話和內(nèi)容生成方面，我們進行了許多創(chuàng)新和嘗試，并已將這些創(chuàng)新應(yīng)用到實際業(yè)務(wù)中，有很多具體的落地應(yīng)用。

魚哲：在電商領(lǐng)域，客服介入在消費者和商家之間的互動中起著關(guān)鍵作用。無論是在消費者選擇商品之前，還是在購買后，我認為客服在這兩個環(huán)節(jié)中發(fā)揮著最大的作用。您可以詳細展開一下，例如在售后環(huán)節(jié)中，我們目前是否嘗試應(yīng)用了 AIGC 或大模型技術(shù)？

祝天剛：客服工作可以簡單地分為售前和售后兩個基本流程。售前工作通常涉及引導(dǎo)和導(dǎo)購，而售后工作則更側(cè)重解決咨詢、商品使用以及各項售后相關(guān)問題。在售后工作中，主要方向是解答問題和問題解決。在解答問題時，我們努力提供實際的答案，這可能直接滿足需求，也可能引導(dǎo)用戶進入解決流程。售后工作可能涉及諸如產(chǎn)品質(zhì)保和價格保障等問題，所以我們的目標(biāo)是提供明確的解決方案。

另一個方面是質(zhì)檢，這不僅僅局限于對話。在售后，我們進行對話質(zhì)量檢測，以確保對話的質(zhì)量，并監(jiān)督保證下一次對話的質(zhì)量。這有助于提高智能客服的體驗，也可以在輔助人工客服起到作用。

最后，我們還進行對話后的內(nèi)容分析，以引導(dǎo)下一次對話和提高客服效率。分析結(jié)果可以輔助客服或商家做出后續(xù)決策。

大模型給業(yè)務(wù)帶來了哪些變化

魚哲：電商領(lǐng)域的客服，特別是售后客服。這個領(lǐng)域雖然不能說非常成熟，但一直存在，一直在不斷進行改進和創(chuàng)新。我想請問一下，你能否舉一個具體的場景例子，說明在沒有大模型之前，業(yè)務(wù)的效率或效果是怎樣的？然后引入大模型后，業(yè)務(wù)的狀態(tài)有何變化？我們想了解一下大模型在這個業(yè)務(wù)中到底有何顯著改進，它帶來了哪些變化？

祝天剛：客服領(lǐng)域，無論是否有大模型，都已相對成熟，尤其是在售后方面更為成熟。大模型的引入，究竟帶來了什么改變？舉一個經(jīng)典例子，就像我剛才提到的，解答用戶問題的過程。

在引入大模型之前，處理用戶問題的意圖分類或者叫意圖理解的過程，通常需要依賴模型，甚至可能通過一些關(guān)鍵詞來解決。這種方法雖然有一定的準(zhǔn)確性，但泛化性能有限。

在傳統(tǒng)“小”模型方法中，需要對訓(xùn)練數(shù)據(jù)進行構(gòu)建，例如訓(xùn)練一個分類模型，以便將用戶的問題分類為不同的意圖。同樣，回答用戶問題的方式也需要模型的處理，因為售后問題的多樣性，有的需要直接回答，有的需要引導(dǎo)用戶執(zhí)行一系列步驟來解決。對于這種情況，需要更精細的模型來處理。另一個挑戰(zhàn)是訓(xùn)練數(shù)據(jù)的質(zhì)量，它對模型效果產(chǎn)生直接影響。因此，傳統(tǒng)模型訓(xùn)練需要高質(zhì)量的訓(xùn)練數(shù)據(jù)，這是一個重要的工作。這也是傳統(tǒng)“小”模型的一個特點。

現(xiàn)在，回到問題的核心，大模型是否具有優(yōu)勢？首先，大模型不需要高質(zhì)量領(lǐng)域標(biāo)注的訓(xùn)練數(shù)據(jù)，因為它已經(jīng)在訓(xùn)練中積累了大量知識，并擁有豐富的指令來引導(dǎo)它進行訓(xùn)練。這使得它對訓(xùn)練數(shù)據(jù)的需求相對較低。

此外，大模型在處理流程方面也具有優(yōu)勢。傳統(tǒng)的流程通常是由多個小模型組成的流水線，前一個模型負責(zé)一個階段，然后傳遞給下一個模型。這種流水線形式可能存在錯誤傳遞和效率問題。大模型能夠整合多個流程，可能更接近端到端的處理，直接生成結(jié)果。大模型通常是生成式的，它能夠生成更流暢和人性化的答案，不像小模型那樣需要將答案填充到模板中。

概括而言，大模型在數(shù)據(jù)需求上相對較低，能夠更接近端到端處理，生成結(jié)果更自然流暢，提供更好的用戶體驗。這是大模型引入前后的一個顯著區(qū)別。

大模型的優(yōu)缺點

魚哲：您剛剛提到了大模型的優(yōu)點，但您也提到了我們需要考慮其優(yōu)缺點。在使用大模型的過程中，您認為有哪些缺點，是否可以簡要介紹一下？

祝天剛：大模型存在一些缺點。這個問題可以用一個比喻來說明。大模型就像一個有知識的年輕人，可以回答問題，但不是所有問題都能回答。有時，當(dāng)問題涉及到他未涉及的領(lǐng)域時，可能會提供不準(zhǔn)確的答案，或者根本不知道如何回答。雖然大模型具備理解問題和回答的能力，但在某些情況下，當(dāng)問題不在其知識范圍內(nèi)時，會變得無法應(yīng)對。

如果我們將大模型比作聊天伙伴，那么無論你問什么問題，它通常會提供一些合理的答案，邏輯上都可以接受。但當(dāng)我們需要將其應(yīng)用到更嚴(yán)肅的行業(yè)場景中，要求根據(jù)特定領(lǐng)域的知識來回答問題，而模型沒有足夠的領(lǐng)域知識時，就會出現(xiàn)問題。這時，控制大模型的回答，使其按照領(lǐng)域知識來回應(yīng)變得更加困難。如果大模型類似于大學(xué)生，他可能會有自己的觀點和思辨能力，而不是像小孩子那樣聽話。這會導(dǎo)致可控性降低，難以滿足特定要求。

除此之外，大模型的使用需要更多的計算資源，這可能在資源受限的情況下造成問題。此外，大模型可能會在某些情況下提供不恰當(dāng)?shù)拇鸢福黾恿税踩蛡惱韱栴}。

魚哲：我有一個與實際體驗相關(guān)的問題，例如，當(dāng)京東的業(yè)務(wù)團隊考慮采用新技術(shù)并保留當(dāng)前 pipeline 時，您認為新技術(shù)在成本和效果方面是否足夠有動力來使您選擇停用之前 pipeline 并過渡到新的大模型？您對此有何看法？

祝天剛：在大模型、甚至模型出現(xiàn)之前，客服團隊已經(jīng)存在。也許隨著大模型的引入，客服會變得更加智能化。

我們已經(jīng)看到大模型在多個領(lǐng)域取得了成功，人們對其寄予厚望，希望它能在客服方面帶來一些變化。但關(guān)鍵問題是，它將如何改變客服，大模型是會改變整個客服流程，還是只對客服流程的局部部分進行調(diào)整？我們是否應(yīng)該先放下當(dāng)前的 pipeline，專注于以大模型為核心構(gòu)建全新的客服系統(tǒng)？目前，我們正在實踐和探索兩種方法。第一種方法是分析當(dāng)前 pipeline，找出其中存在的問題。在某些部分，我們可能會發(fā)現(xiàn)普通或小型模型在某些環(huán)節(jié)達到了瓶頸。在這些局部，我們可以將這些節(jié)點合并成一個大模型，以提高整體性能。與此同時，我們也在努力探索另一種方法，即圍繞大模型構(gòu)建全新的客服架構(gòu)和體驗。這兩種方法我們都在實踐和探索中。

魚哲：您剛才提到的是使用多個小型模型結(jié)合意圖分析（或稱為意圖映射）的方法。我們可以理解為，如果我們今天有一個相對輕量的模型，它可能不需要像大模型那么龐大，而是可以與一系列較小的模型協(xié)同工作，構(gòu)建一種 MOE 的架構(gòu)，從而在解決特定業(yè)務(wù)場景時替代大模型的功能，前提是業(yè)務(wù)問題保持不變。

祝天剛：在某種程度上，用“替代”這個詞也許有點絕對。根據(jù)我的理解以及我在實踐中的觀察，大模型的角色通常不是互相替代，而是相互配合。在我們明確了大模型的擅長和不擅長，以及小模型的優(yōu)缺點之后，在這種相互協(xié)作中，有一些相對簡單容易、無需高度擬人化的任務(wù)，小模型已經(jīng)足夠勝任。

對于那些需要更流暢表達、需要精細判斷，或者在訓(xùn)練數(shù)據(jù)方面要求較高的任務(wù)，通過指令方式來執(zhí)行，大模型可以派上用場。同時，根據(jù)不同業(yè)務(wù)領(lǐng)域的需求，我們也在嘗試使用一些模型來單獨解決特定任務(wù)，而整體任務(wù)則以 MOE 的形式合并和協(xié)同解決?？偟膩碚f，大、小模型之間并不是完全的替代關(guān)系，而是相互依存于整體業(yè)務(wù)特點，形成一種相互協(xié)作的關(guān)系。

大模型的幻覺問題

魚哲：您剛才提到的大模型的可控性和幻覺問題確實是相當(dāng)嚴(yán)重的挑戰(zhàn)。就我了解的情況來看，業(yè)界在控制大模型的輸出方面，通常采取以下方式，要么通過精細的提示工程，編寫極為詳細的指令，要么創(chuàng)建一種與相關(guān)度較高的內(nèi)容的輸入，或者使用 fine tuning 等方法來影響模型的輸出。

在考慮不同技術(shù)使用方式時，我認為并沒有一種方法是絕對最佳的，也不應(yīng)認為某種方式能夠完全取代其他方式。回到我們的業(yè)務(wù)場景，在京東，特別是在智能客服系統(tǒng)中，我們面臨的業(yè)務(wù)挑戰(zhàn)相對于傳統(tǒng)聊天場景來說更為復(fù)雜。這是因為我們需要同時應(yīng)對用戶、京東的坐席客服以及商家等多個參與方的狀態(tài)，將智能客服融入其中，形成一個四方互動的生態(tài)系統(tǒng)。在系統(tǒng)優(yōu)化方面，您是怎么思考的，以滿足多方需求？

祝天剛：在這個情境中，我們需要關(guān)注四個主要參與方：C 端用戶，坐席客服，商家，以及引入的智能客服。這些參與方之間存在復(fù)雜的相互制約關(guān)系。用戶希望獲得準(zhǔn)確、即時的答案。坐席客服需要迅速找到答案以回應(yīng)用戶的問題。而商家則期望回答用戶問題的同時，分析用戶的需求，并希望能夠推廣其商品。

現(xiàn)在，我們引入智能客服以滿足這些參與方的需求。從技術(shù)角度來看，我們的首要任務(wù)是確保智能客服能夠提供高質(zhì)量和準(zhǔn)確的答案。對于用戶來說，高質(zhì)量的答案可以提供最佳的用戶體驗。對于坐席客服，我們需要提供可信賴的答案，同時在輔助判斷和決策方面提供支持。商家方面，高質(zhì)量的答案配合有關(guān)商品的推廣材料，才能幫助他們提高轉(zhuǎn)化率。所以答得準(zhǔn)是關(guān)鍵。

通用大模型和垂直領(lǐng)域模型

魚哲：在面向各種不同行業(yè)并處理大量不同的產(chǎn)品 SKU 的情況下，我們是使用通用的大型模型，還是專門訓(xùn)練垂直領(lǐng)域的模型？如何做這方面的決策呢？

祝天剛：目前，我們采用一個通用的大型模型來支持所有商品品類。在此之前，我們曾嘗試將機器人和模型分別應(yīng)用于不同品類，例如大家電、服飾、鞋靴、箱包等，但后來我們發(fā)現(xiàn)這種結(jié)構(gòu)不合理。分別為每個品類訓(xùn)練一個模型會導(dǎo)致資源浪費，因為其他領(lǐng)域的模型也需要這樣的訓(xùn)練，例如搜索引擎的排序模型會面對更繁雜的品類。為了能夠適應(yīng)不同的品類，我們決定使用一個通用的大模型，這個模型需要擁有廣泛的知識范圍，以應(yīng)對各種商品品類的需求。

對于一些特定品類，它們可能有一些特殊的要求。但即使在這些特殊領(lǐng)域，我們?nèi)匀皇褂没A(chǔ)模型加上特定領(lǐng)域后處理的方式來解決，這樣可以在資源與效果之間達到一個平衡。

我們的目標(biāo)是建立一個能夠滿足電商領(lǐng)域、零售行業(yè)各種需求的大型模型，該模型在基礎(chǔ)模型的訓(xùn)練和指令微調(diào)中融入了電商數(shù)據(jù)，即京東言犀大模型，是一個產(chǎn)業(yè)大模型。

數(shù)據(jù)漂移問題

魚哲：我很關(guān)注您剛才提到了模型的更新和數(shù)據(jù)漂移的問題。因為一旦模型訓(xùn)練完成，它就好像是一棵成熟的白菜，總有一天會爛掉。這就導(dǎo)致了數(shù)據(jù)漂移的問題，因此需要根據(jù)新數(shù)據(jù)進行模型的更新或微調(diào)，以更新模型的權(quán)重。在以前的系統(tǒng)中，為了追求數(shù)據(jù)的實時性，有些應(yīng)用每隔一定時間就會更新一次模型，例如每隔 15 分鐘或 30 分鐘。

對于京東這樣的平臺，要保持基礎(chǔ)模型的知識跟得上人們?nèi)找嬖鲩L的需求，這是一項重要的挑戰(zhàn)。我們需要不斷迭代基礎(chǔ)模型，以確保它保持最新。關(guān)于更新的周期，你們有沒有評估過多久需要迭代一次？

祝天剛：我們確保更新不僅限于基礎(chǔ)模型的更新，還包括知識庫的更新。在客服領(lǐng)域，很多答案都是基于商家的知識庫來提供的。我們的目標(biāo)是確保模型具備基本的通識能力，就像之前提到的大學(xué)生的例子，大模型就像一名大學(xué)生，我們確保它具備了閱讀理解和答題的能力。

如果我們將客服比作一個開卷考試，我們要求模型具備開卷考試的能力。我們提供一些材料，然后提出問題，模型能夠根據(jù)提供的材料給出答案。當(dāng)您提到與知識相關(guān)的更新時，這就像提供新材料給學(xué)生，只要大模型具備足夠的理解能力和答題能力，不管提供的材料如何改變，它都可以應(yīng)對。

總的來說，我們的京東言犀大模型是有產(chǎn)業(yè)相關(guān)的知識支持的，大模型在基礎(chǔ)訓(xùn)練和指令微調(diào)時會根據(jù)特定領(lǐng)域的需求進行訓(xùn)練。而對實時的知識進行應(yīng)答，主要表現(xiàn)在建立智能知識庫應(yīng)答上。

魚哲：我對你們的知識庫的構(gòu)建方式很感興趣。你們是使用了向量或者直接訪問數(shù)據(jù)庫等流行方法，還是采用了其他方式來進行知識的檢索和召回工作？

祝天剛：當(dāng)我們談到知識庫時，一種現(xiàn)在流行的方式是基于向量進行檢索，但也有傳統(tǒng)的召回方法，例如基于詞或短語的檢索，這些方法都有各自的優(yōu)缺點。并不是說向量檢索一定比詞語檢索好，它們各自有自己的特點和用途，我們現(xiàn)在采用的是二者相結(jié)合的形式，發(fā)揮他們各自特點的檢索方式。

模型輸出的評估難題

魚哲：在京東的智能客服領(lǐng)域，有時候可以直接生成答案并提供給用戶。然而，對于大型模型，控制其輸出通常相對困難。這帶來了模型輸出的評估難題。在如京東這樣規(guī)模龐大的環(huán)境下，如何更智能地進行評估是一個挑戰(zhàn)。一種可能的解決方法是主觀目視檢查，即通過人工審查來判斷效果。這種方式至少在主觀上看起來準(zhǔn)確。但在像京東這樣的規(guī)模下，如何實現(xiàn)更智能的評估呢？

祝天剛：在評估大型模型時，我們需要明確評估的是什么。如果我們關(guān)注的是大模型的質(zhì)量，業(yè)界有各種已被公認的評估方法，但這是否等同于大模型應(yīng)用的效果是值得商榷的。實際上，更重要的是進行業(yè)務(wù)評估?？蛻舴答佉约斑\營同學(xué)的反饋是重要的，如果他們認為大模型提供的答案更準(zhǔn)確，那么這就是有效的評估。

在以前，業(yè)務(wù)指標(biāo)通常是以問題回答的形式來衡量，比如問題應(yīng)答覆蓋率，它衡量了用戶提出的問題中，有多少被回答了。大模型的引入不一定會導(dǎo)致這些指標(biāo)的變化，但是大模型的引入可能會為用戶提供除了答案之外的更多的原因和解釋。在這種情況下，新的指標(biāo)就需要被引入，來評估大模型帶來的變化和新的收益，以及如何滿足用戶需求。

舉例來說，如果用戶詢問水壺的容量，我們會告訴水杯容量是 1.5 升，并給出它適合幾口之家使用。然而，如果問是否適合戶外運動，那機器人可能在回答問題后，給出有關(guān)戶外運動的建議。這種大模型帶來的新的應(yīng)答方式，能額外給用戶帶來對商品特點的更好的理解，以滿足其需求。

大模型的成本問題

魚哲：大模型領(lǐng)域已經(jīng)出現(xiàn)了多個強者競逐，但選擇合適的資源和模型以滿足特定任務(wù)的需求仍然是一個具有挑戰(zhàn)性的問題。例如，相同的提示和數(shù)據(jù)集在不同的模型上可能表現(xiàn)不同，這意味著每次切換模型需要耗費較高的適配成本。京東有沒有遇到過這樣的問題，你們是如何解決的？

祝天剛：你提到的問題確實存在。即使我們稱這些模型為“大模型”，實際上每個模型的架構(gòu)和性能都可能不同。有些模型的架構(gòu)可能是開源的，但也有一些模型并沒有公開詳細的架構(gòu)信息。同時，相同的任務(wù)在不同的模型上可能需要不同的 prompt 才能達到相同的效果，這也是常見的情況。

使用大模型在某種程度上為我們提供了更多的可能性，但也引入了更多的復(fù)雜性。為了更好地理解和利用不同類型和品牌的大模型，我們需要不斷進行實驗和嘗試。這需要一種靈活的方法，通過不斷試驗來理解不同模型的特點和優(yōu)勢，以便在特定任務(wù)上獲得最佳性能。因此，沒有一個通用的模板或規(guī)則來告訴我們應(yīng)該使用哪個模型。這是一項需要根據(jù)具體任務(wù)和模型特點進行實驗和探索的工作。為了提高效率，我們需要同時了解業(yè)務(wù)需求以及大模型的性能和特點，以便更好地進行任務(wù)適配和模型選擇。這需要雙向的理解和實踐。

11.11 活動中會應(yīng)用哪些大模型產(chǎn)品

魚哲：在 11.11 這個特殊的購物節(jié)日期間，除了聊天形式，大模型在京東的應(yīng)用還涉及哪些方面？

祝天剛：除了客服領(lǐng)域，大模型還在其他方面發(fā)揮關(guān)鍵作用。例如，在營銷文案生成領(lǐng)域也用的到。為什么大模型在這個領(lǐng)域如魚得水呢？首先，我們常常將大模型稱為生成式大模型，因為它的模型原理天生擅長文本生成。因此，我們自然會嘗試在這個領(lǐng)域的應(yīng)用和探索。

以前的生成模型通常過于依賴訓(xùn)練數(shù)據(jù)。特別是在先前的序列到序列模型中，這種依賴性較為明顯。如果你考慮從事文案生成的工作，你必須明確質(zhì)量和風(fēng)格的可控性等方面的要求。這些控制能力在很大程度上受訓(xùn)練數(shù)據(jù)的質(zhì)量和規(guī)模所限制，因此，模型的性能上限直接關(guān)聯(lián)到你所擁有的訓(xùn)練數(shù)據(jù)。

現(xiàn)在的大模型具有天然的生成潛力，其基礎(chǔ)模型已經(jīng)蘊含了廣泛的知識。大模型的參數(shù)數(shù)量巨大，蘊含了豐富的信息，這意味著它可以在可控性和風(fēng)格等方面更加靈活。這一切都可以通過適當(dāng)?shù)闹噶顏韺崿F(xiàn)，大模型擅長的一個場景就是通過指令影響生成內(nèi)容，這使其成為處理文案生成等任務(wù)的理想選擇。

此外，言犀多模態(tài)數(shù)字人在電商直播場景也有很多應(yīng)用。在 11.11 期間，言犀虛擬主播已經(jīng)在超過 4000 個品牌直播間開播，基于自研電商領(lǐng)域知識增強模型 K-PLUG，僅需在直播后臺上傳商品鏈接，便能夠智能“閱讀”商品詳情，自動生成更真實、生動、可閱讀性強的直播文案，24h 自動開播。

魚哲：在營銷文案生成中，是只負責(zé)生成文案，還是可能會包括生成商品的相關(guān)配圖以及整個展示區(qū)的設(shè)計呢？

祝天剛：這兩個方面是結(jié)合在一起的。既生成文案，又生成相關(guān)的圖像，但需要說明的是，圖像生成是由我的同事組負責(zé)的，而我負責(zé)生成文案。

如何應(yīng)對技術(shù)的快速迭代

魚哲：京東作為一家技術(shù)實力雄厚的公司，早在 2018 年就開始積極涉足大模型領(lǐng)域，并進行了相關(guān)技術(shù)積累。在這段時間內(nèi)，大模型技術(shù)的認知和應(yīng)用方式可能發(fā)生了一些變化。從 2018 年到現(xiàn)在，對大模型認知有哪些改變？

祝天剛：京東是一家在技術(shù)領(lǐng)域擁有深厚積累的公司?；仡欉^去幾年，大模型的概念發(fā)生了顯著的變化。以下是對于大模型認知演變的一些觀察：

參數(shù)規(guī)模定義的變化：隨著技術(shù)的進步，對于“大模型”這一概念的認知也發(fā)生了變化。在過去，億級別參數(shù)的模型被認為是大模型，但隨著時間的推移，百億級、千億級參數(shù)的模型已經(jīng)成為新的標(biāo)準(zhǔn)。因此，"大"這個概念變得更加相對。

模型架構(gòu)的多樣性：大模型的架構(gòu)也在不斷演化。GPT 系列模型（decoder-only）目前是大模型的代表，但不同的研究方向和實踐也在探索其他架構(gòu)。例如，還有 encoder-decoder 型的模型，它們的參數(shù)規(guī)模和應(yīng)用也在擴大。這表明大模型不僅局限于特定的架構(gòu)，還涵蓋了多種類型。

技術(shù)的突破和創(chuàng)新：技術(shù)領(lǐng)域不斷創(chuàng)新，包括模型訓(xùn)練的并行方式，模型推理的加速，甚至模型服務(wù)的部署等工程化問題，也在不斷法神該變化。

隨著時間的推移，大模型的認知不僅涉及參數(shù)規(guī)模的變化，還包括模型架構(gòu)和應(yīng)用的多樣性。這種多樣性和不斷的技術(shù)進步豐富了大模型領(lǐng)域，為不同領(lǐng)域的應(yīng)用提供了更多可能性。

魚哲：技術(shù)變化這么快，你自己是如何跟進這些技術(shù)的？有沒有一個明確的 roadmap？

祝天剛：對于技術(shù)的持續(xù)跟進，我認為有一個經(jīng)典的比喻，就是技術(shù)就像你手中的工具箱。假設(shè)你工具箱里只有一把錘子，你會發(fā)現(xiàn)無論遇到什么任務(wù)，似乎都是在處理釘子。即使明明有一個需要用鋸子切斷一段木頭的任務(wù)，你仍然傾向于使用你手頭唯一的工具，也就是錘子。這種情況下，你需要不斷充實自己的技術(shù)知識，以及積極地了解業(yè)務(wù)需求，這樣你才能明智地選擇適當(dāng)?shù)墓ぞ?，無論是錘子還是鋸子。

當(dāng)你同時擁有鋸子和錘子這兩個工具時，你必須在使用哪一個工具時做出決策。這個選擇過程不僅需要技術(shù)洞察力，還需要深刻理解業(yè)務(wù)需求，以便判斷哪個工具更適合解決問題。

在跟進技術(shù)時，我通常將業(yè)務(wù)需求放在首位，即去看到釘子和木頭，努力深入理解各種業(yè)務(wù)問題，以便更好地選擇或者豐富我的工具，即技術(shù)。同時，當(dāng)我了解到新技術(shù)時，我首先思考這個技術(shù)是什么，它的優(yōu)勢在哪里，它可以解決哪些問題，以及它是否適用于我當(dāng)前面臨的挑戰(zhàn)。

隨著我掌握了新技術(shù)，我會將其應(yīng)用于解決業(yè)務(wù)問題，有時甚至?xí)淖儐栴}的處理方式。繼續(xù)沿用剛剛的比喻，假設(shè)我們正在使用鋸子切割一段木頭，當(dāng)木頭馬上要鋸?fù)?，還剩 5% 就能斷開的時候，如果你對技術(shù)和工具非常了解，你可能會決定停止使用鋸子，而改用錘子，因為錘子可能更快速、更有效地完成任務(wù)，而且木頭的切口也更平整。

總結(jié)來說，就是根據(jù)業(yè)務(wù)需求去探索新的技術(shù)，技術(shù)要用于解決問題；要深刻的理解業(yè)務(wù)需求和技術(shù)原理，靈活的使用技術(shù)解決業(yè)務(wù)問題。

在技術(shù)領(lǐng)域，我們必須不斷學(xué)習(xí)、跟進新的發(fā)展?；ヂ?lián)網(wǎng)的開放性為我們提供了學(xué)習(xí)和理解技術(shù)的機會，因為總會有人分享清晰的技術(shù)知識，也有人不斷探索新的領(lǐng)域。我們應(yīng)該積極主動地學(xué)習(xí)新技術(shù)。

此外，需要定期回顧自己的技術(shù)知識，確保技能保持最新，以適應(yīng)不斷演進的技術(shù)和業(yè)務(wù)環(huán)境。業(yè)務(wù)需求應(yīng)該在技術(shù)之前，因為技術(shù)是解決業(yè)務(wù)問題的工具，而不是目標(biāo)。

技術(shù)跟進和業(yè)務(wù)理解應(yīng)該相互補充，構(gòu)建一個螺旋上升的學(xué)習(xí)和應(yīng)用過程。技術(shù)的選擇應(yīng)該基于深刻理解的業(yè)務(wù)需求，以確保問題得到最好的解決。

審核編輯：黃飛