大模型現(xiàn)存的問題和挑戰(zhàn)這篇文章介紹了關于大型語言模型（LLMs）研究中的十個主要方向和問題：

1. 減少和度量幻覺：幻覺指的是AI模型虛構信息的情況，可能是創(chuàng)意應用的一個特點，但在其他應用中可能是一個問題。這個方向涉及減少幻覺和開發(fā)衡量幻覺的度量標準。

2. 優(yōu)化上下文長度和構造：針對大多數(shù)問題，上下文信息是必需的，文章介紹了在RAG（Retrieval Augmented Generation）架構中優(yōu)化上下文長度和構造的重要性。

3. 整合其他數(shù)據(jù)形式：多模態(tài)是強大且被低估的領域，文章探討了多模態(tài)數(shù)據(jù)的重要性和潛在應用，如醫(yī)療預測、產(chǎn)品元數(shù)據(jù)分析等。

4. 使LLMs更快、更便宜：討論了如何使LLMs更高效、更節(jié)約資源，例如通過模型量化、模型壓縮等方法。

5. 設計新的模型架構：介紹了開發(fā)新的模型架構以取代Transformer的嘗試，以及挑戰(zhàn)和優(yōu)勢。

6. 開發(fā)GPU替代方案：討論了針對深度學習的新硬件技術，如TPUs、IPUs、量子計算、光子芯片等。

7. 使代理人更易用：探討了訓練能夠執(zhí)行動作的LLMs，即代理人，以及其在社會研究和其他領域的應用。

8. 提高從人類偏好中學習的效率：討論了從人類偏好中訓練LLMs的方法和挑戰(zhàn)。

9. 改進聊天界面的效率：討論了聊天界面在任務處理中的適用性和改進方法，包括多消息、多模態(tài)輸入、引入生成AI等。

10. 為非英語語言構建LLMs：介紹了將LLMs擴展到非英語語言的挑戰(zhàn)和必要性。

1. 減少和衡量幻覺

幻覺是一個廣受關注的話題，指的是當AI模型編造信息時發(fā)生的情況。在許多創(chuàng)造性的應用場景中，幻覺是一種特性。然而，在大多數(shù)其他用例中，幻覺是一個缺陷。一些大型企業(yè)近期在關于大型語言模型的面板上表示，影響企業(yè)采用LLMs的主要障礙是幻覺問題。

減輕幻覺問題并開發(fā)用于衡量幻覺的度量標準是一個蓬勃發(fā)展的研究課題。有許多初創(chuàng)公司專注于解決這個問題。還有一些降低幻覺的方法，例如在提示中添加更多的上下文、思維鏈、自我一致性，或要求模型在回答中保持簡潔。

要了解更多關于幻覺的信息，可以參考以下文獻：

• Survey of Hallucination in Natural Language Generation (Ji et al., 2022)
• How Language Model Hallucinations Can Snowball (Zhang et al., 2023)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity (Bang et al., 2023)
• Contrastive Learning Reduces Hallucination in Conversations (Sun et al., 2022)
• Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models (Manakul et al., 2023)
• NVIDIA’s NeMo-Guardrails中關于事實核查和幻覺的簡單示例

2. 優(yōu)化上下文長度限制

大部分問題需要上下文信息。例如，如果我們詢問ChatGPT：“哪家越南餐廳最好？”，所需的上下文將是“在哪里”，因為越南在越南和美國的最佳越南餐廳不同。

在這篇論文中提到，許多信息尋求性的問題都有依賴于上下文的答案，例如Natural Questions NQ-Open數(shù)據(jù)集中約占16.5%。對于企業(yè)用例，這個比例可能會更高。例如，如果一家公司為客戶支持構建了一個聊天機器人，為了回答客戶關于任何產(chǎn)品的問題，所需的上下文可能是該客戶的歷史或該產(chǎn)品的信息。由于模型“學習”來自提供給它的上下文，這個過程也被稱為上下文學習。

3. 合并其他數(shù)據(jù)模態(tài)

多模態(tài)是非常強大但常常被低估的概念。它具有許多優(yōu)點：

首先，許多用例需要多模態(tài)數(shù)據(jù)，特別是在涉及多種數(shù)據(jù)模態(tài)的行業(yè)，如醫(yī)療保健、機器人、電子商務、零售、游戲、娛樂等。例如，醫(yī)學預測常常需要文本（如醫(yī)生的筆記、患者的問卷）和圖像（如CT、X射線、MRI掃描）。

其次，多模態(tài)承諾可以顯著提高模型的性能。一個能夠理解文本和圖像的模型應該比只能理解文本的模型表現(xiàn)更好?；谖谋镜哪Ｐ托枰罅康奈谋緮?shù)據(jù)，因此有現(xiàn)實擔憂稱我們可能會很快用完訓練基于文本的模型的互聯(lián)網(wǎng)數(shù)據(jù)。一旦我們用完了文本數(shù)據(jù)，我們需要利用其他數(shù)據(jù)模態(tài)。

其中一個特別令人興奮的用例是，多模態(tài)可以幫助視障人士瀏覽互聯(lián)網(wǎng)和導航現(xiàn)實世界。

4. 使LLMs更快且更便宜

當GPT-3.5于2022年底首次發(fā)布時，很多人對在生產(chǎn)中使用它的延遲和成本表示擔憂。這是一個復雜的問題，牽涉到多個層面，例如：

訓練成本：訓練LLMs的成本隨著模型規(guī)模的增大而增加。目前，訓練一個大型的LLM可能需要數(shù)百萬美元。

推理成本：在生產(chǎn)中使用LLMs的推理（生成）可能會帶來相當高的成本，這主要是因為這些模型的巨大規(guī)模。

解決這個問題的一種方法是研究如何減少LLMs的大小，而不會明顯降低性能。這是一個雙重的優(yōu)勢：首先，更小的模型需要更少的成本來進行推理；其次，更小的模型也需要更少的計算資源來進行訓練。這可以通過模型壓縮（例如蒸餾）或者采用更輕量級的架構來實現(xiàn)。

5. 設計新的模型架構

盡管Transformer架構在自然語言處理領域取得了巨大成功，但它并不是唯一的選擇。近年來，研究人員一直在探索新的模型架構，試圖超越Transformer的限制。

這包括設計更適用于特定任務或問題的模型，以及從根本上重新考慮自然語言處理的基本原理。一些方向包括使用圖神經(jīng)網(wǎng)絡、因果推理架構、迭代計算模型等等。

新的架構可能會在性能、訓練效率、推理速度等方面帶來改進，但也需要更多的研究和實驗來驗證其實際效果。

6. 開發(fā)GPU替代方案

當前，大多數(shù)深度學習任務使用GPU來進行訓練和推理。然而，隨著模型規(guī)模的不斷增大，GPU可能會遇到性能瓶頸，也可能無法滿足能效方面的要求。

因此，研究人員正在探索各種GPU替代方案，例如：

TPUs（張量處理器）：由Google開發(fā)的專用深度學習硬件，專為加速TensorFlow等深度學習框架而設計。

IPUs（智能處理器）：由Graphcore開發(fā)的硬件，旨在提供高度并行的計算能力以加速深度學習模型。

量子計算：盡管仍處于實驗階段，但量子計算可能在未來成為處理復雜計算任務的一種有效方法。

光子芯片：使用光學技術進行計算，可能在某些情況下提供更高的計算速度。

這些替代方案都有其獨特的優(yōu)勢和挑戰(zhàn)，需要進一步的研究和發(fā)展才能實現(xiàn)廣泛應用。

7. 使代理人更易于使用

研究人員正在努力開發(fā)能夠執(zhí)行動作的LLMs，也被稱為代理人。代理人可以通過自然語言指令進行操作，這在社會研究、可交互應用等領域具有巨大潛力。

然而，使代理人更易于使用涉及到許多挑戰(zhàn)。這包括：

指令理解和執(zhí)行：確保代理人能夠準確理解和執(zhí)行用戶的指令，避免誤解和錯誤。

多模態(tài)交互：使代理人能夠在不同的輸入模態(tài)（文本、語音、圖像等）下進行交互。

個性化和用戶適應：使代理人能夠根據(jù)用戶的個性、偏好和歷史進行適應和個性化的交互。

這個方向的研究不僅涉及到自然語言處理，還涉及到機器人學、人機交互等多個領域。

8. 提高從人類偏好中學習的效率

從人類偏好中學習是一種訓練LLMs的方法，其中模型會根據(jù)人類專家或用戶提供的偏好進行學習。然而，這個過程可能會面臨一些挑戰(zhàn)，例如：

數(shù)據(jù)采集成本：從人類偏好中學習需要大量的人類專家或用戶提供的標注數(shù)據(jù)，這可能會非常昂貴和耗時。

標注噪聲：由于人類標注的主觀性和誤差，數(shù)據(jù)中可能存在噪聲，這可能會影響模型的性能。

領域特異性：從人類偏好中學習的模型可能會在不同領域之間表現(xiàn)不佳，因為偏好可能因領域而異。

研究人員正在探索如何在從人類偏好中學習時提高效率和性能，例如使用主動學習、遷移學習、半監(jiān)督學習等方法。

9. 改進聊天界面的效率

聊天界面是LLMs與用戶交互的方式之一，但目前仍然存在一些效率和可用性方面的問題。例如：

多消息對話：在多輪對話中，模型可能會遺忘之前的上下文，導致交流不連貫。

多模態(tài)輸入：用戶可能會在消息中混合文本、圖像、聲音等不同模態(tài)的信息，模型需要適應處理這些多樣的輸入。

對話歷史和上下文管理：在長時間對話中，模型需要有效地管理對話歷史和上下文，以便準確回應用戶的問題和指令。

改進聊天界面的效率和用戶體驗是一個重要的研究方向，涉及到自然語言處理、人機交互和設計等多個領域的知識。