隨著人工智能技術(shù)的飛速發(fā)展，大語言模型（Large Language Models, LLMs）在各行各業(yè)的應(yīng)用日益廣泛，尤其是在軟件開發(fā)、數(shù)據(jù)分析、客戶服務(wù)等領(lǐng)域。蘑菇云創(chuàng)客空間[445期開放夜]就以“ChatGPT、Gemini、通義千問等一眾大語言模型，哪家更適合您”這樣的主題，開展了一次深度的大語言模型的測評。開放夜現(xiàn)場測評了十幾個(gè)國內(nèi)外大語言模型，測評角度從邏輯、數(shù)學(xué)、翻譯、倫理等方面，深入探討和體驗(yàn)了這些大語言模型的實(shí)際效能。

測評的大語言模型：

1.Kimi 智能助手：由月之暗面科技有限公司開發(fā)的先進(jìn)AI。

2.智譜清言：由智言科技開發(fā)的大語言模型，以深度學(xué)習(xí)和自然語言處理技術(shù)見長。

3.訊飛星火：科大訊飛推出的創(chuàng)新語言模型。

4.文心一言：百度的前沿語言模型，致力于理解和生成自然語言。

5.豆包：專注于提供個(gè)性化的智能對話服務(wù)。

6.通義千問：以廣泛的知識(shí)庫和靈活的對話能力著稱。

7.海螺AI：新興的語言模型，擅長處理復(fù)雜的語言任務(wù)。

8.騰訊混元助手：騰訊推出的多功能AI助手。

9.Sider: 是由日本公司Sider開發(fā)的大語言模型。

10.ChatGPT：由OpenAI開發(fā)，國際上廣受認(rèn)可的更大規(guī)模、功能更全面的語言模型。

11.Claude：Anthropic開發(fā)的先進(jìn)語言模型，注重安全性和可靠性。

12.groq：以其專為AI設(shè)計(jì)的硬件加速器而聞名。

13.Gemini: OpenAI 開發(fā)的較小規(guī)模的語言模型，旨在提供更高效的計(jì)算和資源利用。

14.Mixtral：開源人工智能初創(chuàng)公司 MistralAI開發(fā)的超越GPT-3.5的AI模型

測評問題一: 雞兔同籠的數(shù)學(xué)問題

雞兔同籠是一個(gè)經(jīng)典的數(shù)學(xué)問題，通過觀察雞兔的頭和腳的數(shù)量關(guān)系，可以利用代數(shù)方程來解決問題，從而確定籠子里雞和兔子的數(shù)量。這個(gè)問題常常展示了代數(shù)方程組的應(yīng)用。

針對雞兔同籠的問題，除了Gemini Pro沒有得出正確的結(jié)果，其余的大語言模型都可以給出正確結(jié)果。

測評問題二：翻譯（詩句中翻英）

詩人馬致遠(yuǎn)的詩句“斷腸人在天涯”，描寫了“夕陽向西緩緩落下，只有孤獨(dú)的旅人漂泊在遙遠(yuǎn)的地方?！痹娋涞姆g涉及到文化差異和詩人獨(dú)特情感。Mixtral 的語言模型正確的解釋了詩句本身的含義，幫助翻譯者很好地理解這句詩句。 Claude的語言模型對于詩句的本身理解是不正確的。

這句詩翻譯家許淵沖翻譯為“Far, far from home is the heartbroken one.”由此可見，大語言模型可以幫助翻譯者分析這句詩基本的意思，但是涉及文化層面的深層含義，還是做不到意譯的。

開放夜也探討了如下涉及生活、工作的一些問題，比如：

過年福字要倒著貼，那為什么不直接生產(chǎn)倒過來的福字呢？

收到公司的裁員通知郵件，你應(yīng)該怎么回復(fù)郵件來保住工作？

一個(gè)烏龜?shù)暨M(jìn)了井里，井里有30米深。烏龜白天爬3米，晚上滑下2米。問這只烏龜需要多長時(shí)間才能爬出井口？

DFRobot AIGC小組主理人夏青在開放夜的現(xiàn)場測評了十幾個(gè)國內(nèi)外大語言模型，通過多維度問題的測評，他認(rèn)為：對于處理綜合性問題，OpenAI的ChatGPT 4.0邏輯清楚，能提供非常有用的信息。盡管在回答一些較為復(fù)雜的問題上略顯不足，但在大多數(shù)場合下，其性能仍然令人滿意。然而，ChatGPT 4.0在國內(nèi)的使用成本是一個(gè)不容忽視的問題，不僅涉及訂閱費(fèi)用，也包括使用的技術(shù)門檻。

與此同時(shí)，Gemini和Claude等海外語言模型，盡管在遵循指令方面略顯不足，但已達(dá)到了實(shí)用水平。令人驚喜的是，國內(nèi)的Qwen1.5 72b開源模型在中文理解和特定任務(wù)，幾乎能與ChatGPT4.0匹敵此外，其他開源模型如Mixtral和新發(fā)布的LLaMA3雖在邏輯性上略遜于商業(yè)模型如ChatGPT，但總體表現(xiàn)已超越了ChatGPT 3.5。

綜合分析來看，盡管ChatGPT 4.0仍然是目前市場上最優(yōu)秀的大語言模型，但不可忽視的是，無論是國際市場還是國內(nèi)市場，其他廠商的模型均顯示出迅速的進(jìn)步。開源模型的崛起也證明了開源社區(qū)在AI時(shí)代的巨大潛力。當(dāng)前的大語言模型在處理理性問題方面表現(xiàn)一致，但通常無法提供情緒價(jià)值回應(yīng)。例如，一些國內(nèi)模型如“豆包”將展現(xiàn)其在情緒回應(yīng)方面的潛力。這種能力的發(fā)展可能為未來陪伴型機(jī)器人的商業(yè)模型提供新的方向。

蘑菇云創(chuàng)客空間

蘑菇云創(chuàng)客空間是上海浦東的一家創(chuàng)客空間,是科技部授牌的首批國家級(jí)創(chuàng)客空間,由浦軟孵化器提供場地支持、上海智位機(jī)器人提供硬件及技術(shù)支持的一家為創(chuàng)客服務(wù)的開放式創(chuàng)客空間。擁有獨(dú)立的加工室、公共協(xié)作區(qū)域以及儲(chǔ)物、耗材商店,為硬件愛好者、程序員、設(shè)計(jì)師、DIY 發(fā)燒友等各類創(chuàng)客,甚至包括進(jìn)行創(chuàng)新研發(fā)的科創(chuàng)團(tuán)隊(duì)提供一個(gè)開放式的社區(qū)化會(huì)員空間。

審核編輯 黃宇