江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）基于華為昇騰AI所打造的IntelliCore AI解決方案一體機(jī)，提供全方位的AI與數(shù)據(jù)服務(wù)，幫助企業(yè)構(gòu)筑競爭新優(yōu)勢，包括但不限于數(shù)據(jù)分析與挖掘、智能決策支持、智能客服與語音識別、智能物流與供應(yīng)鏈優(yōu)化等服務(wù)，可以快速為客戶在零售、制造、金融等領(lǐng)域提供高性能、高效率的智能解決方案。

解決方案產(chǎn)品包1：數(shù)字人

潤和軟件開發(fā)了AI數(shù)字人Nova。Nova擁有與真人無異的外表和動作，她是一個有用的虛擬助手，能夠理解用戶的需求并以自然的方式做出響應(yīng)。作為一個栩栩如生的3D數(shù)字人，Nova從皮膚紋理到頭發(fā)絲的律動光澤，都與真人難辨真假。得益于與各種大語言模型 (LLM) 的強(qiáng)大整合，這位多語言大師可以跨越多種語言進(jìn)行實(shí)時對話。用戶只需上傳一段短視頻，幾個小時后，就將擁有自己專屬的聲音克隆和形象克隆的Nova數(shù)字人，而且成本僅為傳統(tǒng)方法的一小部分。Nova的應(yīng)用領(lǐng)域非常廣泛，從提供7x24小時的多語言客服服務(wù)，到擔(dān)任國際會議的實(shí)時語言翻譯，無所不能。她甚至可以成為個性化的語言學(xué)習(xí)導(dǎo)師，讓學(xué)習(xí)過程變得愉快且高效。

解決方案描述

從高層次來看，我們的解決方案包括以下內(nèi)容：

1. 用戶上傳的3-5分鐘時長的視頻，系統(tǒng)使用Nova數(shù)字人創(chuàng)建技術(shù)生成外表高度擬人化的3D數(shù)字人形象，并允許用戶通過語音或文本與系統(tǒng)交互。

2. 意圖路由，用于確定用戶的目標(biāo)并幫助引導(dǎo)執(zhí)行下游流程。

3. 基于用戶的意圖確定要采取的操作或調(diào)用適當(dāng)服務(wù)的Orchestrator。

4. 多Agent智能涌現(xiàn)技術(shù)驅(qū)動的問答系統(tǒng)來回答用戶提出的針對特定領(lǐng)域或非特定領(lǐng)域提出的問題。該架構(gòu)包含多項(xiàng)服務(wù)，用于創(chuàng)建即插即用模型以減少供應(yīng)商鎖定，下圖提供了解決方案包的架構(gòu)圖。

AI數(shù)字人Nova解決方案架構(gòu)圖

數(shù)字人設(shè)計要素

設(shè)計Nova數(shù)字人時需要考慮包括外觀、聲音、語言、個性、交互性，以及上下文和功能多個元素。

1、外貌：Nova的外觀是用戶首先看到的，而Nova的特征包括年齡、性別、種族、背景、教育、興趣都會反映到她的形象氣質(zhì)上。在設(shè)計時應(yīng)考慮視覺吸引力、目標(biāo)受眾、包容性和品牌。用戶可以根據(jù)這些元素設(shè)計并拍攝3-5分鐘時長的用于訓(xùn)練的視頻。

2、個性與互動：根據(jù)應(yīng)用場景的不同，一個基礎(chǔ)的盡職盡責(zé)的Nova數(shù)字人平易近人、好奇、創(chuàng)新、深思熟慮、自信和協(xié)作，以鼓勵用戶與之互動。她可以看到、聽到用戶的情緒狀態(tài)。不僅可以回應(yīng)用戶所說的內(nèi)容，還可以回應(yīng)他們在對話中表達(dá)的情感，從而幫助使交互更加個性化、富有同理心和吸引力。

3、語音和語言：語音、語言和口音會影響用戶的感知和交互方式。語言和口音應(yīng)根據(jù)目標(biāo)受眾、他們的語言水平、文化背景和偏好進(jìn)行調(diào)整。Nova在第一個版本中會用英語、日語和中文進(jìn)行交互。Nova可以使用各種用戶定制的或者系統(tǒng)預(yù)設(shè)的口音與用戶溝通。

4、背景與功能：在產(chǎn)生回答時，用戶可以根據(jù)應(yīng)用場景定制Nova的背景和功能或“工作角色”。

5、意圖路由：意圖路由是指根據(jù)用戶輸入的語義將用戶輸入分類為預(yù)定義的類別或意圖，意圖分類使系統(tǒng)能夠確定如何最好地響應(yīng)用戶的請求或?qū)⑵渎酚傻竭m當(dāng)?shù)牟僮骰蚬δ堋Ｋ兄谝龑?dǎo)對話流程，并使系統(tǒng)能夠提供相關(guān)且準(zhǔn)確的響應(yīng)。

6、多Agent 智能涌現(xiàn)：通過利用多智能體智能涌現(xiàn)能力，Nova具備了綜合多個視角和知識領(lǐng)域的能力，使她能夠無縫地適應(yīng)各種用戶需求和偏好。這種多智能體方法確保了Nova的交互不僅信息豐富，而且深度個性化，提升了用戶的滿意度和參與度。

7、檢索增強(qiáng)生成：通過高效地從龐大的企業(yè)特有數(shù)據(jù)集和領(lǐng)域特定數(shù)據(jù)集中檢索和整合相關(guān)信息，Nova能夠提供及時、具有上下文的豐富回復(fù)，促進(jìn)了與用戶更有意義和高效的交互。

方案優(yōu)勢

1、形象擬人化：Nova和真人的整體形象和細(xì)節(jié)保持高度一致。Nova數(shù)字人創(chuàng)建的形象在皮膚光澤，頭發(fā)材質(zhì)，衣服紋理細(xì)節(jié)和真實(shí)的物體高保真，表情和動作也栩栩如生，如下圖所示。

基于Nova數(shù)字人算法生成的外觀形象

基于Nova數(shù)字人算法生成的外觀形象

3D 數(shù)字人：Nova是 3D 的，可以從各個角度看。

材質(zhì)紋理的高保真: Nova完美匹配用戶上傳視頻中真實(shí)人物的形象，且在皮膚，頭發(fā)，衣服的材質(zhì)紋理，招牌動作等細(xì)節(jié)保持一致。

自然的表情和動作: 即使存在蓬松的頭發(fā)等不確定細(xì)節(jié)，Nova也能產(chǎn)生自然的表情和動作。

2、全身肢體動作：Nova能夠通過細(xì)微的全身身體語言線索，例如姿勢、手勢和體重轉(zhuǎn)移來傳達(dá)情，讓用戶感覺自己正在與真人互動。借助移動能力，Nova可以用于更廣泛的應(yīng)用領(lǐng)域，例如引領(lǐng)/講解健身課程、展示產(chǎn)品、甚至主演虛擬電影。

人工智能驅(qū)動動作：Nova的動作并非預(yù)先編程，而是由復(fù)雜的 AI 算法生成，這些算法可以解釋對話的上下文并相應(yīng)地調(diào)整她的肢體語言。

自然逼真：Nova的動作流暢逼真，模仿人類肢體語言的細(xì)微差別。

高度可定制：Nova的外觀和動作風(fēng)格可以根據(jù)特定需求和偏好進(jìn)行調(diào)整。

3、智能互動：我們能夠利用各種大語言模型 (LLM) 進(jìn)行實(shí)時多語言互動。

實(shí)時多語言互動：Nova可以理解和響應(yīng)多種語言的實(shí)時對話。

利用各種 LLM 的優(yōu)勢：我們不會局限于單一的 LLM，而是根據(jù)具體任務(wù)和語言需求，靈活調(diào)用各種商用和私人部署的 LLM。

4、制作效率：

高效便捷：用戶只需上傳 3-5 分鐘的視頻，我們可在三個小時內(nèi)完成普通版人形數(shù)字人的訓(xùn)練。

制作成本低：與傳統(tǒng)的、制作成本昂貴的（80人天以上）、基于3D 建模的數(shù)字人制作相比，我們的高配版人形數(shù)字人制作成本控制在2人天。

應(yīng)用場景

通過結(jié)合這些功能，Nova可以應(yīng)用于以下場景：

多語言客服中心：可以充當(dāng)多語言客服代表，為全球客戶提供 24/7 的支持服務(wù)。

國際會議：可以擔(dān)任實(shí)時翻譯的角色，消除語言障礙，促進(jìn)流暢的交流。

語言學(xué)習(xí)：可以作為個性化的語言學(xué)習(xí)伙伴，提供沉浸式互動體驗(yàn)。

解決方案產(chǎn)品包2：RAG+

RAG+是在RAG基礎(chǔ)上形成的增強(qiáng)形解決方案、集成了企業(yè)級應(yīng)用所需要的AI應(yīng)用Agent，以及LLMOps。可實(shí)現(xiàn)更便捷、更高效、更智能的企業(yè)級數(shù)據(jù)管理服務(wù)。

RAG+主要功能模塊

數(shù)據(jù)的對接與管理

IntelliCore AI解決方案一體機(jī)上的云原生的數(shù)據(jù)運(yùn)維體系在AI應(yīng)用領(lǐng)域中發(fā)揮著關(guān)鍵的作用，為AI的應(yīng)用提供了從數(shù)據(jù)處理到模型部署的全面支持，為構(gòu)建大規(guī)模、高效、可靠的多端應(yīng)用與AI系統(tǒng)提供了必備基礎(chǔ)設(shè)施。

1. 數(shù)據(jù)接入與預(yù)處理：使用大數(shù)據(jù)工具接入數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行規(guī)范化、特征提取、異常值檢測以及去重等操作，提高數(shù)據(jù)質(zhì)量，確保AI模型數(shù)據(jù)輸入的準(zhǔn)確性。

2. 數(shù)據(jù)存儲與管理：提供定制化、高效、可擴(kuò)展的數(shù)據(jù)存儲方案以及數(shù)據(jù)管理工具。

3. 快速訪問與實(shí)時分析：可通過內(nèi)存數(shù)據(jù)庫、分布式存儲等技術(shù)來加速數(shù)據(jù)檢索和分析任務(wù)，為實(shí)時AI分析任務(wù)提供技術(shù)基礎(chǔ)。

4. 數(shù)據(jù)映射與集成：自動化抽取數(shù)據(jù)結(jié)構(gòu)，形成數(shù)據(jù)關(guān)系知識庫，具備數(shù)據(jù)標(biāo)注能力，為檢索器定位數(shù)據(jù)提供有效依據(jù)。

基于云原生的數(shù)據(jù)運(yùn)維體系

多模態(tài)數(shù)據(jù)處理

在當(dāng)前以AI主導(dǎo)的應(yīng)用模式中，提取多模態(tài)數(shù)據(jù)中所蘊(yùn)含的信息成為知識管理中的重要一環(huán)，IntelliCore AI解決方案一體機(jī)可定制多緯度大數(shù)據(jù)平臺，保證良好的多模態(tài)數(shù)據(jù)管理機(jī)制。

多模態(tài)數(shù)據(jù)處理過程

垂直領(lǐng)域大模型訓(xùn)練

為適應(yīng)不同數(shù)據(jù)條件的各類商業(yè)場景，潤和軟件IntelliCore AI解決方案一體機(jī)提供垂直領(lǐng)域大模型訓(xùn)練方案，垂直領(lǐng)域大模型能夠針對特定領(lǐng)域的這些特性和模式進(jìn)行深度學(xué)習(xí)和理解，從而提供更精確、更相關(guān)的預(yù)測和結(jié)果，提高數(shù)據(jù)的使用效率。具有如下特點(diǎn)：

1. 為適應(yīng)不同數(shù)據(jù)條件的各類商業(yè)場景，提供多種模型訓(xùn)練方案。

2. 支持大模型微調(diào)，包括不限于各類p-tuning、lora、qlora微調(diào)算法。

3. 支持所有開源大模型pretrain和全參數(shù)sft。

4. 通過多為了保證模型在特定領(lǐng)域微調(diào)后，模型能力不被損失和遺忘，指令微調(diào)階段會同步引入多種任務(wù)的指令數(shù)據(jù)集，例如：問答、創(chuàng)意寫作、對話、推理、數(shù)學(xué)、編碼、雙語能力等。

5. 多樣性的采樣算法，平衡各種系統(tǒng)指令上的數(shù)據(jù)分布，增強(qiáng)的跨任務(wù)魯棒性。通過網(wǎng)格搜索方法確認(rèn)不同任務(wù)的數(shù)據(jù)比例。

多種訓(xùn)練算法原理圖

RAG(檢索增強(qiáng)生成)

相較與開源的RAG方案，潤和軟件RAG解決方案具有以下技術(shù)優(yōu)勢：

1. 增加了預(yù)檢索環(huán)節(jié)。

2. 優(yōu)化了文檔分片環(huán)節(jié)。

3. 通過重排序、結(jié)果過濾、與提示詞改寫等措施提升了LLM處理Prompt時的效率。

RAG技術(shù)架構(gòu)圖(黃色為潤和軟件特有部分)

智能數(shù)據(jù)問答

IntelliCore AI解決方案一體機(jī)基于以上數(shù)據(jù)平臺，提供了數(shù)據(jù)問答的基礎(chǔ)功能。包含文本，視頻，以及結(jié)構(gòu)化數(shù)據(jù)的檢索，分為元數(shù)據(jù)處理與生成、數(shù)據(jù)召回和答案生成三個部分。

基于IntelliCore AI解決方案一體機(jī)的數(shù)據(jù)問答類應(yīng)用具有以下優(yōu)勢：

1. 多模態(tài)數(shù)據(jù)融合：RAG+解決方案包可以將圖像、文本、視頻等多種數(shù)據(jù)形態(tài)融合到一種數(shù)據(jù)體系中，從而打破多模態(tài)數(shù)據(jù)壁壘。

2. 跨模態(tài)特征提取以及交叉檢索：從多模態(tài)數(shù)據(jù)中提取關(guān)鍵特征，加深系統(tǒng)對對多模態(tài)數(shù)據(jù)的理解與應(yīng)用。實(shí)現(xiàn)不同模態(tài)數(shù)據(jù)之前的交叉檢索。

3. 泛化性強(qiáng)：基于RAG+數(shù)據(jù)問答的衍生應(yīng)用不局限于特定領(lǐng)域，各垂直領(lǐng)域均可應(yīng)用。任何專業(yè)領(lǐng)域RAG+都可提供有效支持。

4. 實(shí)時更新擴(kuò)展：不同與傳統(tǒng)模型式知識問答，RAG+的檢索&生成模式不會受模型訓(xùn)練數(shù)據(jù)集的大小限制，可保證數(shù)據(jù)的新鮮度和準(zhǔn)確性。

5. 高質(zhì)量回復(fù)：用戶不再需要面對冰冷的專業(yè)數(shù)字，而是由模型進(jìn)行分析后生成用戶更容易理解的語言或以圖形表現(xiàn)。

數(shù)據(jù)精準(zhǔn)檢索

IntelliCore AI解決方案一體機(jī)基于RAG能力提供數(shù)據(jù)精準(zhǔn)檢索類應(yīng)用應(yīng)用，以下為應(yīng)用案例chat BI的具體使用優(yōu)勢：

1. 自然語言交互：基于RAG的Chat BI可通過自然語言交互，使得用戶可以像與人類聊天一樣與系統(tǒng)進(jìn)行溝通。

2. 智能分析：RAG模塊具有強(qiáng)大的生成以及分析和解釋對力，以自然語言或者圖形化方式幫助用戶理解數(shù)據(jù)背后的意義。

3. 廣泛的數(shù)據(jù)理解力：傳統(tǒng)BI只能分析用戶已知的數(shù)據(jù)，而對于RAG來說，平臺不存在數(shù)據(jù)死角，用戶可以通過對話和前端Agent工具探索未知數(shù)據(jù)，發(fā)現(xiàn)更多的數(shù)據(jù)價值。

ChatBI頁面截圖

決策生成

決策生成功能廣泛應(yīng)用于金融投資決策、風(fēng)控、金融測試領(lǐng)域，具體應(yīng)用案例如下：

金融投資決策、風(fēng)控

該類應(yīng)用特點(diǎn)：通過分析大量的金融數(shù)據(jù)、市場趨勢和專家觀點(diǎn)，決策生成能力能夠生成有關(guān)投資策略、資產(chǎn)配置和風(fēng)險評估的建議。對金融交易、客戶、風(fēng)險事件等實(shí)體及其復(fù)雜關(guān)系進(jìn)行建模和分析，快速做出投資決策和風(fēng)控措施。

智能測試

A.測試用例生成：人工輸入測試用例的需求描述，智能測試平臺將自動完成測試代碼生成，測試用例執(zhí)行，測試報告生成，以及測試報告分析等業(yè)務(wù)。目前可生成用例較人類設(shè)計用例覆蓋度達(dá)到80%以上，以往幾小時甚至幾天的工作量可以降低到分鐘級別；

測試用例生成業(yè)務(wù)流程圖

B.語音控制智能測試：利用AI技術(shù)，通過訓(xùn)練和微調(diào)的專有NLP大語言模型，實(shí)現(xiàn)了通過語音或?qū)υ捒刂茖?shí)現(xiàn)自動測試的功能。為用戶提供了更智能、便捷的測試體驗(yàn)。

a.準(zhǔn)確-智能：語音控制功能借助人工智能技術(shù)，通過語音識別和自然語言處理實(shí)現(xiàn)智能交互。通過對行業(yè)大模型進(jìn)行訓(xùn)練，使之能夠準(zhǔn)確理解行業(yè)相關(guān)術(shù)語，準(zhǔn)確理解客戶的語音指令，提供高效、智能的測試體驗(yàn)。

b.簡單-高效：語音控制使得測試過程更加高效。用戶可以通過簡單的語音指令快速執(zhí)行測試操作，相比于手動操作，語音控制能夠節(jié)省時間和精力，讓用戶能夠更快速地進(jìn)行測試行為。

此系統(tǒng)可應(yīng)用于各種需要進(jìn)行實(shí)時決策的應(yīng)用中，如股票交易等。

基于RAG+的智能撰寫類應(yīng)用

決策生成功能廣泛應(yīng)用于智能合同生成領(lǐng)域，具體應(yīng)用案例如下：

1.智能合同生成

模版庫和模板定制：具有豐富且不斷補(bǔ)充的模版庫，包括各種類似的合同模板，同時用戶還可以根據(jù)客戶的需求定制和修改模板。

合規(guī)性檢查：包含法律條款大模型(Legal LLM)，可以檢查生成的合同條款是否符合法律法規(guī)和行業(yè)標(biāo)準(zhǔn)，并提供警告和修改建議，

智能優(yōu)化：智能合同生成可以根據(jù)用戶輸入的需求進(jìn)行做優(yōu)化，具有自動補(bǔ)全、錯誤修正、語法糾正等智能優(yōu)化功能，幫助用戶速生成完整，準(zhǔn)確的合同文本。

智能合同生成業(yè)務(wù)流程圖

解決方案產(chǎn)品包3：智能視覺分析方案

智能視覺分析平臺（以下簡稱“RunMind”）是IntelliCore AI解決方案一體機(jī)視覺AI解決方案。致力于從AI硬件適配、AI場景落地、AI算法模型三個方面為客戶解決AI應(yīng)用“小眾難”問題，助力視覺AI行業(yè)發(fā)展，具體優(yōu)勢功能如下：

通過構(gòu)筑行業(yè)化、邊端化、實(shí)時化的智能視覺分析核心技術(shù)，RunMind提供一種高復(fù)用、標(biāo)準(zhǔn)化的一站式視覺分析解決方案，以便快速開發(fā)和部署AI視覺應(yīng)用，實(shí)現(xiàn)場景驅(qū)動的智能化廣泛應(yīng)用和規(guī)?；涞?。

RunMind在應(yīng)用側(cè)框架

解決方案產(chǎn)品包4：電力變電站智能分析

電力變電站智能分析解決方案是IntelliCore AI解決方案一體機(jī)基于國網(wǎng)的標(biāo)準(zhǔn)在電力領(lǐng)域的定制版解決方案，采用國產(chǎn)自主可控軟硬件，符合國網(wǎng)標(biāo)準(zhǔn)接口，即插即用；滿足實(shí)際多樣化場景中算法應(yīng)用：表計讀數(shù)、狀態(tài)識別、設(shè)備外觀缺陷識別、環(huán)境檢測、作業(yè)安全管控、紅外熱成像分析、一鍵順控視頻雙確認(rèn)。

主要功能

符合國網(wǎng)遠(yuǎn)程巡視系統(tǒng)規(guī)范；

支持圖片分析與視頻分析；

支持點(diǎn)位算法調(diào)試和結(jié)果可視化；

支持算法單點(diǎn)驗(yàn)證與部署可視化。

產(chǎn)品優(yōu)勢

支持表計讀數(shù)：SF6壓力表，雙指針油溫表，油位計，避雷器泄露電流表，液壓表，計數(shù)器；

支持狀態(tài)識別：指示燈狀態(tài)，刀閘狀態(tài)，壓板狀態(tài)，開關(guān)狀、旋鈕狀態(tài)、儲能狀態(tài)；

支持外觀缺陷識別：滲漏油、金屬銹蝕、異物、表盤表計、呼吸器、絕緣子、設(shè)備本體；

支持人員作業(yè)管控：未戴安全帽、未穿工作服、未穿安全繩、人員倒地、越線闖入；

支持環(huán)境異常識別：煙火、積水、異物入侵、小動物；

支持紅外熱成像識別：設(shè)備溫度；

支持一鍵順控：隔離開關(guān)。

變電站遠(yuǎn)程智能巡視系統(tǒng)產(chǎn)品整體架構(gòu)

解決方案產(chǎn)品包5：化工視頻監(jiān)控智能分析

結(jié)合化工領(lǐng)域的業(yè)務(wù)需求以及自身的業(yè)務(wù)沉淀，潤和軟件基于IntelliCore AI解決方案一體機(jī)邊端產(chǎn)品能力，發(fā)布了化工視頻監(jiān)控智能分析設(shè)備。

方案優(yōu)勢

1. 該產(chǎn)品軟件系統(tǒng)采用云邊協(xié)同方式，業(yè)務(wù)單元根據(jù)業(yè)務(wù)詳細(xì)需求設(shè)定采集設(shè)備和業(yè)務(wù)邏輯，并將業(yè)務(wù)流推送到相關(guān)的業(yè)務(wù)人員終端設(shè)備上；

2. 集團(tuán)中心對基礎(chǔ)設(shè)備（如網(wǎng)絡(luò)等）、視覺分析設(shè)備和算法（如AI設(shè)備和AI能力系統(tǒng)）進(jìn)行統(tǒng)一管理和規(guī)劃；

3. 系統(tǒng)支持算法能力可擴(kuò)展，可定制，可提前統(tǒng)一規(guī)劃建設(shè)，以生產(chǎn)條件下的實(shí)際場景來驅(qū)動智能化建設(shè)，讓業(yè)務(wù)人員成為AI智能化的發(fā)起者和參與者，滿足公司系統(tǒng)和長遠(yuǎn)的進(jìn)行業(yè)務(wù)智能化規(guī)劃需求，助力

安全生產(chǎn)和高效生產(chǎn)。

化工智能分析系統(tǒng)產(chǎn)品框架圖

潤和軟件IntelliCore AI解決方案一體機(jī)和金融大模型FinLP與華為昇騰通過相互兼容性測試認(rèn)證已與華為昇騰通過相互兼容性測試認(rèn)證，充分滿足相關(guān)行業(yè)安全性、可靠性、穩(wěn)定性的應(yīng)用需求。目前，潤和軟件的AI服務(wù)能力涵蓋了模型訓(xùn)練與優(yōu)化、推理加速、數(shù)據(jù)處理與分析、自然語言處理、計算機(jī)視覺、個性化推薦、智能決策支持、智能安全監(jiān)控和智能物聯(lián)網(wǎng)等全方位需求。潤和軟件致力于為企業(yè)提供高效、可靠的智能計算解決方案，幫助客戶實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新與提升。

潤和軟件IntelliCoreAI解決方案一體機(jī)和金融大模型FinLP與華為昇騰通過相互兼容性測試認(rèn)證

展望未來，潤和軟件將持續(xù)優(yōu)化智能計算服務(wù)能力，助力企業(yè)提升運(yùn)營效率、降低成本、優(yōu)化決策，增強(qiáng)競爭力，取得更大商業(yè)成功。

審核編輯：劉清