上海軟件中心AI團隊三項成果入選WAIC 2025青年菁英會(huì )論文精粹集

2025世界人工智能大會(huì )（WAIC）于7月26日至28日在上海盛大召開(kāi)。本屆大會(huì )以“智能時(shí)代，同球共濟”為主題，匯聚全球AI領(lǐng)域的頂尖智慧，包括10余位諾貝爾獎、圖靈獎得主，80余位國內外院士及1000余位行業(yè)領(lǐng)袖，共同探討人工智能的前沿突破與產(chǎn)業(yè)變革。

年輕化成為本屆大會(huì )的鮮明特色。為激勵青年科學(xué)家成長(cháng)，WAIC首次設立青年優(yōu)秀論文獎并舉辦青年菁英會(huì )，圍繞“科學(xué)之問(wèn)、數學(xué)之問(wèn)、模型之問(wèn)”三大前沿議題，推動(dòng)新一代AI青年研究者的思想碰撞。

依托上海市生成式人工智能質(zhì)量檢驗檢測中心，上海軟件中心在AI應用與安全領(lǐng)域持續深耕、不斷突破。在本次WAIC中，上海軟件中心AI團隊憑借扎實(shí)的研究基礎與持續的技術(shù)創(chuàng )新，在眾多優(yōu)秀參評項目中脫穎而出，三項前沿研究成果成功入選《青年菁英會(huì )論文精粹集》，并在WAIC主會(huì )場(chǎng)同步展示。

上海軟件中心AI團隊三項成果入選精粹集

上海軟件中心AI團隊聚焦人工智能應用、治理與評測，致力于推動(dòng)AI技術(shù)安全可靠落地。團隊核心研究方向包括：醫療與工業(yè)AI應用技術(shù)、智能系統測評理論與方法、AIGC檢測與溯源。

• 成果1《LLM as a Safety Governor: Enabling Principle-Driven Safety Evaluation in Generative AI》

隨著(zhù)大語(yǔ)言模型（LLMs）的廣泛應用，其輸出安全性的問(wèn)題日益受到關(guān)注?，F有評估方法往往缺乏可解釋性與標準化，并且閉源大模型通常直接拒絕回答包含敏感信息的提示詞。針對這些問(wèn)題，我們提出了一種基于準則的安全評估框架。通過(guò)構建治理準則體系并據此識別有害數據，我們訓練了JustiMind-LLM，該模型能對各種形式的文本進(jìn)行依據準則的、可解釋的安全評估。我們提出的訓練范式確保模型嚴格遵循準則，在保持高準確率的同時(shí)降低了拒答率，為生成式AI提供了可靠的安全評估方案。（圖1）

圖1：LLM as a Safety Governor: Enabling Principle-Driven Safety Evaluation in Generative AI

• 成果2《LingshuAgent: A Multi-Agent Collaborative System for Traditional Chinese Medicine Multimodal Diagnosis》

盡管中醫大語(yǔ)言模型（TCM LLMs）近期取得顯著(zhù)進(jìn)展，但其在多模態(tài)整合、診斷可解釋性和辨證準確性方面的局限仍阻礙臨床應用。為此，我們開(kāi)發(fā)了LingshuAgent——一個(gè)支持中醫全流程診斷的多智能體系統。該框架通過(guò)舌象分析、自適應問(wèn)診和核心三階段辨證（相似案例檢索、證候假說(shuō)生成和知識圖譜驗證）的協(xié)同智能體實(shí)現精準診斷，并采用任務(wù)驅動(dòng)的多路徑RAG框架生成包含中藥圖譜和術(shù)語(yǔ)解釋的循證報告。在TCM-SD數據集的148項證候辨證任務(wù)中，本系統性能優(yōu)于現有中醫專(zhuān)用和通用大模型。（圖2）

圖2：LingshuAgent: A Multi-Agent Collaborative System for Traditional Chinese Medicine Multimodal Diagnosis

•  《TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction》

隨著(zhù)大語(yǔ)言模型（LLMs）在各垂直領(lǐng)域的廣泛應用，如何實(shí)現跨領(lǐng)域的動(dòng)態(tài)性能評估成為關(guān)鍵挑戰。針對當前評估方法依賴(lài)靜態(tài)數據集、資源消耗大且缺乏跨領(lǐng)域適應性的問(wèn)題，我們重新審視評估流程并提出兩大創(chuàng )新概念：將傳統問(wèn)答基準擴展為靈活"策略-標準"格式的Benchmark+，以及通過(guò)增強交互實(shí)現多視角深度分析的Assessment+?；诖?，我們開(kāi)發(fā)了TESTAGENT評估框架，該框架結合檢索增強生成和強化學(xué)習技術(shù)，支持跨垂直領(lǐng)域的動(dòng)態(tài)基準自動(dòng)生成與深度評估。實(shí)驗表明，TESTAGENT在構建多領(lǐng)域評估體系和靜態(tài)基準動(dòng)態(tài)化等任務(wù)中表現優(yōu)異，為領(lǐng)域專(zhuān)用LLMs的自動(dòng)評估提供了新思路，實(shí)現了領(lǐng)域自適應動(dòng)態(tài)基準構建與探索式評估的有效路徑。（圖3-4）

 圖3：TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction（1）

圖4：TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction（2）

依托上海市生成式人工智能質(zhì)量檢驗檢測中心，上海軟件中心AI團隊此次三項成果的入選，不僅彰顯了團隊在人工智能安全治理、醫療AI應用和大模型評估等前沿領(lǐng)域的創(chuàng )新實(shí)力，更體現了產(chǎn)學(xué)研深度融合的實(shí)踐價(jià)值。

未來(lái)團隊將繼續深化“前沿技術(shù)探索—應用技術(shù)研究—技術(shù)產(chǎn)業(yè)落地”的全鏈條創(chuàng )新模式，攜手產(chǎn)學(xué)研合作伙伴，共同推動(dòng)人工智能技術(shù)向更安全、更可靠、更普惠的方向發(fā)展。