近日，上海財經大學前沿人工智能實驗室宣布，正式推出Fin-Eval 6.0評估基準。這是一個為全面評估大型語言模型（LLMs）在金融領域的專業(yè)能力與安全性而構建的開創(chuàng)性基準數據集。該基準基于廣受認可的FinEval評估集進行升級，創(chuàng)新性地加入了金融嚴謹性和金融多模態(tài)兩大維度，總題量超過16,000道，旨在滿足金融行業(yè)對高標準、專業(yè)化AI評估工具日益增長的迫切需求。
Fin-Eval 6.0的核心亮點包括：
??? ?全面的領域覆蓋： 基準測試包含六大核心模塊：金融學術知識、金融行業(yè)理解、金融安全認知、金融智能體應用、金融多模態(tài)能力與金融嚴謹性測試。
??? ?海量高質量試題： 超過16,000道題目深度模擬了真實的金融工作場景與決策過程，旨在全方位檢驗大模型在金融領域的綜合應用能力。
??? ?聚焦前沿： 創(chuàng)新性地引入“金融多模態(tài)能力”、“金融嚴謹性測試”評估維度，直面當前金融AI發(fā)展的熱點與難點。
六維評估矩陣：覆蓋金融領域全場景
Fin-Eval 6.0通過六大核心領域確保了評估的廣度與深度，實現了從理論到實踐、從單一能力到復雜任務的立體考察：
推動中國金融AI邁向新高度
大型語言模型雖在通用領域表現卓越，但在高度專業(yè)化和風險敏感的金融行業(yè)，其安全與復雜任務處理能力仍是未知數。Fin-Eval 6.0的推出，為解決這一挑戰(zhàn)提供了堅實的基礎。
該基準不僅為金融AI的學術研究和技術發(fā)展設立了新標桿，也為希望在中國市場部署AI應用的金融機構提供了更可靠的風險評估和模型選型依據。通過對模型優(yōu)勢與潛在風險的嚴謹評估，Fin-Eval 6.0揭示了當前大模型能力的邊界與短板，從而引導科研方向，促進模型在關鍵金融能力上的突破。
更重要的是，Fin-Eval 6.0的推廣有望催生一個圍繞金融AI評估與優(yōu)化的研究社區(qū)及產業(yè)生態(tài)。通過公開排行榜和持續(xù)更新的數據集，將激勵研究者與開發(fā)者之間的良性競爭與合作，共同提升大模型在金融領域的整體水平，最終推動更安全、可靠、公平的AI技術在金融領域落地，為金融行業(yè)的數字化轉型與社會經濟的高質量發(fā)展注入新動力。
上海財經大學校長、黨委副書記、滴水湖高級金融學院院長劉元春表示，當前發(fā)布的金融領域大模型評測體系具有雙重價值：一方面為金融監(jiān)管部門制定技術治理框架提供依據，另一方面為商業(yè)機構優(yōu)化模型開發(fā)指明方向。他指出，此類研究具有顯著的前瞻性和跨學科價值，體現了頂尖金融院校在推動金融科技發(fā)展的重要責任。
測評團隊負責人、上海財經大學統計與數據科學學院與滴水湖高級金融學院聯聘教授張立文指出，隨著人工智能技術日益深入地融入金融服務的核心流程，Fin-Eval 6.0的發(fā)布標志著金融AI評估領域邁出了關鍵一步。它旨在為構建更加安全、高效且可靠的金融AI系統提供重要的洞察和發(fā)展方向指導。一方面，新增的“金融嚴謹性測試”模塊進一步聚焦模型在金融場景中的安全性與可靠性；而“金融多模態(tài)能力評測”的引入，則填補了當前評估體系在該領域的部分空白，并緊密貼合實際業(yè)務需求，具有重要意義。另一方面，Fin-Eval 6.0對以往版本的基準測試進行了整合與拓展，使得整個評估體系更加全面、準確，能夠更好地反映金融AI系統的綜合能力。
未來，上海財經大學會更加關注金融領域的安全合規(guī)、能力建設與智能體評測等維度。在安全層面，將會建設更加體系化的評測框架，抓住模型“底線”。在能力建設層面，依托上財在金融學科建設中優(yōu)勢，研究團隊將持續(xù)構建具有行業(yè)代表性和復雜度的金融基準測試集，動態(tài)監(jiān)測和量化分析大模型在金融領域的能力與知識邊界。同時，在“智能體元年”的背景下，有關金融智能體的評測標準也在籌備建設中，敬請期待！