本項目旨在基于道客云原生知識庫平臺快速構建金融合規(guī)助手，為銀行員工提供高效、便捷的合規(guī)查詢服務。面對行內GPU資源利用率低、模型人才短缺及數(shù)據合規(guī)的嚴格挑戰(zhàn)，采用道客云原生知識庫平臺實現(xiàn)大模型快速落地，全圖形化配置管理讓業(yè)務人員能自助維護知識庫。同時，私有大模型部署確保數(shù)據隱私與合規(guī)，分布式云原生架構提升資源利用率與復用性。多租戶自服務能力為用戶帶來安全、隔離的私有大模型體驗，顯著增強IT業(yè)務響應能力。本案例成功展示了道客云原生知識庫平臺智能合規(guī)助手應用潛力，為銀行創(chuàng)新發(fā)展注入新動力。

• 希望基于大模型構建面向合規(guī)場景的智能合規(guī)助手，能夠基于行內的各種合規(guī)規(guī)范流程，為員工提供合規(guī)查詢。

• 行內現(xiàn)有 GPU 卡都被各個業(yè)務應用獨占，資源利用率需要提升，并希望能夠實現(xiàn)算力資源的復用。

• 當前銀行缺乏模型人才和能力積累，希望能夠讓業(yè)務人員自己設計和管理企業(yè)知識庫的構建。

由于數(shù)據合規(guī)的要求，必須使用大模型私有化部署的方式，所有數(shù)據和模型必須在行內。

基于道客云原生知識庫平臺的金融合規(guī)助手，具備強大的合規(guī)信息查詢與智能分析能力。

道客云原生知識庫平臺是一款基于云原生和分布式計算框架的智能問答解決方案，支持多種大語言模型，可構建智能問答應用，配置個性化語料庫，提供準確的問答能力；同時，它還提供可擴展的GPU能力和向量數(shù)據庫，實現(xiàn)高效的文本向量化與存儲，并采用相似度匹配提升查詢準確性；另外，通過基于Ray的分布式推理，實現(xiàn)與用戶的快速互動，使應用與用戶交互更加迅捷，圖1為道客知識庫平臺的業(yè)務框架。

云原生平臺：承載了所有運行時的容器環(huán)境。

算力服務層：算力統(tǒng)一納管平臺，提供了一站式管理。

基礎設施：主要體現(xiàn)底層物理資源的能力，包括 AI 場景中很重要的 GPU資源，以及依賴的存儲和網絡等物理資源。

知識庫UI：提供用戶訪問所需的客戶端；

業(yè)務層：包括有 AIGC-App、AIGC-Fast、AIGC-Manage等自研組件和Nacos、Gateway、Mysql、Redis等外部組件；

接口層：通過 AIGC knowledge Engine 來提供統(tǒng)一的接口。

核心層：提供 Embedding Ray Service 和QA Ray Service 兩大服務，都基于Ray的分布式計算框架，多組服務并行。

框架層：由KubeRay和容器集群組成。

基于道客云原生知識庫平臺的金融合規(guī)助手，快速實現(xiàn)了大模型在銀行的落地應用，全圖形化的配置管理使得業(yè)務人員可以自助維護知識庫，并基于私有通用大模型與向量化知識庫結合快速構建合規(guī)助手應用，提供高效的知識檢索和問答服務。同時，對資源利用情況進行優(yōu)化，提高了業(yè)務效率，為銀行創(chuàng)造了更多的商業(yè)價值。在商業(yè)模式方面，該項目采用私有化部署方式，確保了數(shù)據的安全與合規(guī)，滿足了銀行對隱私保護的需求。通過提供智能化的合規(guī)助手服務，項目為銀行提供了穩(wěn)定的收入來源，并建立了長期穩(wěn)定的客戶關系。隨著金融行業(yè)的不斷發(fā)展，該項目的應用前景廣闊，有望在未來實現(xiàn)更廣泛的推廣與應用。