香港企業 RAG 方案：自建還是購買平台？

甚麼時候應購買 RAG 平台，甚麼時候應自建？

文件庫整齊、只有單一語言、不屬機密，而答案又不用經得起審計，便購買。平台較快較便宜，本地現成的 RAG 產品可能已經足夠。

數據不能離開你的基建、檢索要同時處理英文和繁體中文，或每個答案都需要審閱人可以核對的引用，便應自建。這三個條件在香港很常見。銀行、保險公司、家族辦公室和專業服務公司都會遇到。這也正是套裝檢索通常出問題的地方。

企業 RAG 為何在正式環境出錯？

在我們重建過的系統中，出錯的是檢索而不是生成。以下四種故障都是無聲的：沒有報錯、沒有警報，答案流暢卻是錯的。

1. 表格被從中間切開

香港企業文件多是費率表、披露矩陣和掃描附件，而不是教學示範假設的整齊文字。簡單的分塊程式會把表格切成兩半，檢索器便自信地傳回錯的一半。

2. 問題用英文，文件卻是中文

一份英文董事會文件，引用了一份繁體中文的申報文件。單一語言的嵌入模型根本檢索不到另一半文件。所以跨語言檢索必須是架構上的決定，而不是在查詢時才加上的翻譯步驟。

3. 答案沒有附上來源

在審計、合規和投資工作中，無法引用來源的答案是一種負債。為摘要而調校的檢索，會產生沒有人能辯護的流暢段落；為引用而調校的檢索，會把支持答案的段落一併傳回。

4. 沒有人建立評估集

團隊先示範、再上線，然後才在正式環境發現邊緣個案。在首次部署前建立一套已標註的評估集，並在每次發佈時重新執行，才能把示範變成系統。

如何在香港的機密數據上運行 RAG？

把檢索留在你自己的範圍內，並在任何人挑選模型之前，先為以下四項限制做好設計：

• 數據駐留。客戶數據受《個人資料（私隱）條例》、金管局的外判單元（SPM SA-2）及其 2022 年雲端運算指引規管。自行託管的檢索和可自行託管的嵌入模型，可把文件庫留在你的範圍內。
• 可解釋性。金管局的生成式 AI 指引期望機構能解釋 AI 輔助產生的結果。以引用為先的檢索是實際的做法：來源段落與答案一併提供。
• 人工監督。高風險的輸出需要審閱關卡；當資料庫未涵蓋問題時，系統應拒絕作答而不是猜測。
• 審計記錄。記錄查詢、檢索到的證據和生成的答案，讓六個月後有爭議的輸出仍可重組。

如何讓檢索同時適用於英文和繁體中文？

由一開始就為此設計：採用可自行託管的多語言嵌入模型（例如 BGE-M3）和按語言分塊。再配合向量與關鍵字的混合搜尋，讓基金代號、條款編號等精確識別碼仍能配對。然後在推出前，於評估集內用一種語言的問題，測試另一種語言的文件。

香港有哪些 RAG 供應商？

市場大致分為幾類供應商，各自適合不同的買家：

在自建與購買之間，Super Cat 保持供應商中立。收入來自工程時間而不是授權費，平台較合適時會建議你用平台。

自建需要做些甚麼？

第一步是檢視文件庫：格式、語言、權威版本和存取權限。然後按文件庫調校攝取與檢索流程，並建立評估集和監測。時間表取決於文件庫而不是模型；掃描的雙語申報文件攝取時間最長。

Super Cat 已交付三套這類系統，全部在客戶自己的基建上運行。分別是四大會計師行合規資料庫的檢索、家族辦公室的私有檢索。第三套是處理文字、表格和圖片的多模態 RAG 應用。