本地 LLM 愈來愈平，AI 搜尋內部文件的方法也要變：樹狀搜尋對向量搜尋

我們為何做這個測試？

客戶常見的要求聽落簡單：「我們有數以千計的內部 PDF 和檔案，想可以提問，並得到附有頁碼的正確答案。」大部分團隊會選用以下三種設計之一：

• 向量搜尋。把文件切成段落，找出意思最接近問題的段落，交給 AI。
• 先揀文件再閱讀。讓 AI 先揀出相關文件，再在其中搜尋。
• 代理搜尋。讓 AI 看文件目錄、揀選章節、閱讀這些頁面，直至有足夠資料作答。

每種設計都有價錢和故障模式。我們想要的是自己文件上的數字，而不是泛泛的說法。

測試涵蓋甚麼？如何評分？

• 83 條問題，仿照財務或合規團隊的真實提問：表格查找、跨多份文件的計算、公司之間的比較、圖表讀取，以及文件根本答不到的問題（正確回應是直言答不到）。
• 20 份文件：4 份香港年報（K. Wah）和 16 份美國文件（12 份季度報告及 4 份大型美國公司年報）。
• 每條問題都有已知的正確答案，以及答案在文件中的位置。

評分分兩步。先由程式將答案與預期數字或字句比對。再由第二個 AI 模型閱讀答案，修正明顯的評分錯誤，例如正確數字用了不同格式；覆核後的分數最多比自動評分高 8.5 個百分點。覆核者是 AI 而非真人，仍需由真人抽樣再核對。

主要方法各運行三次。單次運行的雜訊約 6 個百分點，所以單次結果只作粗略比較。成本以供應商公開價格計算，尚未與實際發票核對。

讀取文件的方式，是否比搜尋方法更重要？

是。每種方法都由文字開始，取得文字有兩個途徑：PDF 本身的文字層，快而免費，但表格會亂、圖表數值經常欠缺；或者由 AI 逐頁閱讀並寫出文字，逐格重建表格，並寫出圖表上印有的數字。

同一種搜尋方法，改用 AI 寫出的文字後，準確率提升約 6 個百分點（使用我們自家目錄樹建構器的代理搜尋）至約 16 個百分點（使用現成目錄樹建構器的代理搜尋）。以這方式讀完全部 1,755 頁，成本約 2.24 美元，只需付一次。

搜尋方法找不到文字裏本來沒有的答案。圖表若在 AI 的文字中寫成「Revenue: 1,372」，便可被搜尋；若 PDF 文字層沒有任何文字，便搜尋不到。

附上原始圖表圖片有幫助嗎？

沒有。我們試過只裁剪偵測到的圖表和表格並附在問題上，也試過為所揀選的頁面附上整頁圖片。兩者都沒有改善結果。83 題中答對的數目，三次運行：

AI 寫出的文字已包含圖表數值，圖片所增有限，而在沒有快取的情況下成本多約 55%。

單純的向量搜尋表現如何？

它是強勁而便宜的基準。保留最接近的 40 段文字、並壓縮至約 12,000 token（約 27 段）的預算內，三次運行的準確率為 83.1%，每條問題約 0.003 美元。這裏的 40 是候選段落數目，不是送給 AI 的段落數目。

先揀文件再閱讀的準確率為 82.7%，成本相若。兩者在統計上持平：先揀文件再閱讀在部分問題揀錯文件，向量搜尋則在另一些問題漏掉正確段落。

樹狀搜尋的準確率比向量搜尋高嗎？

是，高約 7 個百分點。我們稱之為樹狀搜尋：文件變成一棵目錄樹，代理的做法就像真人一樣。它先讀目錄，揀出最可能有答案的章節，完整閱讀這些頁面，然後作答，或者返回重新揀選。

配合 AI 寫出的文字，準確率約 90%（原始運行為 90.4%；之後兩次運行分別答對 83 題中的 76 和 75 題），每條問題 0.02 至 0.03 美元。建立目錄樹是 20 份文件的一次性成本：現成建構器約 2 美元，我們自家的約 4 美元。

以我們的雜訊水平，這個差距明顯但不算大。代理亦較慢，每條問題約 12 秒，而當問題需要同時用到每份文件的資料時，可能會用盡空間。

各種搜尋方法如何比較？

第四個選擇是不搜尋，直接把整份文件放入 LLM 的提示。我們沒有測試這項，而已發表的研究顯示它並非免費的替代方案：在《Lost in the Middle》（Liu 等，TACL 2023）中，當相關段落位於長上下文中間，以及上下文愈長時，模型準確率會下降。檢索仍然需要，問題只是檢索之後 LLM 要讀多少。

向量搜尋是原版檢索增強生成設計（Lewis 等，2020）中的檢索步驟，當年向模型傳送更多文字成本高昂。以上比較，是測試這個限制是否仍應決定設計。

向量搜尋和樹狀搜尋，各自最適合哪些情況？

請按答錯或漏答的代價，以及提問的數量來選擇。以下是我們根據測試作出的建議，並不保證適用於每一批文件。

不少機構會兩者並用：先以向量搜尋把寬泛的問題導向正確文件，再以樹狀搜尋細讀。我們在這項研究中沒有測試這個組合。

中文問題的得分比英文低嗎？

相若。我們把 83 條問題全部翻譯成繁體中文，再回譯核對原意，並修正了 13 條有偏差的。以自動評分計，向量搜尋在中文得 83 題中的 60 至 62 題，英文為 63 至 66 題；其他方法中文與英文持平或略佳。差距主要來自要求列出清單的問題。英文對照組我們沒有做 AI 覆核，所以只能比較自動評分。

哪些想法沒有幫助？

我們也試過為文件章節建立摘要、再在摘要之間搜尋的設計。在我們的測試中，沒有一種勝過單純搜尋。這些是我們自己的簡化版本，並非已發表的原版，所以不能視為對原版方法的定論。

為何更平的本地 LLM 會改變搜尋方式？

向量搜尋是圍繞一個限制而設計：LLM 閱讀又慢又貴，所以先以相似度揀出幾段，再期望正確的一段在其中。它的故障都源於這個猜測：正確段落不在最接近的 40 段內、表格被切開，或者排首位的是錯誤的財政年度。

樹狀搜尋去除了這個猜測。LLM 讀目錄、揀章節、完整閱讀這些頁面。在我們的測試中準確率高約 7 個百分點，但每條問題用的 token 較多：雲端 API 約 0.02 至 0.03 美元，對比 0.003 美元。

這個成本差距，正是向量搜尋一直作為預設的原因，也正是本地部署會改變的部分。當 LLM 在你自己擁有的硬件上運行，多讀幾頁的問題只多花運算時間，而不是更大額的按 token 計賬單，內部檔案亦不會離開你的網絡。對於法律、審計、稅務、銀行和家族辦公室這類答錯或無出處的代價高昂、文件又屬機密的工作，這是我們建議優先考慮的取捨。

關於開放權重和私有模型，我們目前知道甚麼？

所有測試均使用 Paper Instruments 的 Ultramarine 1 Flash。它是 Z.ai 的 GLM-5.3 Flash 經後訓練的版本。Paper Instruments 於 2026 年 10 月 14 日公佈該模型，截至 2026 年 10 月 27 日，其 Ultramarine 頁面將模型權重列為「即將推出」。我們未核實其授權條款。供應商的基準測試數字未經獨立重現，我們也沒有採用：本頁每個數字都來自我們自己的 83 條問題。向量搜尋使用的嵌入模型是 OpenAI 的 text-embedding-3-large，並非開源。

所有測試都經供應商的雲端 API 進行，並非在我們自己的硬件上運行。結果顯示的是模型在樹狀搜尋上的能力，而不是私有部署的成本或速度。我們計劃在自行託管的模型上重複測試，在此之前，我們不聲稱它更平或同樣準確。

這個測試有哪些限制？

• 是 AI 覆核，不是真人覆核。仍需有人抽樣核對有爭議的答案。
• 部分結果只來自單次運行。約 6 個百分點以下的差距，請視為未能確定。
• 成本來自公開價格，尚未與實際發票核對。
• 一個模型、一組文件。換另一個模型或另一批文件，排名可能改變。
• 部分方法是我們自己的版本。凡我們自行建了簡化版本的已發表方法，我們都會註明，並且不使用原名。
• 測試期間修正了兩個早期錯誤。成本估算一度高出約一倍；我們使用的 200,000 token 上限是自己的設定，不是模型的限制，實測模型的真正上限約為 262,000 token。

我們會怎樣運用這些結果？

• 先把文件讀乾淨。在花錢搜尋之前，先把表格和圖表數值轉成文字。
• 預算有限，就由向量搜尋開始。它便宜、快，而且對很多問題已足夠準確。
• 要更高準確率，就加上樹狀搜尋，並在自己的伺服器運行 LLM。每套文件需要一次性的建置成本；使用雲端 API 時，每條問題的成本亦較高。
• 用自己的文件檢驗。建立 50 至 100 條真實問題的測試集，先跑這些方法再作選擇。

想在你自己的檔案上試一試？

我們可以用你的文件和你的問題，進行同一個比較：向量搜尋對樹狀搜尋，並以與你團隊一起建立的測試集評分。若結果成立，我們會在你自己的伺服器部署 LLM 和搜尋，機密檔案不會離開你的網絡。

預約通話，一同界定測試範圍；或閱讀我們如何在客戶基建上建立私有 RAG。