# 本地 LLM 搜尋內部文件：樹狀搜尋對向量搜尋｜Super Cat 指南

> 向量搜尋是為昂貴的模型而設。我們用 83 條問題、20 份長篇 PDF（年報及美國證監會文件）比較樹狀搜尋與向量搜尋，並解釋為何本地 LLM 變平後，專業機構的選擇會不同。

Source: https://www.super-cat.tech/zh-hk/guides/local-llm-tree-search-vs-vector-search  
Last modified: 2026-10-27

[主頁](https://www.super-cat.tech/zh-hk)/ [指南](https://www.super-cat.tech/zh-hk/guides)

# 本地 LLM 愈來愈平，AI 搜尋內部文件的方法也要變：樹狀搜尋對向量搜尋

向量搜尋存在，是因為以往讓 LLM 讀完所有內容太貴。樹狀搜尋只讀它揀選的頁面，準確率約 90%，向量搜尋約 83%，但每條問題用的 token 約多十倍。當 LLM 在你自己的伺服器運行，這些額外閱讀便不再是按 token 計的賬單。
[Cat Yung](https://www.super-cat.tech/zh-hk/cat-yung)，Super Cat Technology 創辦人 發佈 2026年10月27日

重點

- 向量搜尋是「LLM 閱讀太貴」的變通辦法。樹狀搜尋讓 LLM 直接閱讀正確的頁面，在我們的測試中準確率高約 7 個百分點。

- 代價是成本：使用雲端 API 時，樹狀搜尋每條問題的 token 約多十倍。本地運行、價錢更低的 LLM，才令這個取捨對專業機構有吸引力。

- 文件怎樣被讀取，比怎樣搜尋更重要：由 AI 寫出的頁面文字令準確率提升 6 至 16 個百分點，視乎方法而定。

- 保留最接近的 40 段文字的向量搜尋，準確率約 83%，每條問題約 0.003 美元。

- 樹狀搜尋會瀏覽目錄樹，只閱讀它揀選的頁面，準確率約 90%，每條問題約 0.02 至 0.03 美元，另加一次性的建置成本。

- 附上原始圖表圖片沒有幫助，有用的是 AI 寫出的文字。中文問題的得分與英文相若。

- 所有測試都經雲端 API 進行。我們尚未量度自行託管的部署，所以「本地成本」的論點是我們的推論，並非量度結果。

- 只有一組測試題、一個 AI 評審和一個模型。請視之為方向，而非定論。

## 我們為何做這個測試？

客戶常見的要求聽落簡單：「我們有數以千計的內部 PDF 和檔案，想可以提問，並得到附有頁碼的正確答案。」大部分團隊會選用以下三種設計之一：

- **向量搜尋。**把文件切成段落，找出意思最接近問題的段落，交給 AI。

- **先揀文件再閱讀。**讓 AI 先揀出相關文件，再在其中搜尋。

- **代理搜尋。**讓 AI 看文件目錄、揀選章節、閱讀這些頁面，直至有足夠資料作答。

每種設計都有價錢和故障模式。我們想要的是自己文件上的數字，而不是泛泛的說法。

## 測試涵蓋甚麼？如何評分？

- **83 條問題**，仿照財務或合規團隊的真實提問：表格查找、跨多份文件的計算、公司之間的比較、圖表讀取，以及文件根本答不到的問題（正確回應是直言答不到）。

- **20 份文件：**4 份香港年報（K. Wah）和 16 份美國文件（12 份季度報告及 4 份大型美國公司年報）。

- 每條問題都有已知的正確答案，以及答案在文件中的位置。

評分分兩步。先由程式將答案與預期數字或字句比對。再由第二個 AI 模型閱讀答案，修正明顯的評分錯誤，例如正確數字用了不同格式；覆核後的分數最多比自動評分高 8.5 個百分點。覆核者是 AI 而非真人，仍需由真人抽樣再核對。
主要方法各運行三次。單次運行的雜訊約 6 個百分點，所以單次結果只作粗略比較。成本以供應商公開價格計算，尚未與實際發票核對。

## 讀取文件的方式，是否比搜尋方法更重要？

是。每種方法都由文字開始，取得文字有兩個途徑：PDF 本身的文字層，快而免費，但表格會亂、圖表數值經常欠缺；或者由 AI 逐頁閱讀並寫出文字，逐格重建表格，並寫出圖表上印有的數字。
同一種搜尋方法，改用 AI 寫出的文字後，準確率提升約 6 個百分點（使用我們自家目錄樹建構器的代理搜尋）至約 16 個百分點（使用現成目錄樹建構器的代理搜尋）。以這方式讀完全部 1,755 頁，成本約 2.24 美元，只需付一次。
搜尋方法找不到文字裏本來沒有的答案。圖表若在 AI 的文字中寫成「Revenue: 1,372」，便可被搜尋；若 PDF 文字層沒有任何文字，便搜尋不到。

## 附上原始圖表圖片有幫助嗎？

沒有。我們試過只裁剪偵測到的圖表和表格並附在問題上，也試過為所揀選的頁面附上整頁圖片。兩者都沒有改善結果。83 題中答對的數目，三次運行：

| 設定 | 第 1 次 | 第 2 次 | 第 3 次 |
| --- | --- | --- | --- |
| 只用 AI 寫出的文字 | 72 | 74 | 72 |
| 文字加裁剪圖表圖片 | 74 | 73 | 72 |
| 整頁文字加整頁圖片 | 69 | 69 | 70 |

AI 寫出的文字已包含圖表數值，圖片所增有限，而在沒有快取的情況下成本多約 55%。

## 單純的向量搜尋表現如何？

它是強勁而便宜的基準。保留最接近的 40 段文字、並壓縮至約 12,000 token（約 27 段）的預算內，三次運行的準確率為 **83.1%**，每條問題約 **0.003 美元**。這裏的 40 是候選段落數目，不是送給 AI 的段落數目。
先揀文件再閱讀的準確率為 **82.7%**，成本相若。兩者在統計上持平：先揀文件再閱讀在部分問題揀錯文件，向量搜尋則在另一些問題漏掉正確段落。

## 樹狀搜尋的準確率比向量搜尋高嗎？

是，高約 7 個百分點。我們稱之為樹狀搜尋：文件變成一棵目錄樹，代理的做法就像真人一樣。它先讀目錄，揀出最可能有答案的章節，完整閱讀這些頁面，然後作答，或者返回重新揀選。
配合 AI 寫出的文字，準確率約 **90%**（原始運行為 90.4%；之後兩次運行分別答對 83 題中的 76 和 75 題），每條問題 **0.02 至 0.03 美元**。建立目錄樹是 20 份文件的一次性成本：現成建構器約 2 美元，我們自家的約 4 美元。
以我們的雜訊水平，這個差距明顯但不算大。代理亦較慢，每條問題約 12 秒，而當問題需要同時用到每份文件的資料時，可能會用盡空間。

## 各種搜尋方法如何比較？

| | 向量搜尋 | 先揀文件再閱讀 | 樹狀搜尋 |
| --- | --- | --- | --- |
| 運作方式 | 把文件切成段落，按與問題的相似度排序，將最接近的交給 LLM | LLM 先揀出相關文件，再在其中搜尋 | LLM 閱讀目錄樹、揀選章節、完整閱讀頁面，需要時重複 |
| 準確率（我們的測試） | 83.1% | 82.7% | 約 90%（之後兩次運行：83 題中 76 和 75 題） |
| 每條問題成本（雲端 API） | 約 0.003 美元 | 約 0.003 美元 | 約 0.02 至 0.03 美元 |
| 建置 | 每段文字嵌入一次 | 文件層級的摘要或標籤 | 每份文件建一棵樹：20 份文件約 2 至 4 美元 |
| 典型故障 | 正確段落不在最接近的 40 段內；表格被切開；排首位的是錯誤的財政年度 | 揀錯文件，答案根本不會被搜尋 | 較慢（約 12 秒）；問題需要同時用到每份文件時可能用盡空間 |
| 最適合 | 大量、查找式的問題，預算緊絀 | 問題已點名文件的大型文件庫 | 漏掉段落代價高昂的問題：表格、跨文件比較、審計及合規 |

第四個選擇是不搜尋，直接把整份文件放入 LLM 的提示。我們沒有測試這項，而已發表的研究顯示它並非免費的替代方案：在[《Lost in the Middle》](https://arxiv.org/abs/2307.03172)（Liu 等，TACL 2023）中，當相關段落位於長上下文中間，以及上下文愈長時，模型準確率會下降。檢索仍然需要，問題只是檢索之後 LLM 要讀多少。
向量搜尋是原版[檢索增強生成](https://arxiv.org/abs/2005.11401)設計（Lewis 等，2020）中的檢索步驟，當年向模型傳送更多文字成本高昂。以上比較，是測試這個限制是否仍應決定設計。

## 向量搜尋和樹狀搜尋，各自最適合哪些情況？

請按答錯或漏答的代價，以及提問的數量來選擇。以下是我們根據測試作出的建議，並不保證適用於每一批文件。

| | 向量搜尋最適合 | 樹狀搜尋最適合 |
| --- | --- | --- |
| 典型問題 | 終止條款在哪裏？政策對出差有甚麼規定？ | 兩個年度的銷售成本變動多少？出自哪份文件？ |
| 典型團隊 | 客戶支援、內部知識庫、人事和 IT 支援、銷售支援 | 法律、審計、稅務、銀行、投資和合規團隊 |
| 數量 | 每日數以千計的問題 | 每日數十至數百條高風險問題 |
| 文件 | 短小、獨立的段落：FAQ、政策、維基 | 有目錄的長篇結構化 PDF：報告、合約、申報文件、手冊 |
| 答錯的代價 | 多問一條跟進問題 | 覆核人員的時間、客戶錯誤或合規發現 |
| LLM 在哪裏運行 | 雲端 API 已夠便宜 | 你自己的伺服器：額外閱讀只是運算時間，檔案亦留在你的網絡內 |

| 應用場景 | 建議先用 | 原因 |
| --- | --- | --- |
| 客戶支援及服務台 | 向量搜尋 | 答案短而獨立，而且數量極大 |
| 人事、IT 及政策知識庫 | 向量搜尋 | 查找式問題；漏答只是多問一次 |
| 合約及法律審閱 | 樹狀搜尋 | 條款取決於文件其他部分的定義和互相引用 |
| 審計及會計 | 樹狀搜尋 | 答案在表格和附註中；搞錯年度或實體便是審計發現 |
| 稅務及監管研究 | 樹狀搜尋 | 篇幅長、有結構的文本，章節層次本身就帶有意思 |
| 銀行及投資研究 | 樹狀搜尋 | 跨年度、跨文件比較，漏掉一段便可能改變結論 |
| 擁有數以千計文件的合規資料庫 | 兩者並用（未測試） | 先以向量搜尋導向正確文件，再以樹狀搜尋細讀 |

不少機構會兩者並用：先以向量搜尋把寬泛的問題導向正確文件，再以樹狀搜尋細讀。我們在這項研究中沒有測試這個組合。

## 中文問題的得分比英文低嗎？

相若。我們把 83 條問題全部翻譯成繁體中文，再回譯核對原意，並修正了 13 條有偏差的。以自動評分計，向量搜尋在中文得 83 題中的 60 至 62 題，英文為 63 至 66 題；其他方法中文與英文持平或略佳。差距主要來自要求列出清單的問題。英文對照組我們沒有做 AI 覆核，所以只能比較自動評分。

## 哪些想法沒有幫助？

我們也試過為文件章節建立摘要、再在摘要之間搜尋的設計。在我們的測試中，沒有一種勝過單純搜尋。這些是我們自己的簡化版本，並非已發表的原版，所以不能視為對原版方法的定論。

## 為何更平的本地 LLM 會改變搜尋方式？

向量搜尋是圍繞一個限制而設計：LLM 閱讀又慢又貴，所以先以相似度揀出幾段，再期望正確的一段在其中。它的故障都源於這個猜測：正確段落不在最接近的 40 段內、表格被切開，或者排首位的是錯誤的財政年度。
樹狀搜尋去除了這個猜測。LLM 讀目錄、揀章節、完整閱讀這些頁面。在我們的測試中準確率高約 7 個百分點，但每條問題用的 token 較多：雲端 API 約 0.02 至 0.03 美元，對比 0.003 美元。
這個成本差距，正是向量搜尋一直作為預設的原因，也正是本地部署會改變的部分。當 LLM 在你自己擁有的硬件上運行，多讀幾頁的問題只多花運算時間，而不是更大額的按 token 計賬單，內部檔案亦不會離開你的網絡。對於法律、審計、稅務、銀行和家族辦公室這類答錯或無出處的代價高昂、文件又屬機密的工作，這是我們建議優先考慮的取捨。

## 關於開放權重和私有模型，我們目前知道甚麼？

所有測試均使用 [Paper Instruments](https://www.paperinstruments.com/ultramarine) 的 **Ultramarine 1 Flash**。它是 Z.ai 的 GLM-5.3 Flash 經後訓練的版本。Paper Instruments 於 2026 年 10 月 14 日公佈該模型，截至 2026 年 10 月 27 日，其 [Ultramarine 頁面](https://www.paperinstruments.com/ultramarine)將模型權重列為「即將推出」。我們未核實其授權條款。供應商的基準測試數字未經獨立重現，我們也沒有採用：本頁每個數字都來自我們自己的 83 條問題。向量搜尋使用的嵌入模型是 OpenAI 的 text-embedding-3-large，並非開源。
所有測試都經供應商的雲端 API 進行，並非在我們自己的硬件上運行。結果顯示的是模型在樹狀搜尋上的能力，而不是私有部署的成本或速度。我們計劃在自行託管的模型上重複測試，在此之前，我們不聲稱它更平或同樣準確。

## 這個測試有哪些限制？

- **是 AI 覆核，不是真人覆核。**仍需有人抽樣核對有爭議的答案。

- **部分結果只來自單次運行。**約 6 個百分點以下的差距，請視為未能確定。

- **成本來自公開價格**，尚未與實際發票核對。

- **一個模型、一組文件。**換另一個模型或另一批文件，排名可能改變。

- **部分方法是我們自己的版本。**凡我們自行建了簡化版本的已發表方法，我們都會註明，並且不使用原名。

- **測試期間修正了兩個早期錯誤。**成本估算一度高出約一倍；我們使用的 200,000 token 上限是自己的設定，不是模型的限制，實測模型的真正上限約為 262,000 token。

## 我們會怎樣運用這些結果？

- **先把文件讀乾淨。**在花錢搜尋之前，先把表格和圖表數值轉成文字。

- **預算有限，就由向量搜尋開始。**它便宜、快，而且對很多問題已足夠準確。

- **要更高準確率，就加上樹狀搜尋**，並在自己的伺服器運行 LLM。每套文件需要一次性的建置成本；使用雲端 API 時，每條問題的成本亦較高。

- **用自己的文件檢驗。**建立 50 至 100 條真實問題的測試集，先跑這些方法再作選擇。

## 想在你自己的檔案上試一試？

我們可以用你的文件和你的問題，進行同一個比較：向量搜尋對樹狀搜尋，並以與你團隊一起建立的測試集評分。若結果成立，我們會在你自己的伺服器部署 LLM 和搜尋，機密檔案不會離開你的網絡。
預約通話，一同界定測試範圍；或閱讀我們如何在客戶基建上建立[私有 RAG](https://www.super-cat.tech/zh-hk/hong-kong-rag)。

## 常見問題

### 怎樣令 AI 搜尋內部文件和 PDF 效果最好？

在我們以 20 份長篇 PDF 進行的 83 題測試中，最大的提升來自先讓 AI 逐頁閱讀並寫出表格和圖表數值，帶來 6 至 16 個百分點的升幅。之後，單純的向量搜尋約 83%，樹狀搜尋約 90%。

### 向量搜尋對財務文件夠用嗎？

對很多問題夠用。保留最接近 40 段文字的向量搜尋準確率約 83.1%，每條問題約 0.003 美元。樹狀搜尋高約 7 個百分點，但每條問題成本約為十倍。

### 應否在問題附上圖表圖片？

在我們的測試中沒有幫助。AI 逐頁寫出的文字已包含圖表數值，加上圖片在沒有快取時成本多約 55%。

### RAG 在中文是否同樣有效？

在我們的測試中相若。翻譯成繁體中文的問題，在大部分方法上與英文持平或略佳；以自動評分計，向量搜尋中文得 83 題中的 60 至 62 題，英文為 63 至 66 題。

### 為何要自己部署 LLM，而不用雲端 API？

樹狀搜尋每條問題讀的頁面較多，使用雲端 API 時成本約為向量搜尋的十倍。在你自己的伺服器上，這些閱讀變成運算時間而非按 token 計的賬單，機密檔案亦留在你的網絡內。我們尚未量度自行託管的部署，所以這是有待驗證的推論，不是結果。

### 向量搜尋已經過時嗎？

不是。在我們的測試中它準確率約 83%，每條問題約 0.003 美元，對很多問題已足夠。樹狀搜尋得分較高，而這個差距對漏掉段落或搞錯財政年度代價高昂的專業工作最重要。

## 資料來源

- [Lewis 等，Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv 2005.11401）](https://arxiv.org/abs/2005.11401) (2020-05-22)

- [Liu 等，Lost in the Middle: How Language Models Use Long Contexts（arXiv 2307.03172，TACL 2023）](https://arxiv.org/abs/2307.03172) (2023-07-06)

- [Paper Instruments，Ultramarine 1 Flash（供應商頁面）](https://www.paperinstruments.com/ultramarine) (查閱於 2026-10-27)

香港 RAG 方案 →
服務內容、已交付的三套系統，以及市場概覽。
香港企業 RAG 方案：自建還是購買平台？ →
平台何時足夠，何時應在自己的伺服器自建。
作品集 →
十三個 AI 案例。
關於 Cat Yung →
主導 RAG 工作的創辦人。

## 關於作者

[Cat Yung](https://www.super-cat.tech/zh-hk/cat-yung)是 Super Cat Technology 創辦人，團隊在香港及倫敦開發 AI Agent，並以 AI 專家、Data Scientist 及兼職 CTO 身份與企業合作。擁有逾十年生產級 AI、NLP 及機器學習經驗；Upwork Expert-Vetted 頂尖 1%，Job Success Score 100%（來源：Upwork 個人檔案，2026 年 10 月）。

First-Sprint Data Scientist

## 一位經審核的工程師加入你的團隊，第一個 Sprint 完結前交付成果。

在下面揀選時間，與你通話的是我本人。請帶同用例、數據及限制條件，我會就可行性、工作量及首個應交付的項目，給予直接而具體的意見。
[預約通話](https://calendly.com/super-chain/catyung?utm_source=super-cat.tech&utm_campaign=first-sprint-data-scientist&utm_content=zh-hk%2Fguides%2Flocal-llm-tree-search-vs-vector-search)Cat Yung
配合香港及倫敦時區

預約通話 · 與 Cat Yung 通話 30 分鐘