RAG

RAG Retrieval-Augmented Generation RAG（檢索增強生成）是一種架構模式。 在 LLM 生成答案前，先從外部知識庫檢索相關資料，再將檢索結果提供給模型作為上下文，提升回答的正確性、可控性與即時性。 LLM 的本質：條件機率模型（Conditional Probability Model） 定義 大型語言模型（LLM）的核心任務只有一個：在給定前文條件下，預測下一個 token 的機率分佈。 數學形式為： P(token_t | token_1 … token_{t-1}) 表示在給定前文 token 的情況下，模型預測下一個 token 的機率。 這個機率分佈是由模型內部的所有參數（weights）共同決定的。 這些參數並不儲存任何可直接查詢的知識內容，而是隱式地編碼了大量語言片段之間的統計關聯與結構模式。 LLM 並不具備「查詢」、「記憶文件」或「事實驗證」能力。 LLM「知識」從何而來 X LLM 沒有文件 X LLM 沒有資料表 X LLM 沒有條目式知識 O 參數空間中所編碼的統計關聯結構 壓縮後的語言世界模型 訓練階段：把世界「壓縮」成參數，訓練資料（書籍、文件、程式碼、維基百科）僅用於不斷調整模型參數，強化 token 與 token 之間的關聯機率 資料不會被儲存，僅留下統計痕跡。 小模型仍「看起來懂很多」 多數人類知識是低熵、可高度壓縮的 技術文件與教科書高度模板化 (token 關聯穩定) 常識與基礎知識在語料中反覆出現 因此：只需要很少參數就能學到這種穩定規律，LLM 並非記住內容，而是學會「怎樣說才像懂」。 Transformer 擅長「關聯建模」 世界不是隨機的，而是高度可壓縮： 長距離 token 關聯 抽象語義空間 結構對齊（Structure Alignment） Transformer 等於一個超強壓縮器，這讓它可以： 將問題對齊到「已見過的語言模式」 再生成對應回應 回答不是「查到」，而是「生成」，不是回憶，是重建 類比