設計一個會列明出處的 AI 課程助理

如何開發學生可以信任的課程或政策助理:只檢索已批准的文件、答案附上出處、不確定時拒答、按私隱要求寄存,以及用評測集確保持續準確。

Gigantic Work工程團隊 • 2026年11月2日

學生每個學期都問同樣的問題:截止日期、遲交扣分、可否使用 AI 工具、如何申請延期。AI 助理可以在凌晨兩點作答——但前提是它根據你的規則作答、列明答案從何而來,並在不知道時坦白承認。

試試檢索步驟

以下示範完全在你的瀏覽器中運行。它會搜尋一份示範課程手冊,選出最相關的段落並註明章節。試問「論文可以用 ChatGPT 嗎?」,再問問泊車位,看看它如何拒絕亂猜。

課程手冊助理 示範課程 · 虛構手冊 · 共 14 節
● 在你的瀏覽器中運行

此示範展示檢索及引用的步驟。正式系統會加入寄存於你認可環境的語言模型來組織答案,但答案必定以引用段落為依據,並附上連結。

模式:先檢索,後作答

這種做法一般稱為檢索增強生成(RAG):

  1. 收集已批准的來源——手冊、評核說明、政策、常見問題。除此以外,一概不用。
  2. 把文件拆成段落,並保留章節編號及標題。
  3. 為每個問題檢索最相關的段落(關鍵詞搜尋、向量搜尋,或兩者並用)。
  4. 只根據這些段落作答,並指示語言模型引用及註明出處。
  5. 檢索到的段落不足以支持答案時便拒答,並提供真人聯絡方法。
出處是功能,不是裝飾

出處讓學生可以核實答案,也讓職員迅速發現錯誤。每項陳述都應連結到相關章節,點擊即可看到原文段落。

關鍵的設計決定

來源管控。 文件集要精簡,並有明確負責人。手冊更新時要重新建立索引,並保留版本紀錄,以便知道助理在某一天「知道」甚麼。

混合檢索。 關鍵詞搜尋處理準確用語(「APA 第七版」、「9.21 室」);向量搜尋處理換了說法的問題(「截止前生病了」)。兩者結合比單用其中一種更穩健。

拒答門檻。 調校一個最低相關度分數,低於此分數時助理便表示找不到答案。「錯了卻很有自信」是最破壞信任的失誤。

模型及寄存。 選擇符合機構數據政策的模型及寄存安排:附合適數據條款的認可雲端服務、大學寄存的閘道,或在自家基礎設施上運行的開放權重模型。可以的話,完全避免把學生個人資料傳給助理。

用評測集保持準確

推出前,先寫好 50–100 條真實問題,連同預期答案及章節。每當文件、提示或模型有變,便自動執行一次。

檢查 能發現的問題
檢索到正確章節 搜尋或分段問題
答案與來源一致 幻覺或轉述錯誤
拒答範圍以外的問題 過度自信的猜測
中英文答案一致 語言落差

持續追蹤通過率。如果模型更新後通過率下跌,你會比學生更早知道。關於如何把這套做法自動化,可參閱我們的技術筆記〈測試框架工程〉。

負責任地推出

  • 告訴用戶它是甚麼:一個根據課程手冊作答的助理,而不是導師或決策者。
  • 涉及重大後果的事情(例如延期或學術失當)保留人手處理。
  • 在首幾星期檢視紀錄(去除個人識別資料),找出文件本身的缺漏——這往往是最大的收穫。
  • 協定提問紀錄的保留期限。

想為你的課程、學位課程或學生服務建立助理?請參閱我們的 AI 服務,或聯絡我們安排簡短的範圍界定通話。

與我們合作

正在規劃類似項目?

Gigantic Work 為香港的大學、資助項目、非牟利機構及中小企開發網上平台、研究入口網站、AI 工具、Unity/VR 體驗及雲端基礎設施,並在項目完成時全面移交。