學術界超夯！研究人員最愛用《哈利波特》衡量 AI 技術理解成效

2023-12-29 11:01 聯合新聞網／科技新報

（首圖來源：pixabay）

【文‧林妤柔】

J.K. 羅琳的《哈利波特》在全球造成轟動，現在學術界正使用這套暢銷書來測試生成式 AI 系統如何學習和提供資訊。

根據彭博社報導，越來越多研究人員利用《哈利波特》來試驗生成式 AI 技術，因為該系列影響力深遠，書中又有廣泛的語言數據和複雜的文字遊戲。透過回顧《哈利波特》一系列研究和學術論文，能了解 AI 前沿研究，以及該技術面臨的最棘手問題。

最近在論文〈誰是哈利波特？LLMs 近似反學習〉（Who's Harry Potter? Approximate Unlearning in LLMs）中揭露大型語言模型（LLM）選擇性遺忘訊息的新技術。由於 AI 聊天機器人建立在大量線上數據上，可能包括受版權保護的資料和有誤內容，導致 AI 公司面臨侵權訴訟或大眾監督問題。

因此這篇論文作者、微軟 Azure 技術長 Mark Russinovich 和 Ronen Eldan 已證明，可對 AI 模型進行修改或編輯，刪除任何有關《哈利波特》一書中存在的知識，包括人物和情節，而不會影響 AI 系統的整體決策和分析能力。

Russinovich 和 Eldan 表示，之所以選擇《哈利波特》是因為他們耳熟能詳。Russinovich 表示，「研究界會更容易評估我們的技術所產生的模型，並親自確認內容確實已經被『消除學習』」。

另項研究中，西雅圖華盛頓大學、加州大學柏克萊分校和艾倫研究所的研究人員開發新語言模型「Silo」，可刪除數據以降低法律風險。不過他們在稍早發布的論文中提到，如果只在版權過期書籍或政府檔案等低風險文本上進行訓練，模型性能會明顯下降。

為深入研究，研究人員利用《哈利波特》來研究單篇文本是否影響 AI 系統性能。他們創建兩個資料儲存庫，即網站和文檔的集合。第一個資料儲存庫包括除了《哈利波特》第一部以外所有已出版書籍；另個資料庫包括除第二部以外的所有系列書籍，以此類推。

研究人員發現衡量 AI 模型的準確性標準時，當《哈利波特》從資料儲存庫中移除，困惑度會變更加嚴重。

在開放存取的科學研究資料庫 arXiv 上，與《哈利波特》有關的最新論文包括〈霍格華茲魔藥開發的機器學習〉（Machine learning for potion development at Hogwarts）、〈大型語言模型與《哈利波特》的相遇〉（Large Language Models Meet Harry Potter）和〈用基於 Transformer 模型的人工智慧檢測奇幻文學中的咒語〉（Detecting Spells in Fantasy Literature with a Transformer Based Artificial Intelligence）。

AI 研究引用《哈利波特》至少已有十年之久，但隨著學術界和技術專家將重點放在能處理自然語言並給出相關答案的 AI 工具上，情況變得越來越普遍；即使不是研究的核心內容，《哈利波特》也是研究人員最喜歡參考的文學作品。