AWS 與 Booking.com 結合 KD 與 Medusa 加速 LLM

背景

大型語言模型（LLM，Large Language Models）通常擁有數十億參數，能提供準確且符合語境的旅遊建議，但運算成本高且延遲大，在網頁或行動應用中即使 100 毫秒的延遲也可能導致客戶流失。為解決規模與延遲挑戰，研究團隊探索了知識蒸餾（KD，Knowledge Distillation，讓小型模型學習大型模型行為的壓縮技術）與 Medusa（將序列 token 預測轉為並行運算的框架）兩種互補的優化技術。 官方原文・Amazon Science

發生什麼事

Amazon Science 團隊與線上旅遊代理 Booking.com 合作，將 KD 和 Medusa 技術應用於驅動其使用者體驗的 LLMs。研究聚焦於三個功能：AI Trip Planner（需在 1 秒內從對話中提取旅行偏好的對話助手）、Smart Filters（將自然語言搜尋查詢即時轉換為結構化資訊過濾器的功能）以及 Accommodation Description Generation（產生百萬級別房源描述的功能）。 官方原文・Amazon Science

重點內容

實驗選用了 1.1 billion 參數的 TinyLlama 作為學生模型，以及 70 billion 參數的 Llama-3.1 作為教師模型。知識蒸餾將小模型與教師模型之間的效能差距縮小了超過 90%，使小模型達到與教師模型相近的水平，且推論速度約快 6 倍。加入 Medusa heads 後，推論速度進一步提升了 2 到 3.6 倍。 官方原文・Amazon Science

結合 KD 與 Medusa-2（單階段訓練所有組件的變體）後，最終模型在保持 70 billion 參數教師模型品質的同時，運行速度快了 10 到 20 倍。具體成果包括：AI Trip Planner 相比 GPT-3.5 使用者參與度提升 2.9%；Smart Filters 對 99 percent 的查詢實現了 15 倍的響應速度提升；AI 生成的住宿描述在成本不到 GPT-4 三分之一的情况下，獲得了多 1.4% 的「有用」評分。 原文

對使用者的意義

該框架確保依賴 LLMs 的旅遊平台或其他應用能在真實場景中提供快速、具成本效益且準確的回應。對於開發者而言，Medusa-2 更簡單的管線使其更適合管理多個模型的生產團隊使用。此技術已在去年 Association for Computational Linguistics (ACL) 會議上發表，並獲得 Industry Track best-paper award。 官方原文・Amazon Science