2026年6月26日，香港珠海學院資訊科學系副教授熊體超博士與MSAAI在 2026 年 IEEE 第七屆人工智慧與機電自動化國際會議 (AIEA2026) 上展示了他們的最新研究成果。
- Tianyuan Chen, Richard Tai-Chiu Hsung*, Harris Sik-Ho Tsang, Wai-Lun Lo, Tony Yu-Lin Zhu, Xiaoxing Yang, Billy Chiu and Walter Lam, “Choice-Head Distillation for Dental Multiple-Choice Question Answering,” 2026 IEEE 7th International Conference on Artificial Intelligence and Electromechanical Automation, Shenzhen, China, June 26-28, 2026. (AIEA2026)
醫學語言學習模型（LLM）在基準測試中表現良好，但在實際應用中部署成本高昂，尤其是在牙科多項選擇題問答測試（例如 CMExam）中。現有的知識蒸餾方法通常仍使用完整的詞彙分佈進行訓練。我們提出了一種 選擇頭 知識蒸餾方法，該方法僅遷移教師模型的答案選項分佈，從而實現更輕量級且與黑盒 API 教師模型相容的決策空間知識蒸餾。我們在 CMExam 測驗集（包含 991 題的完整測驗集）上進行了實驗，使用 DeepSeek-V3 作為教師模型，Qwen2.5-7B/14B 作為學生模型（在重新劃分的資料集上）。在多次運行中，學生模型的表現與教師模型持平或更優：最佳的 14B 模型準確率達到 89.10%（教師模型為 87.18%），三種子平均準確率為 88.67%，顯示表現持續提升。結果還表明，後續的硬標籤微調階段能夠帶來益處。整體而言，對於結構化的醫學多項選擇題，選擇級提煉計算量更小，更容易部署，並且適用於黑箱教師模型。
香港珠海學院始終致力於支持學生的研究工作，鼓勵他們在國際會議和期刊上發表論文。更多論文即將發表！
Fig.1 – 我們在 AIEA 2026報告論文的場次。
