2026年6月26日，香港珠海学院计算机科学系熊体超博士与 MSAAI 学生陈天元，在 2026 年 IEEE 第七届人工智能与机电自动化国际会议（AIEA2026）上展示了他们的最新研究成果。
- Tianyuan Chen, Richard Tai-Chiu Hsung*, Harris Sik-Ho Tsang, Wai-Lun Lo, Tony Yu-Lin Zhu, Xiaoxing Yang, Billy Chiu and Walter Lam, “Choice-Head Distillation for Dental Multiple-Choice Question Answering,” 2026 IEEE 7th International Conference on Artificial Intelligence and Electromechanical Automation, Shenzhen, China, June 26-28, 2026. (AIEA2026)
医学大语言模型（LLM）在基准测试中表现良好，但在实际应用中部署成本较高，尤其在牙科多项选择题问答（如 CMExam）场景中更是如此。现有的知识蒸馏方法通常仍需要对完整词表分布进行训练。我们提出了 Choice-Head 知识蒸馏方法，该方法仅迁移教师模型的答案选项分布，从而实现更轻量、与黑盒 API 教师模型兼容的决策空间蒸馏。我们在 CMExam 完整测试集（991 题）上开展实验，以 DeepSeek-V3 作为教师模型，Qwen2.5-7B/14B 作为学生模型（基于重新划分的数据集）。在多次实验中，学生模型的表现与教师模型相当或更优：最优 14B 模型准确率达到 89.10%（教师模型为 87.18%），三种子平均准确率为 88.67%，表明性能持续提升。结果还显示，后续的硬标签微调阶段能够带来进一步收益。总体而言，对于结构化的医学多项选择题任务，选项级蒸馏计算开销更小、更易于部署，且适用于黑盒教师模型。
香港珠海学院始终致力于支持学生的科研工作，鼓励他们在国际会议和期刊上发表论文。更多成果即将发布！
图1 – 我们在 AIEA 2026 报告论文的场次。
