研究主題 Researches

2024 應用知識蒸餾技術開發輕量化LLM 之中耳炎醫病溝通衛教改善系統

有效的醫病溝通對提升醫療成效至關重要,其中個人化衛教扮演著重要角色。近年來,許多研究顯示大語言模型(LLM)在醫療領域具有潛力。然而,LLM 在醫療領域中的應用面臨挑戰,如資源需求龐大、昂貴、資安疑慮等。為解決這些問題,輕量化 LLM 應需而生。本研究旨開發輕量化 LLM 之醫病溝通衛教系統,首先基於醫學影像建立疾病分類模型,並轉換為 LLM 的輸入文字作為多模態輸入,接著利用知識蒸餾 (KD) 技術將個人化衛教知識從 LLM 中萃取,訓練微調成 PHE 模型。本研究以耳鼻喉科的中耳炎為例,實驗一結果顯示疾病分類模型具有高準確率,作為此系統多模態輸入的基礎。實驗二根據李克特量表,醫生審閱並評估由 PHE 模型生成的個人化衛教報告,平均分數超過 4 分,與微調前的模型有顯著差異(p<0.05),並評估了不同大小的模型和資料集在微調個人化衛教模型中的表現。實驗三引入了檢索增強生成技術(RAG),使系統能夠整合醫院的最新資訊,如醫師的門診時間,展現其在生成客製化衛教內容方面的優勢。實驗四引入基於人類反饋的強化學習(RLHF) 技術,使 PHE 模型能透過醫護人員修改報告進行再訓練,讓生成的報告更符合使用需求。整體而言,應用 KD 技術開發的 PHE 模型在維持資訊準確性和有效性的同時,降低模型參數大小和資源需求,提高臨床場域應用的可能性。透過 RAG和 RLHF 技術,我們能夠在私密環境中進行客製化和持續訓練,保障醫護人員的智慧財產權與患者的隱私。此系統可根據患者資訊產生量身打造的衛教報告,做為對患者進行個人化衛教參考,減少醫護人員的負擔,患者也能收到專屬的個人化報告,有助於減少醫護人員與患者之間的溝通阻力,改善醫病溝通與照護成效。本研究展現此系統應用於臨床場域的潛力,並可做為未來相關應用之參考。
 
Effective Doctor-Patient Communication (DPC) is crucial for enhancing healthcare outcomes, with Personalized Health Education (PHE) playing a significant role. Recent studies have indicated Large Language Models (LLMs) hold potential in the healthcare. However, the applications of LLMs face high resource demands, cost, and security concerns. To address these issues, lightweight LLMs have emerged. This study developed a system with lightweight LLM to improve DPC by generating PHE reports based on individual patient information. Initially, a disease classification model was developed based on medical images and converted into textual input for the lightweight LLM as multimodal input. Then, employing knowledge distillation (KD) technology to extract PHE knowledge from the LLM and fine-tune lightweight LLM to PHE model. The first experiment indicated that the disease classification model boasts a high level of accuracy, serving as the foundation for the multimodal input the system. In the second experiment, doctors reviewed and evaluated PHE reports generated by the PHE model, with average scores exceeding 4 points, similar with the LLMs and significantly different from the pre-finetuned model (p<0.05). This study also evaluated the performance of different model sizes and datasets in fine-tuning PHE model. The third experiment implemented Retrieval-Augmented Generation (RAG), enabling the system to integrate the latest hospital information, such as doctors' consultation hours, demonstrating its advantage in generating customized content. The fourth experiment incorporated Reinforcement Learning with Human Feedback (RLHF), retraining PHE model based on medical staff modifications to PHE reports, making the generated reports more aligned with user needs. Overall, PHE model developed using KD techniques successfully reduced the model size and resource requirements while maintaining the information accuracy and effectiveness, enhancing its potential for clinical application. Through RAG and RLHF, the system achieved customization and continuous training in the private III environment, protecting the intellectual property of medical staff and patents’ privacy. This system generated PHE reports based on patient information, serving as a reference for PHE to reduce the burden on medical staff and offering patients tailored reports, improving DPC and healthcare outcomes. This study demonstrated the potential of this system in clinical settings and future related applications.
有效的醫病溝通對提升醫療成效至關重要,其中個人化衛教扮演著重要角色。
近年來,許多研究顯示大語言模型(LLM)在醫療領域具有潛力。然而,LLM 在醫
療領域中的應用面臨挑戰,如資源需求龐大、昂貴、資安疑慮等。為解決這些問題,
輕量化 LLM 應需而生。本研究旨開發輕量化 LLM 之醫病溝通衛教系統,首先基於
醫學影像建立疾病分類模型,並轉換為 LLM 的輸入文字作為多模態輸入,接著利用
知識蒸餾 (KD) 技術將個人化衛教知識從 LLM 中萃取,訓練微調成 PHE 模型。本研
究以耳鼻喉科的中耳炎為例,實驗一結果顯示疾病分類模型具有高準確率,作為此
系統多模態輸入的基礎。實驗二根據李克特量表,醫生審閱並評估由 PHE 模型生成
的個人化衛教報告,平均分數超過 4 分,與微調前的模型有顯著差異(p<0.05),並
評估了不同大小的模型和資料集在微調個人化衛教模型中的表現。實驗三引入了檢
索增強生成技術(RAG),使系統能夠整合醫院的最新資訊,如醫師的門診時間,展
現其在生成客製化衛教內容方面的優勢。實驗四引入基於人類反饋的強化學習
(RLHF) 技術,使 PHE 模型能透過醫護人員修改報告進行再訓練,讓生成的報告更
符合使用需求。整體而言,應用 KD 技術開發的 PHE 模型在維持資訊準確性和有效
性的同時,降低模型參數大小和資源需求,提高臨床場域應用的可能性。透過 RAG
和 RLHF 技術,我們能夠在私密環境中進行客製化和持續訓練,保障醫護人員的智
慧財產權與患者的隱私。此系統可根據患者資訊產生量身打造的衛教報告,做為對
患者進行個人化衛教參考,減少醫護人員的負擔,患者也能收到專屬的個人化報告,
有助於減少醫護人員與患者之間的溝通阻力,改善醫病溝通與照護成效。本研究展
現此系統應用於臨床場域的潛力,並可做為未來相關應用之參考。

王家揚