EPFL研究人员展示了Meditron,这是一个开源和开放获取的大型语言模型(LLM),专为医疗领域量身定制,在Meta的Llama 2基础上进行了训练,并在Apache 2.0许可下提供。
EPFL的MEDITRON以其开源性而脱颖而出,提供7B和70B版本。正如论文所述,这些模型经过精心训练,使用了包括PubMed文献和来自多种来源的临床指南等筛选过的医疗数据。
这个模型附带Llama 2社区许可协议和Apache 2.0商业使用许可。这个模型也可在Hugging Face上获取。
与医疗基准的评估显示其性能优于现有的开源模型,以及像GPT-3.5和Med-PaLM这样的闭源模型。
主要作者并且是博士候选人的Zeming Chen强调了MEDITRON-70B的竞争力,它与GPT-4的差距在5%以内,与Med-PaLM-2的差距在10%以内。马丁·雅吉教授强调了MEDITRON透明度的重要性,提供了训练代码和模型权重。开源方法允许研究人员通过压力测试来提高模型的可靠性和鲁棒性。
医学博士玛丽-安妮·哈特利教授强调了MEDITRON的安全设计,将来自透明和高质量来源的医学知识编码进模型。与国际红十字委员会的合作将其临床实践指南整合到模型中,以满足人道主义情境的需求。
来自国际红十字委员会的哈维尔·埃尔金博士对该倡议表示兴奋,注意到健康工具对人道主义需求的敏感性是罕见的。在日内瓦举办的一个研讨会,由人道行动挑战赠款资助,将探讨MEDITRON的潜力、限制和风险,并聚焦其独特功能。
主要研究员安托万·博塞卢特教授概述了MEDITRON的目标——使获取医学知识成为一项普遍权利。这次发布与EPFL人工智能中心的使命相一致,强调负责任而有效的人工智能用于社会利益。该中心促进人工智能研究、教育和创新的跨学科参与,并推动各个部门之间的伙伴关系。
通用模型服务于多种任务,而专业模型,如医疗领域的,可以更加易于获取。以前对医疗LLM的尝试,如Med-PaLM 2和GPT-4,要么是闭源的,要么规模有限。尽管有medAlpaca是开源的,但它仅用于医学问答。