EPFL研究人员开发面向医疗保健的开源大型语言模型

2023年11月30日 由 camellia 发表 309 0

EPFL研究人员展示了Meditron,这是一个开源和开放获取的大型语言模型(LLM),专为医疗领域量身定制,在Meta的Llama 2基础上进行了训练,并在Apache 2.0许可下提供。


4


EPFL的MEDITRON以其开源性而脱颖而出,提供7B和70B版本。正如论文所述,这些模型经过精心训练,使用了包括PubMed文献和来自多种来源的临床指南等筛选过的医疗数据。


这个模型附带Llama 2社区许可协议和Apache 2.0商业使用许可。这个模型也可在Hugging Face上获取。


与医疗基准的评估显示其性能优于现有的开源模型,以及像GPT-3.5和Med-PaLM这样的闭源模型。


主要作者并且是博士候选人的Zeming Chen强调了MEDITRON-70B的竞争力,它与GPT-4的差距在5%以内,与Med-PaLM-2的差距在10%以内。马丁·雅吉教授强调了MEDITRON透明度的重要性,提供了训练代码和模型权重。开源方法允许研究人员通过压力测试来提高模型的可靠性和鲁棒性。


医学博士玛丽-安妮·哈特利教授强调了MEDITRON的安全设计,将来自透明和高质量来源的医学知识编码进模型。与国际红十字委员会的合作将其临床实践指南整合到模型中,以满足人道主义情境的需求。


来自国际红十字委员会的哈维尔·埃尔金博士对该倡议表示兴奋,注意到健康工具对人道主义需求的敏感性是罕见的。在日内瓦举办的一个研讨会,由人道行动挑战赠款资助,将探讨MEDITRON的潜力、限制和风险,并聚焦其独特功能。


主要研究员安托万·博塞卢特教授概述了MEDITRON的目标——使获取医学知识成为一项普遍权利。这次发布与EPFL人工智能中心的使命相一致,强调负责任而有效的人工智能用于社会利益。该中心促进人工智能研究、教育和创新的跨学科参与,并推动各个部门之间的伙伴关系。


通用模型服务于多种任务,而专业模型,如医疗领域的,可以更加易于获取。以前对医疗LLM的尝试,如Med-PaLM 2和GPT-4,要么是闭源的,要么规模有限。尽管有medAlpaca是开源的,但它仅用于医学问答。

文章来源:https://analyticsindiamag.com/epfl-researchers-develop-open-source-llm-for-healthcare/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消