Medguanaco 65b

目录

模型描述

• 架构
• 训练数据 模型使用 限制

模型描述

架构

nmitchko/medguanaco-65b-GPTQ 是一个专门用于医疗领域任务的大型语言模型，是在LLaMA的Guanaco LORA基础上细调而来，具有65B个参数。该模型的主要目标是改进问答和医学对话任务。它经过了 LoRA 的训练，并且为了减少内存占用而缩减为8位。

加载此模型的步骤：

# Some llama or alpaca model 65b
base_model = "nmitchko/medguanaco-65b-GPTQ"
model = LlamaForCausalLM.from_pretrained(
    base_model,    
    load_in_8bit=load_8bit,
    torch_dtype=torch.float16
)

以下README摘自来源页面 medalpaca

训练数据

该项目的训练数据来自于各种资源。首先，我们使用Anki闪卡自动生成问题，从卡片的正面生成问题，从卡片的背面生成答案。其次，我们从 Wikidoc 中生成医学问题-答案对。我们提取了具有相关标题的段落，并使用Chat-GPT 3.5在标题中生成问题，使用相应的段落作为答案。该数据集仍在开发中，我们相信大约70%的这些问答对是准确的。第三，我们使用StackExchange提取了问题-答案对，从五个类别中选择了评分最高的问题：学术界，生物信息学，生物学，健身和健康。此外，我们使用了从 ChatDoctor 获取的数据集，其中包含20万个问题-答案对，可在 https://github.com/Kent0n-Li/ChatDoctor 获取。

限制

该模型在医疗领域范围之外可能表现不佳。训练数据主要针对医学学生的知识水平，这可能导致在满足董事会认证的医生需求时存在限制。该模型尚未在实际应用中进行过测试，因此其效力和准确性目前未知。绝不能将其用作医生意见的替代品，它必须仅作为研究工具对待。