英文

Medguanaco 65b

目录

模型描述

  • 架构
  • 训练数据 模型使用 限制

模型描述

架构

nmitchko/medguanaco-65b-GPTQ 是一个专门用于医疗领域任务的大型语言模型,是在LLaMA的Guanaco LORA基础上细调而来,具有65B个参数。该模型的主要目标是改进问答和医学对话任务。它经过了 LoRA 的训练,并且为了减少内存占用而缩减为8位。

加载此模型的步骤:

  • 使用transformers加载模型
  • # Some llama or alpaca model 65b
    base_model = "nmitchko/medguanaco-65b-GPTQ"
    model = LlamaForCausalLM.from_pretrained(
        base_model,    
        load_in_8bit=load_8bit,
        torch_dtype=torch.float16
    )
    

    以下README摘自来源页面 medalpaca

    训练数据

    该项目的训练数据来自于各种资源。首先,我们使用Anki闪卡自动生成问题,从卡片的正面生成问题,从卡片的背面生成答案。其次,我们从 Wikidoc 中生成医学问题-答案对。我们提取了具有相关标题的段落,并使用Chat-GPT 3.5在标题中生成问题,使用相应的段落作为答案。该数据集仍在开发中,我们相信大约70%的这些问答对是准确的。第三,我们使用StackExchange提取了问题-答案对,从五个类别中选择了评分最高的问题:学术界,生物信息学,生物学,健身和健康。此外,我们使用了从 ChatDoctor 获取的数据集,其中包含20万个问题-答案对,可在 https://github.com/Kent0n-Li/ChatDoctor 获取。

    Source n items
    ChatDoc large 200000
    wikidoc 67704
    Stackexchange academia 40865
    Anki flashcards 33955
    Stackexchange biology 27887
    Stackexchange fitness 9833
    Stackexchange health 7721
    Wikidoc patient information 5942
    Stackexchange bioinformatics 5407

    限制

    该模型在医疗领域范围之外可能表现不佳。训练数据主要针对医学学生的知识水平,这可能导致在满足董事会认证的医生需求时存在限制。该模型尚未在实际应用中进行过测试,因此其效力和准确性目前未知。绝不能将其用作医生意见的替代品,它必须仅作为研究工具对待。