Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

medalpaca-13B GPTQ 4bit

这是对 medalpaca-13b 进行的4位量化 GPTQ-for-LLaMa .

在 text-generation-webui 中生成的伪代码输出吗？

请阅读下面的 提供的文件部分。您应该使用medalpaca-13B-GPTQ-4bit-128g.no-act-order.safetensors，除非您能够使用最新的GPTQ-for-LLaMa Triton分支。

如何在 text-generation-webui 中轻松下载和使用此模型

正常情况下打开 text-generation-webui 用户界面。

提供的文件

提供了两个文件。第二个文件在不使用GPTQ-for-LLaMa Triton分支的最新版本的情况下无法使用。

具体而言，第二个文件使用 --act-order 以获得最大的量化质量，并且在 oobabooga的 GPTQ-for-LLaMa分叉 中无法使用。因此，目前它也无法与GPTQ-for-LLaMa的CUDA分支或text-generation-webui的一键安装程序配合使用。

除非您能够使用最新的GPTQ-for-LLaMa代码，请使用medalpaca-13B-GPTQ-4bit-128g.no-act-order.safetensors

• medalpaca-13B-GPTQ-4bit-128g.no-act-order.safetensors
  • 适用于所有版本的GPTQ-for-LLaMa代码，包括Triton分支和CUDA分支
  • 适用于text-generation-webui的一键安装程序
  • 适用于Windows
  • 参数：Groupsize = 128g。不使用act-order
  • 用于创建GPTQ的命令：

    CUDA_VISIBLE_DEVICES=0 python3 llama.py medalpaca-13b c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors medalpaca-13B-GPTQ-4bit-128g.no-act-order.safetensors
    

• medalpaca-13B-GPTQ-4bit-128g.safetensors
  • 仅适用于GPTQ-for-LLaMa的最新Triton分支
  • 不适用于text-generation-webui的一键安装程序
  • 不适用于Windows
  • 参数：Groupsize = 128g。使用act-order
  • 提供最高质量的量化，但需要使用最新的GPTQ-for-LLaMa代码
  • 用于创建GPTQ的命令：

    CUDA_VISIBLE_DEVICES=0 python3 llama.py medalpaca-13b c4 --wbits 4 --true-sequential --act-order --groupsize 128 --save_safetensors medalpaca-13B-GPTQ-4bit-128g.safetensors
    

在text-generation-webui中运行步骤

与任何其他GPTQ文件一样，可以加载文件medalpaca-13B-GPTQ-4bit-128g.no-act-order.safetensors，而无需对 oobaboogas text-generation-webui 进行任何更新。

Instructions on using GPTQ 4bit files in text-generation-webui are here

另一个 safetensors 模型文件是使用最新的GPTQ代码创建的，并使用 --act-order 来提供最大可能的量化质量，但这意味着在UI内需要使用最新的GPTQ-for-LLaMa。

如果您想要使用使用 act-order 的 safetensors 文件并且需要更新GPTQ-for-LLaMa的Triton分支，请按照以下步骤克隆Triton分支的GPTQ-for-LLaMa，克隆text-generation-webui，并将GPTQ安装到UI中：

# Clone text-generation-webui, if you don't already have it
git clone https://github.com/oobabooga/text-generation-webui
# Make a repositories directory
mkdir text-generation-webui/repositories
cd text-generation-webui/repositories
# Clone the latest GPTQ-for-LLaMa code inside text-generation-webui
git clone https://github.com/qwopqwop200/GPTQ-for-LLaMa

然后将此模型安装到 text-generation-webui/models 中，并按以下方式启动UI：

cd text-generation-webui
python server.py --model medalpaca-13B-GPTQ-4bit --wbits 4 --groupsize 128 --model_type Llama # add any other command line args you want

以上命令假定您已安装了GPTQ-for-LLaMa和text-generation-webui的所有依赖项。有关更多信息，请参阅各自的存储库。

如果您无法将GPTQ-for-LLaMa更新到最新的Triton分支，或者不想这样做，可以使用上述提到的medalpaca-13B-GPTQ-4bit-128g.no-act-order.safetensors，这样应该可以在不升级text-generation-webui的情况下正常工作。

聊天室

如需进一步获取支持以及讨论有关这些模型和人工智能的问题，请加入我们：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

很多人问我是否可以进行贡献。我喜欢提供模型和帮助人们，并且非常希望能够花更多的时间提供帮助，并扩展到新的项目，如微调/训练。

如果您能够和愿意进行贡献，我将非常感激，并将帮助我继续提供更多的模型，并开始新的AI项目。

赞助者将优先获得有关AI/LLM/模型问题和请求的支持，可以访问私人Discord房间，以及其他特权。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon 特别感谢：Aemon Algiz，Dmitriy Samsonov, Nathan LeClaire, Trenton Dambrowitz, Mano Prime, David Flickinger, vamX, Nikolai Manek, senxiiz, Khalefa Al-Ahmad, Illia Dulskyi, Jonathan Leane, Talal Aujan, V. Lukas, Joseph William Delisle, Pyrater, Oscar Rangel, Lone Striker, Luke Pendergrass, Eugene Pentland, Sebastain Graf, Johann-Peter Hartman.

感谢所有慷慨的赞助者！

Original model card: MedAlpaca 13b

Table of Contents

Model Description

• Architecture
• Training Data
• Model Usage
• Limitations

Model Description

Architecture

medalpaca-13b 是一个专门针对医学任务进行微调的大型语言模型。它基于LLaMA（Large Language Model Meta AI）并包含130亿个参数。该模型的主要目标是改进问答和医学对话任务。

Training Data

该项目的训练数据来自各种资源。首先，我们使用Anki闪卡自动生成问题，从卡片的正面生成问题，从卡片的背面生成回答。其次，我们从dataset使用Chat-GPT 3.5根据相关标题生成问题，并使用相应段落作为答案。这个数据集还在开发中，我们相信大约70%的问题答案对是准确的。第三，我们使用StackExchange提取了问题-答案对，并从五个类别（学术、生物信息学、生物学、健身和健康）中选择了评分最高的问题。此外，我们使用了 ChatDoctor 的数据集，其中包含20万个问题-答案对，可以在 https://github.com/Kent0n-Li/ChatDoctor 上获取。

Model Usage

要评估模型在特定数据集上的性能，可以使用Hugging Face Transformers库内置的评估脚本。请参阅评估指南获取更多信息。推理

您可以使用Hugging Face Transformers库对模型进行问题回答和医学对话等推理任务。以下是如何在问题回答任务中使用模型的示例：

from transformers import pipeline

qa_pipeline = pipeline("question-answering", model="medalpaca/medalpaca-7b", tokenizer="medalpaca/medalpaca-7b")
question = "What are the symptoms of diabetes?"
context = "Diabetes is a metabolic disease that causes high blood sugar. The symptoms include increased thirst, frequent urination, and unexplained weight loss."
answer = qa_pipeline({"question": question, "context": context})
print(answer)

Limitations

该模型在医学领域范围之外可能效果不佳。训练数据主要针对医学学生的知识水平，这可能导致在满足董事会认证医生需求方面有限。该模型尚未在实际应用中进行测试，因此其功效和准确性目前未知。它绝不能用作医生意见的替代品，必须仅作为研究工具对待。