dolly-v2-7b 模型卡

概述

Databricks的dolly-v2-7b是一种基于Databricks机器学习平台训练的大规模语言模型，可用于商业用途。基于pythia-6.9b，Dolly在InstructGPT论文的能力领域中使用Databricks员工生成的约15,000条指令/响应微调记录进行训练，包括头脑风暴、分类、封闭QA、生成、信息提取、开放QA和摘要。Dolly-v2-7b不是一种最先进的模型，但它展现出了其他基于该模型的基础的指令遵循行为中不寻常的高质量。

Dolly v2还有其他模型规模可用:

• dolly-v2-12b ，基于pythia-12b的120亿参数
• dolly-v2-3b ，基于pythia-2.8b的28亿参数

请参考 dolly GitHub repo 以获取关于在不同GPU配置下运行推理的提示。

所有权者: Databricks, Inc.

模型概览

dolly-v2-7b是一种69亿参数的因果语言模型，由 Databricks 创建，源自 EleutherAI's - Pythia-6.9b ，并在由Databricks员工生成的数据集上进行了微调，根据宽松许可证（CC-BY-SA）发布。

使用

要在带有GPU的机器上使用transformers库使用该模型，请确保已安装transformers和accelerate库。在Databricks笔记本中，您可以运行:

%pip install "accelerate>=0.16.0,<1" "transformers[torch]>=4.28.1,<5" "torch>=1.13.1,<2"

可以使用pipeline函数加载指令遵循管道，如下所示。这将加载模型存储库 here 中的自定义InstructionTextGenerationPipeline，因此需要设置trust_remote_code=True。通常建议包括torch_dtype=torch.bfloat16，如果支持此类型，以减少内存使用。如果内存足够，可以删除它，但不会影响输出质量。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-7b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")

然后，您可以使用该管道来回答指令:

res = generate_text("Explain to me the difference between nuclear fission and fusion.")
print(res[0]["generated_text"])

或者，如果您不想使用trust_remote_code=True，您可以下载模型 instruct_pipeline.py ，将其存储在与笔记本相同的位置，并根据加载的模型和分词器构建自己的管道:

import torch
from instruct_pipeline import InstructionTextGenerationPipeline
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("databricks/dolly-v2-7b", padding_side="left")
model = AutoModelForCausalLM.from_pretrained("databricks/dolly-v2-7b", device_map="auto", torch_dtype=torch.bfloat16)

generate_text = InstructionTextGenerationPipeline(model=model, tokenizer=tokenizer)

LangChain使用

要在LangChain中使用该管道，必须设置return_full_text=True，因为LangChain期望返回完整的文本，默认管道的返回结果只包括新文本。

import torch
from transformers import pipeline

generate_text = pipeline(model="databricks/dolly-v2-7b", torch_dtype=torch.bfloat16,
                         trust_remote_code=True, device_map="auto", return_full_text=True)

您可以创建一个只包含指令或包含带有上下文的指令的提示：

from langchain import PromptTemplate, LLMChain
from langchain.llms import HuggingFacePipeline

# template for an instrution with no input
prompt = PromptTemplate(
    input_variables=["instruction"],
    template="{instruction}")

# template for an instruction with input
prompt_with_context = PromptTemplate(
    input_variables=["instruction", "context"],
    template="{instruction}\n\nInput:\n{context}")

hf_pipeline = HuggingFacePipeline(pipeline=generate_text)

llm_chain = LLMChain(llm=hf_pipeline, prompt=prompt)
llm_context_chain = LLMChain(llm=hf_pipeline, prompt=prompt_with_context)

使用简单指令进行预测的示例：

print(llm_chain.predict(instruction="Explain to me the difference between nuclear fission and fusion.").lstrip())

使用包含上下文的指令进行预测的示例：

context = """George Washington (February 22, 1732[b] - December 14, 1799) was an American military officer, statesman,
and Founding Father who served as the first president of the United States from 1789 to 1797."""

print(llm_context_chain.predict(instruction="When was George Washington president?", context=context).lstrip())

已知限制

性能限制

dolly-v2-7b不是一种最先进的生成式语言模型，并且尽管定量基准测试正在进行中，但其设计并不旨在在与更现代的模型架构或更大的预训练语料库相比时具有竞争力。

Dolly模型系列正在积极开发中，因此任何缺陷清单都不太可能是详尽无遗的，但我们在此列出已知的限制和失败案例，以便记录并与社区分享我们的初步发现。特别是，dolly-v2-7b在以下方面存在困难：句法复杂的提示、编程问题、数学运算、事实错误、日期和时间、开放性问题回答、幻觉、列举特定长度的列表、模仿风格、具有幽默感等。此外，我们发现dolly-v2-7b没有原始模型中的书信写作等一些功能。

数据集限制

与所有语言模型一样，dolly-v2-7b反映了其训练语料库的内容和限制。

• The Pile ： GPT-J的预训练语料库主要来自公共互联网，与大多数规模庞大的网页数据集一样，它包含许多用户会感到不满意的内容。因此，该模型可能会明确地反映这些缺点，尤其是当它被明确要求生成令人反感的内容时，有时可能会以微妙的方式反映，例如偏见或有害的隐含关联。

• databricks-dolly-15k：dolly-v2-7b的指令微调训练数据包含Databricks员工在2023年3月和4月期间生成的自然语言指令，其中包括维基百科作为封闭QA和摘要等指令类别的参考文本。据我们所知，数据集不包含淫秽、知识产权或有关非公众人物的个人身份信息，但可能包含拼写错误和事实错误。数据集也可能反映了维基百科中存在的偏见。最后，数据集可能反映了Databricks员工的兴趣和语义选择，而这个人口统计数据并不代表全球人口。

Databricks致力于持续开展研究和开发工作，以开发有益、诚实和无害的AI技术，最大限度地发挥所有个人和组织的潜力。

基准指标

以下是不同模型在 EleutherAI LLM Evaluation Harness 上的基准性能，模型结果按几何平均值排序以产生易理解的排序。正如上文所述，这些结果表明dolly-v2-7b不是最先进的，事实上在某些评估基准中甚至不如dolly-v1-6b。我们认为这归因于基础微调数据集的组成和大小，但要更深入地研究这些变化的来源需要进一步的研究。

引用

@online{DatabricksBlog2023DollyV2,
    author    = {Mike Conover and Matt Hayes and Ankit Mathur and Jianwei Xie and Jun Wan and Sam Shah and Ali Ghodsi and Patrick Wendell and Matei Zaharia and Reynold Xin},
    title     = {Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM},
    year      = {2023},
    url       = {https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm},
    urldate   = {2023-06-30}
}

快乐编程！