Dolly-v1-6b 模型卡片

Dolly v2 正式发布！

请尝试使用 Dolly v2 代替：

• https://huggingface.co/databricks/dolly-v2-12b
• https://huggingface.co/databricks/dolly-v2-7b
• https://huggingface.co/databricks/dolly-v2-3b

概述

Databricks 的 dolly-v1-6b 是一个由 Databricks 创建的 识别培训口令对，并以 EleutherAI’s GPT-J （于2021年6月发布）为基础进行微调的语言模型，该模型经过了仅仅30分钟的重点数据集（ Stanford Alpaca ）的微调，展示了高质量的指令跟踪行为，这在基于模型的基础模型中并不常见。我认为这一发现非常重要，因为它证明了创建强大的人工智能技术的能力比之前想象的要更容易获得。

Databricks 致力于确保每个组织和个人都能从人工智能的变革力量中受益。Dolly 模型系列代表了我们迈出的第一步，并且我们很高兴与世界分享这项技术。

所有权 : Databricks, Inc.

模型概述

dolly-v1-6b 是一个由 Databricks 创建的 60亿参数因果语言模型，它是基于 GPT-3 的基础模型进行微调得来的。该模型经过了大约52k条指令语料库（ Stanford Alpaca ）（CC-NC-BY-4.0）的微调。使用的微调技术是在 Self-Instruct 论文中介绍的。dolly 的最新训练使用的是单台 NDasrA100_v4 机器和 8x A100 40GB GPU，在仅30分钟（1个周期）内使用了 deepspeed ZeRO 3 的数据进行训练。最近的 dolly-v1-6b checkpoint 在相同硬件上进行了 10 个周期的训练。

与基础模型相同，dolly-v1-6b 也有60亿参数，由28个 Transformer 层组成，每个层有16个注意力头。它采用 Rotary Position Embedding （RoPE）技术，并与 GPT-3 使用相同的标记器。GPT-J 是使用 The Pile 的 400B 令牌数据集进行训练的，该数据集是主要用于文本生成任务的多样化文档。

已知限制

dolly-v1-6b 不是最先进的生成语言模型，并且尽管正在进行定量基准测试，但不被设计用于与更现代的模型架构或使用更大的预训练语料库的模型进行竞争。它适用于学术或研究目的，以及鼓励模型和工程实验。

Dolly 模型系列正在积极开发中，因此在此列出的不足之处不会是详尽无遗的，但我们在此提供已知的限制和错误作为一种记录和与社区共享初步发现的手段。特别地，dolly-v1-6b 在以下方面存在困难：句法复杂的提示、编程问题、数学运算、事实错误、日期和时间、开放式问题回答、幻想、列举具有特定长度的列表、模仿风格、幽默感等。

训练数据，偏见和不当内容

与所有语言模型一样，dolly-v1-6b 反映了其训练语料库的内容和局限性。

• Pile : GPT-J 的预训练语料库主要包含从公共互联网收集的内容，就像大多数 Web 规模的数据集一样，它包含许多用户可能会发现不合适的内容。因此，该模型可能在明确要求生成不合适内容的情况下明显反映出这些缺点，并且有时在存在偏见或有害的隐含联系的情况下会以微妙的方式反映出来。

• Stanford Alpaca : dolly-6b 的指令微调语料库可以假设具有许多相同的限制。此外，已知其包含事实不准确、语义和句法不规则、荒谬的回答和错误的数学计算等数据缺陷。模型输出将反映这些限制。

Databricks 致力于持续进行研究和开发工作，以开发有益、诚实和无害的人工智能技术，最大限度地发挥所有个体和组织的潜力。

预期用途

dolly-v1-6b 仅适用于研究目的。我们不建议在高风险应用（例如教育或职业培训、产品安全要素或可能影响个人福祉的其他用途）中使用 dolly-v1-6b。

与其前任 GPT-J 相比，dolly-v1-6b 在对自然语言问题和指令提示作出连贯回应的程度上有所区别。dolly-v1-6b 在多个领域展示出了合理的行为（但绝对不是最先进的），包括 InstructGPT 论文中概述的许多领域。

我们在下面提供了一些形象生动的例子，但请注意，它们包含了事实上的不准确或语义错误等展示模型缺点的示例。

Brainstorming

当计划一次后乡野徒步旅行时，我应该考虑哪些因素？

当计划一次后乡野徒步旅行时，有几个因素需要记住。首先，确保你为任何可能的天气条件做好准备，包括极端温度和雷暴。其次，考虑你将走的路线和你将穿越的地形。第三，确保你有足够的食物、水和装备，在后乡野旅程中保持安全和舒适。第四，计划应对潜在野外动物遭遇的安全措施。最后，在发生医疗紧急情况时制定应急计划。

分类

将以下每个内容标记为科学概念还是产品：Nikon D750、量子纠缠、CRISPR、和 MacBook Pro。

Nikon D750：产品

量子纠缠：科学概念

CRISPR：产品

MacBook Pro：产品

提取

从以下段落中提取所有人物和地点：巴斯奎特（Basquiat）出生于1960年12月22日，位于布鲁克林区的帕克斯洛普（Park Slope），纽约市。他是Matilde Basquiat（婚前姓安德拉德斯，1934–2008）和Gérard Basquiat（1930–2013）的四个孩子中的第二个。他有一个在他出生前不久去世的哥哥Max，还有两个妹妹Lisane（出生于1964年）和Jeanine（出生于1967年）。他的父亲出生于海地太子港，母亲出生在布鲁克林，父母是波多黎各人。他接受了天主教教育。

人物：巴斯奎特（Basquiat）、Matilde Basquiat、Gérard Basquiat、Max Basquiat、Lisane Basquiat、Jeanine Basquiat。

地点：帕克斯洛普（Park Slope）、布鲁克林区、纽约市。

生成

撰写一份新闻稿，宣布名为 Atlantis II 的设施已经完工，该设施旨在作为人类在海底的长期居住场所。一定要提到一些先进的技术特点。

名为 Atlantis II 的新设施，旨在作为人类在海底的长期居住场所，现已完工！它具有先进的技术特点，将成为未来几代人的安全舒适生活环境。从自给自足的生态系统到先进的机器人技术，该设施为探索、发现和探险提供了多种机会。

Atlantis II 将成为各种物种的家园，并作为海洋研究、探索和探险的中心，召集了一支由科学家、工程师、生物学家和潜水员组成的多样化团队，揭示深海的奥秘。

概述

请用一句话总结这段内容：咖啡是世界上最广泛消费的饮料之一。自古以来，它主要由于其兴奋剂作用和独特的口味而被消费。此后，它的消费与一些疾病（如2型糖尿病、肥胖症、心血管疾病和某些癌症）的风险降低有历史性联系，因此人们也因其健康益处而消费。它含有许多生物活性化合物，如咖啡因、绿原酸和二萜醇类醇类，迄今已与许多潜在的健康益处相关联。例如，咖啡因可减少神经退行性疾病的发生风险，绿原酸（CGA）和二萜醇类醇类具有许多健康益处，如抗氧化和化学预防。咖啡也具有有害作用。例如，二萜醇类醇类会增加血清同型半胱氨酸和胆固醇水平，因此对心血管系统有不良影响。总之，关于咖啡的健康益处的研究越来越多。但是，令人深思的是，每项研究中都与咖啡消费和不同水平的频率的健康益处有关。因此，我们的目标是研究咖啡的健康效应以及消费多少来调查其是否满足所声称的健康益处。

咖啡是世界上最广泛消费的饮料之一，因其与一些疾病（如2型糖尿病、肥胖症、心血管疾病和某些癌症）的风险降低历史联系密切而闻名。然而，文献中存在着不一致的结果，需要进一步的研究来确定咖啡消费的健康益处。

重述

用另一种方式对一个4岁孩子说以下话：“儿子，这是我最后一次告诉你。去睡觉！”

“晚安，儿子。睡个好觉，早上见！”

闭问答

我将给你一段来自《神经漫游者》一书的片段，并请你回答以下问题：Case 是通过什么工具访问矩阵的？Case 今年二十四岁。当他二十二岁时，他是赛卫星（Sprawl）中最好的牛仔之一。他受到了业界传奇人物麦考伊·波利（McCoy Pauley）和鲍比·奎因（Bobby Quine）的训练。他几乎一直处于肾上腺素飙升的状态，这是年轻和熟练的副产品，通过插入定制的网络空间平台，将他的虚无自我意识投射到被认同的幻觉矩阵中。

允许 Case 访问矩阵的工具是他的网络空间平台，它允许他操作和与他周围的虚拟世界进行交互。它使他能够从各种来源获取信息，并与矩阵中的人交流，是 Case 在网络世界中的主要武器之一。

开放式问答

豪尔赫·路易斯·博尔赫斯的文学风格是什么？

豪尔赫·路易斯·博尔赫斯的文学风格通常被描述为魔幻现实主义。他经常创作将虚构人物与现实生活元素结合起来的故事，并利用这些元素的并列来营造一种超现实的感觉。他经常使用寓言和象征手法来探索复杂的哲学思想，并探讨人类知觉和理解的问题。他的写作以玩味和创新的语言使用为特点，角色通常是更大、更抽象概念的隐喻或象征。

用法

加载模型和分词器

import numpy as np
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    PreTrainedModel,
    PreTrainedTokenizer
)

tokenizer = AutoTokenizer.from_pretrained("databricks/dolly-v1-6b", padding_side="left")
model = AutoModelForCausalLM.from_pretrained("databricks/dolly-v1-6b", device_map="auto", trust_remote_code=True)

生成文字

PROMPT_FORMAT = """Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{instruction}

### Response:
"""

def generate_response(instruction: str, *, model: PreTrainedModel, tokenizer: PreTrainedTokenizer, 
                      do_sample: bool = True, max_new_tokens: int = 256, top_p: float = 0.92, top_k: int = 0, **kwargs) -> str:
    input_ids = tokenizer(PROMPT_FORMAT.format(instruction=instruction), return_tensors="pt").input_ids.to("cuda")

    # each of these is encoded to a single token
    response_key_token_id = tokenizer.encode("### Response:")[0]
    end_key_token_id = tokenizer.encode("### End")[0]

    gen_tokens = model.generate(input_ids, pad_token_id=tokenizer.pad_token_id, eos_token_id=end_key_token_id,
                                do_sample=do_sample, max_new_tokens=max_new_tokens, top_p=top_p, top_k=top_k, **kwargs)[0].cpu()

    # find where the response begins
    response_positions = np.where(gen_tokens == response_key_token_id)[0]

    if len(response_positions) >= 0:
        response_pos = response_positions[0]
        
        # find where the response ends
        end_pos = None
        end_positions = np.where(gen_tokens == end_key_token_id)[0]
        if len(end_positions) > 0:
            end_pos = end_positions[0]

        return tokenizer.decode(gen_tokens[response_pos + 1 : end_pos]).strip()

    return None

# Sample similar to: "Excited to announce the release of Dolly, a powerful new language model from Databricks! #AI #Databricks"
generate_response("Write a tweet announcing Dolly, a large language model from Databricks.", model=model, tokenizer=tokenizer)

基准指标

以下是不同模型在 EleutherAI LLM Evaluation Harness 上的基准性能，模型结果按几何平均值排序以产生可理解的顺序。这些结果表明 Dolly 不是最先进的，正如我们上面所描述的，但也指出了一种有趣的观察。也就是说，Dolly 只比其基础模型 GPT-J-6B 稍微好一点（在 Winogrande 的情况下更差），而且 Dolly 的定性行为与基础模型（Hugging Face 上的 try it yourself ！）明显不同，这指出了现有评估生成模型质量的基准的一些有意义的局限性。

引用

@online{DatabricksBlog2023DollyV1,
    author    = {Mike Conover and Matt Hayes and Ankit Mathur and Xiangrui Meng and Jianwei Xie and Jun Wan and Ali Ghodsi and Patrick Wendell and Matei Zaharia},
    title     = {Hello Dolly: Democratizing the magic of ChatGPT with open models},
    year      = {2023},
    url       = {https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html},
    urldate   = {2023-06-30}
}

快乐实践！