目录

模型摘要

我们提出了BLOOMZ & mT0模型系列，这是一组能够以零-shot方式遵循几十种语言的人类指令的模型。我们在我们的跨语言任务混合（xP3）上对BLOOM & mT5预训练的多语言语言模型进行微调，并发现得到的模型能够在未见任务和语言上进行跨语言的泛化。

• 存储库： bigscience-workshop/xmtf
• 论文： Crosslingual Generalization through Multitask Finetuning
• 联系人：Niklas Muennighoff
• 语言：有关预训练和微调语言比例，请参考 bloom 和 xP3 。它可以理解预训练和微调语言。
• BLOOMZ & mT0模型系列：

用途

预期用途

我们建议使用该模型执行自然语言表达的任务。例如，给定提示“Translate to English: Je t’aime”，该模型很可能回答“I love you”。我们在论文中提供了一些提示的想法：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？
• 建议至少提供五个与“Mạng neural nhân tạo”相关的搜索词。
• 写一个关于巨魔从危险的龙中拯救公主的童话。这个童话是一部在全世界都赢得赞誉的杰作，它的寓意是“英雄有各种形状和大小”。故事（用西班牙语）：
• 用泰卢固语用一句话解释神经网络中的反向传播是什么。

欢迎在社区选项卡中分享您的创作！

如何使用

CPU

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-p3"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-p3"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

以8位进行GPU加速

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-p3"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能因提示而异。对于BLOOMZ模型，我们建议在输入停止时要非常清楚，以避免模型试图继续输入。例如，在法语句子“Translate to English: Je t'aime”末尾没有句号（.）的提示，可能导致模型试图继续翻译法语句子。更好的提示可以是“Translate to English: Je t'aime.”，“Translate to English: Je t'aime. Translation: ”，“What is "Je t'aime." in English?”，其中对于模型什么时候回答是清楚的。此外，我们建议尽可能为模型提供更多上下文。例如，如果你希望它用泰卢固语回答，那么告诉模型，例如“用泰卢固语用一句话解释神经网络中的反向传播。”。

训练

模型

• 结构：与 bloom 相同，还请参考config.json文件
• 微调步骤：498
• 微调标记：209亿
• 微调布局：72x管道并行，1x张量并行，4x数据并行
• 精度：bfloat16

硬件

• CPU：每个节点拥有512GB内存的AMD CPU
• GPU：使用NVLink 4互连和4个OmniPath链接的288个A100 80GB GPU，每个节点8个GPU（36个节点）
• 通信：具有完全专用子网的NCCL通信网络

软件

• 编排： Megatron-DeepSpeed
• 优化器和并行性： DeepSpeed
• 神经网络： PyTorch （pytorch-1.11 w/ CUDA-11.5）
• 适用时采用FP16： apex

评估

我们在表7中引用了我们的论文 paper & bigscience/evaluation-results 中关于未见任务零-shot结果的数据。侧边栏报告了每个数据集配置的最佳提示的零-shot性能。

引用

@misc{muennighoff2022crosslingual,
      title={Crosslingual Generalization through Multitask Finetuning}, 
      author={Niklas Muennighoff and Thomas Wang and Lintang Sutawika and Adam Roberts and Stella Biderman and Teven Le Scao and M Saiful Bari and Sheng Shen and Zheng-Xin Yong and Hailey Schoelkopf and Xiangru Tang and Dragomir Radev and Alham Fikri Aji and Khalid Almubarak and Samuel Albanie and Zaid Alyafeai and Albert Webson and Edward Raff and Colin Raffel},
      year={2022},
      eprint={2211.01786},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}