目录

模型摘要

我们提出了BLOOMZ & mT0模型系列，这是一组能够零-shot跟随人类指令的模型，可处理几十种语言。我们使用BLOOM和mT5预训练的多语言语言模型，在我们的跨语言任务混合（xP3）上进行微调，发现所得到的模型能够在未见过的任务和语言上实现跨语言泛化。

• 代码库： bigscience-workshop/xmtf
• 论文： Crosslingual Generalization through Multitask Finetuning
• 联系人： Niklas Muennighoff
• 语言： 关于预训练请参考 bloom ，关于微调语言比例请参考 xP3 。模型理解预训练和微调语言。
• BLOOMZ & mT0模型系列：

用途

预期用途

我们建议使用该模型执行用自然语言表达的任务。例如，给定提示语“翻译成英语：Je t’aime”，模型很可能会回答“我爱你”。以下是一些来自我们论文的提示的例子：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？
• 提供至少五个与“Mạng neural nhân tạo”相关的搜索词。
• 写一个关于一个巨魔从危险的龙那里拯救公主的童话故事。这个童话故事是一部在全世界受到赞誉的杰作，它的寓意是“英雄才有各种形状和大小”。故事（用西班牙语）：
• 用泰卢固语的一句话解释神经网络中的反向传播是什么。

欢迎在社区页面分享生成的结果！

使用方法

CPU

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-7b1-p3"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-7b1-p3"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

使用8位GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-7b1-p3"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能因提示而异。对于BLOOMZ模型，我们建议在输入终止时清楚地表明，以避免模型试图继续处理。例如，提示“翻译成英语：Je t'aime”如果没有句号（.）结尾，可能导致模型试图继续翻译法语句子。更好的提示可以是“翻译成英语：Je t'aime.”，“翻译成英语：Je t'aime.翻译：”或者“Je t'aime.翻译成英语是什么？”，这样对于模型来说很清楚何时回答。此外，我们建议尽可能提供给模型更多的上下文。例如，如果您希望它用泰卢固语回答，请告诉模型“用泰卢固语的一句话解释神经网络中的反向传播是什么。”。

训练

模型

• 结构： 与 bloom-7b1 相同，也请参考 config.json 文件
• 微调步骤： 1000
• 微调标记数： 41.9亿
• 微调布局： 1x管道并行，1x张量并行，64x数据并行
• 精度： 浮点16位

硬件

• CPU： 每个节点具有512GB内存的AMD CPU
• GPU： 使用64个A100 80GB GPU，每个节点有8个GPU（8个节点），使用4个NVLink 4互联GPU和4个OmniPath连接
• 通信： 具有完全专用子网的NCCL通信网络

软件

• 管理： Megatron-DeepSpeed
• 优化器和并行性： DeepSpeed
• 神经网络： PyTorch （pytorch-1.11，带CUDA-11.5）
• 浮点16位（适用时）： apex

评估

我们参考了我们的论文 paper 和 bigscience/evaluation-results 中的表7，其中显示了对未见任务的zero-shot结果。侧边栏报告了每个数据集配置的最佳提示的zero-shot性能。

引用

@misc{muennighoff2022crosslingual,
      title={Crosslingual Generalization through Multitask Finetuning}, 
      author={Niklas Muennighoff and Thomas Wang and Lintang Sutawika and Adam Roberts and Stella Biderman and Teven Le Scao and M Saiful Bari and Sheng Shen and Zheng-Xin Yong and Hailey Schoelkopf and Xiangru Tang and Dragomir Radev and Alham Fikri Aji and Khalid Almubarak and Samuel Albanie and Zaid Alyafeai and Albert Webson and Edward Raff and Colin Raffel},
      year={2022},
      eprint={2211.01786},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}