目录

模型摘要

我们提供了BLOOMZ & mT0模型系列，能够在许多语言中进行零-shot遵循人类指令。我们对BLOOM & mT5预训练的多语言模型在我们的跨语言任务混合（xP3）上进行微调，并发现我们得到的模型能够在看不见的任务和语言上进行跨语言的泛化。

• 存储库： bigscience-workshop/xmtf
• 论文： Crosslingual Generalization through Multitask Finetuning
• 联系人： Niklas Muennighoff
• 语言： 关于预训练和微调语言比例，请参考 mc4 ，它理解预训练和微调的语言。
• BLOOMZ & mT0模型系列：

使用方法

预期使用

我们建议使用该模型来执行通过自然语言表达的任务。例如，给定提示“ 翻译成英文：Je t’aime. ”，该模型很可能会回答“ I love you. ”。下面是一些来自我们论文的提示创意：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
• 提供至少五个与"Mạng neural nhân tạo"相关的搜索词。
• 写一个关于巨魔从危险的龙手中拯救公主的童话故事。这个童话故事是一部在全世界赢得赞誉的杰作，其寓意是“英雄有各种各样的形状和大小”。故事（用西班牙语）：
• 用泰卢固语用一句话解释神经网络中的反向传播是什么。

欢迎在社区标签中分享你的生成结果！

如何使用

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-small"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-small"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

以8位进行GPU运算

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-small"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能因提示而异。对于BLOOMZ模型，我们建议清楚地表明输入何时结束，以避免模型尝试继续输入。例如，提示“ 翻译成英文：Je t'aime ”如果没有句号（.）在末尾，可能导致模型尝试继续翻译法语句子。更好的提示可以是“ 翻译成英文：Je t'aime. ”，“ 翻译成英文：Je t'aime. 翻译： ”或“ "Je t'aime." 用英文怎么说? ”，这样对于模型来说很明确何时应该回答。此外，我们建议尽可能为模型提供更多上下文。例如，如果您希望它用泰卢固语回答，那么告诉模型，例如“ 用一句话用泰卢固语解释神经网络中的反向传播是什么。 ”。

训练

模型

• 架构： 与 mt5-small 相同，还可以参考 config.json 文件
• 微调步骤： 25000
• 微调令牌： 46.2亿
• 精度： bfloat16

硬件

• TPUs： TPUv4-64

软件

• 编排： T5X
• 神经网络： Jax

评估

我们参考我们的 paper & bigscience/evaluation-results 中的表7，以获得在看不见的任务上的零-shot结果。侧边栏报告了每个数据集配置下的最佳提示的零-shot性能。

引用

@misc{muennighoff2022crosslingual,
      title={Crosslingual Generalization through Multitask Finetuning}, 
      author={Niklas Muennighoff and Thomas Wang and Lintang Sutawika and Adam Roberts and Stella Biderman and Teven Le Scao and M Saiful Bari and Sheng Shen and Zheng-Xin Yong and Hailey Schoelkopf and Xiangru Tang and Dragomir Radev and Alham Fikri Aji and Khalid Almubarak and Samuel Albanie and Zaid Alyafeai and Albert Webson and Edward Raff and Colin Raffel},
      year={2022},
      eprint={2211.01786},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}