内容目录

模型概述

我们提出了BLOOMZ& mT0模型系列，能够零-shot地遵循多种语言的人类指令。我们在跨语言任务混合（xP3）上微调BLOOM& mT5预训练的多语言模型，发现我们得到的模型能够在未见的任务和语言上实现跨语言泛化。

• 仓库： bigscience-workshop/xmtf
• 论文： Crosslingual Generalization through Multitask Finetuning
• 联系人：Niklas Muennighoff
• 语言：有关预训练和微调语言比例，请参阅 mc4 和 xP3 。它可以理解预训练和微调语言。
• BLOOMZ& mT0模型系列：

使用

期望使用

我们建议使用该模型执行用自然语言表达的任务。例如，给定提示“翻译成英语：Je t’aime”，模型最可能的答案是“我爱你”。我们论文中的一些提示点子：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？
• 建议至少提供五个与“Mạng neural nhân tạo”相关的搜索词。
• 写一个关于巨魔从危险的龙那里拯救公主的童话故事。这个童话故事是一部在世界范围内受到赞誉的杰作，其寓意是“英雄有各种各样的形状和尺寸”。故事（用西班牙语）：
• 用泰卢固语的一句话解释神经网络中的反向传播是什么。

欢迎在社区选项卡中分享您的生成内容！

如何使用

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

8位GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xxl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能会根据提示的不同而有所变化。对于BLOOMZ模型，我们建议清楚地指示输入何时结束，以避免模型尝试继续输入。例如，提示“翻译成英语：Je t'aime”如果末尾没有句号（.），可能导致模型试图继续法语句子。更好的提示示例是“翻译成英语：Je t'aime。”、“翻译成英语：Je t'aime。翻译：”、““Je t'aime.” 在英语中是什么？”等，这样模型就清楚应该在何时回答了。此外，我们建议尽可能为模型提供更多上下文。例如，如果您想让它用泰卢固语回答，请告诉模型，例如“用泰卢固语的一句话解释神经网络中的反向传播是什么。”。

训练

模型

• 架构：与 mt5-xxl 相同，还请参阅config.json文件
• 微调步骤：7000
• 微调标记：12.9亿
• 精度：bfloat16

硬件

• TPUs：TPUv4-256

软件

• 编配： T5X
• 神经网络： Jax

评估

我们参考了我们论文的第7表，以及对于未见任务的零-shot结果的 paper 和 bigscience/evaluation-results 。侧边栏报告了每个数据集配置的最佳提示的零-shot性能。

引用

@article{muennighoff2022crosslingual,
  title={Crosslingual generalization through multitask finetuning},
  author={Muennighoff, Niklas and Wang, Thomas and Sutawika, Lintang and Roberts, Adam and Biderman, Stella and Scao, Teven Le and Bari, M Saiful and Shen, Sheng and Yong, Zheng-Xin and Schoelkopf, Hailey and others},
  journal={arXiv preprint arXiv:2211.01786},
  year={2022}
}