目录

模型概述

我们展示了BLOOMZ & mT0，一组能够零翻译跟随人类指令的模型，支持数十种语言。我们在我们的跨语言任务混合（xP3）上微调了BLOOM & mT5预训练的多语言模型，并发现我们得到的模型能够对未见过的任务和语言进行跨语言的泛化。

• 仓库: bigscience-workshop/xmtf
• 论文: Crosslingual Generalization through Multitask Finetuning
• 联系人: Niklas Muennighoff
• 语言: 请参考 mc4 进行预训练以及 xP3 进行微调的语言比例。它可以理解预训练和微调语言。
• BLOOMZ & mT0模型系列:

使用

预期使用

我们建议使用该模型执行用自然语言表达的任务。例如，给定提示“将其翻译成英语：Je t’aime.”，该模型很可能会回答“我爱你”。我们论文中的一些提示想法:

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
• 给"Mạng neural nhân tạo"提供至少五个相关的搜索词。
• 创作一个关于巨魔从危险的龙手中拯救公主的童话故事。这个童话故事是一部在全世界赢得赞誉的杰作，其寓意是“英雄不分大小”。故事（用西班牙语）：
• 用泰卢固语的一句话解释神经网络中的反向传播是什么。

欢迎在社区选项卡中分享您的生成结果！

如何使用

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

8位GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-xl"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能会因提示的不同而有所变化。对于BLOOMZ模型，我们建议在输入结束时明确指出，避免模型试图继续。例如，未带有末尾的句点（.）的提示“将其翻译成英语：Je t'aime”可能导致模型试图继续法语句子。更好的提示方式包括“将其翻译成英语：Je t'aime。”、“将其翻译成英语：Je t'aime。翻译：”、““Je t'aime.”用英语怎么说？”等，这样对于模型何时回答是明确的。此外，我们建议尽可能为模型提供更多的上下文。例如，如果您希望它用泰卢固语回答，则告诉模型，“用泰卢固语的一句话解释神经网络中的反向传播是什么。”

训练

模型

• 架构: 与 mt5-xl 相同，还请参考config.json文件。
• 微调步骤: 10000
• 微调的标记数: 185亿
• 精度: bfloat16

硬件

• TPUs: TPUv4-128

软件

• 调度: T5X
• 神经网络: Jax

评估

我们参考了我们的论文 paper 和 bigscience/evaluation-results 中的第7表，以获取对未见过任务的零翻译结果。侧边栏报告了每个数据集配置的最佳提示的零翻译性能。

引用

@misc{muennighoff2022crosslingual,
      title={Crosslingual Generalization through Multitask Finetuning}, 
      author={Niklas Muennighoff and Thomas Wang and Lintang Sutawika and Adam Roberts and Stella Biderman and Teven Le Scao and M Saiful Bari and Sheng Shen and Zheng-Xin Yong and Hailey Schoelkopf and Xiangru Tang and Dragomir Radev and Alham Fikri Aji and Khalid Almubarak and Samuel Albanie and Zaid Alyafeai and Albert Webson and Edward Raff and Colin Raffel},
      year={2022},
      eprint={2211.01786},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}