目录

模型概述

我们介绍了BLOOMZ & mT0，这是一系列能够零-shot地遵循人类指令的多语言模型。我们在跨语言任务混合（xP3）上微调了BLOOM & mT5预训练的多语言模型，并发现我们的模型能够在未见过的任务和语言上进行跨语言泛化。

• 存储库: bigscience-workshop/xmtf
• 论文: Crosslingual Generalization through Multitask Finetuning
• 联系人: Niklas Muennighoff
• 语言: 参考 mc4 进行预训练和 xP3 进行微调的语言比例。它可以理解预训练和微调语言。
• BLOOMZ & mT0 模型系列:

使用

预期用途

我们建议使用该模型来执行用自然语言表达的任务。例如，给定提示“翻译成英语：Je t’aime。”，该模型很可能会回答“我爱你”。一些来自我们论文的提示思路：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？
• 提出至少五个与“Mạng neural nhân tạo”相关的搜索词。
• 编写一个关于一只巨魔从危险的龙那里拯救公主的童话故事。这个童话故事是一部在世界范围内受到赞誉的杰作，其寓意是“英雄形态各异”。故事（用西班牙语）：
• 用泰卢固语的一句话解释神经网络中的反向传播是什么。

欢迎在社区选项卡中分享您的生成结果！

如何使用

CPU

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-large"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-large"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

8位 GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "bigscience/mt0-large"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能因提示的不同而有所变化。对于BLOOMZ模型，我们建议明确表明输入何时结束，以避免模型尝试继续输入。例如，没有结尾的句子“翻译成英语：Je t'aime”，可能导致模型试图继续翻译成法语。更好的提示示例是：“翻译成英语：Je t'aime。”、“翻译成英语：Je t'aime。翻译：”、““Je t'aime.”在英语中是什么意思？”等，这样对于模型来说很清楚应该在何时回答。此外，我们建议尽可能向模型提供更多上下文。例如，如果希望它用泰卢固语回答，请明确告诉模型，例如“用泰卢固语的一句话解释神经网络中的反向传播是什么。”。

训练

模型

• 架构: 与 mt5-large 相同，还请参考 config.json 文件
• 微调步骤: 25000
• 微调标记: 46.2亿
• 精度: bfloat16

硬件

• TPUs: TPUv4-64

软件

• 编排： T5X
• 神经网络： Jax

评估

我们参考我们的论文中的表7，以及关于未见过任务的零-shot结果的 paper 和 bigscience/evaluation-results 。侧边栏报告了每个数据集配置的最佳提示的零-shot性能。

引用

@misc{muennighoff2022crosslingual,
      title={Crosslingual Generalization through Multitask Finetuning}, 
      author={Niklas Muennighoff and Thomas Wang and Lintang Sutawika and Adam Roberts and Stella Biderman and Teven Le Scao and M Saiful Bari and Sheng Shen and Zheng-Xin Yong and Hailey Schoelkopf and Xiangru Tang and Dragomir Radev and Alham Fikri Aji and Khalid Almubarak and Samuel Albanie and Zaid Alyafeai and Albert Webson and Edward Raff and Colin Raffel},
      year={2022},
      eprint={2211.01786},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}