bert2bert_L-24_wmt_de_en 编码器解码器模型

该模型于 this paper 由 Sascha Rothe, Shashi Narayan, Aliaksei Severyn 引入，并于 this repository 首次发布。

该模型是一个编码器解码器模型，使用 bert-large 的检查点初始化编码器和解码器，并在 WMT 数据集上进行德语到英语翻译的微调，详细信息见上方链接。

声明：该模型卡片由 Hugging Face 团队撰写。

如何使用

您可以使用该模型进行翻译，例如

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("google/bert2bert_L-24_wmt_de_en", pad_token="<pad>", eos_token="</s>", bos_token="<s>")
model = AutoModelForSeq2SeqLM.from_pretrained("google/bert2bert_L-24_wmt_de_en")

sentence = "Willst du einen Kaffee trinken gehen mit mir?"

input_ids = tokenizer(sentence, return_tensors="pt", add_special_tokens=False).input_ids
output_ids = model.generate(input_ids)[0]
print(tokenizer.decode(output_ids, skip_special_tokens=True))
# should output
# Want to drink a kaffee go with me? .