LongT5（本地注意力，大规模模型）

LongT5模型是在英语语言上进行预训练的。该模型由Guo等人在论文 LongT5: Efficient Text-To-Text Transformer for Long Sequences 中引入，并于 the LongT5 repository 首次发布。所有模型的结构和配置都可以在 Flaxformer repository 中找到，该论文使用了Google研究项目仓库 T5x 。

声明：发布LongT5模型的团队未为该模型编写模型卡片，因此这个模型卡片是由Hugging Face团队编写的。

模型描述

LongT5模型是在文本到文本去噪生成的设定下进行预训练的编码器-解码器Transformer模型（ Pegasus-like generation pre-training ）。LongT5模型是 T5 model 的扩展，它可以使用两种不同的高效注意力机制之一 - （1）本地注意力，或者（2）瞬时全局注意力。注意力稀疏模式的使用使得模型能够高效处理输入序列。

LongT5在针对文本生成（摘要、问答）进行微调时特别有效，这要求处理长的输入序列（最多16,384个标记）。

预期用途和限制

该模型主要用于在监督数据集上进行微调。请查看 model hub 以寻找您感兴趣的任务的微调版本。

如何使用

from transformers import AutoTokenizer, LongT5Model

tokenizer = AutoTokenizer.from_pretrained("google/long-t5-local-large")
model = LongT5Model.from_pretrained("google/long-t5-local-large")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

BibTeX引用和引文信息

@article{guo2021longt5,
  title={LongT5: Efficient Text-To-Text Transformer for Long Sequences},
  author={Guo, Mandy and Ainslie, Joshua and Uthus, David and Ontanon, Santiago and Ni, Jianmo and Sung, Yun-Hsuan and Yang, Yinfei},
  journal={arXiv preprint arXiv:2112.07916},
  year={2021}
}