IT5 Cased Small Efficient EL32 for News Summarization ✂️?️ ??

向 Stefan Schweter 表示感谢，为贡献预训练的高效模型！

该存储库包含在 Fanpage 和 Il Post 语料库上进行新闻摘要实验时，基于 IT5 Cased Small Efficient EL32 模型进行微调的检查点，这是由 Gabriele Sarti 和 Malvina Nissim 撰写的 IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation 论文的一部分。

高效的 IT5 模型通过采用不同的词汇表来进行大小写文本生成，并使用 optimized model architecture 来提高性能，同时减少参数数量。Small-EL32 将 T5 Small 架构的原始编码器替换为一个32层的深度编码器，显示了比基本模型更好的性能。

关于其他发布材料的全面概述可在 gsarti/it5 存储库中找到。有关所报分数和评估方法的详细信息，请参阅论文。

使用模型

模型检查点可在Tensorflow、Pytorch和JAX中使用。它们可以直接用于管道，例如：

from transformers import pipelines

newsum = pipeline("summarization", model='it5/it5-efficient-small-el32-news-summarization')
newsum("Dal 31 maggio è infine partita la piattaforma ITsART, a più di un anno da quando – durante il primo lockdown – il ministro della Cultura Dario Franceschini ne aveva parlato come di «una sorta di Netflix della cultura», pensata per «offrire a tutto il mondo la cultura italiana a pagamento». È presto per dare giudizi definitivi sulla piattaforma, e di certo sarà difficile farlo anche più avanti senza numeri precisi. Al momento, l’unica cosa che si può fare è guardare com’è fatto il sito, contare quanti contenuti ci sono (circa 700 “titoli”, tra film, documentari, spettacoli teatrali e musicali e altri eventi) e provare a dare un giudizio sul loro valore e sulla loro varietà. Intanto, una cosa notata da più parti è che diversi contenuti di ITsART sono a pagamento sulla piattaforma sebbene altrove, per esempio su RaiPlay, siano invece disponibili gratuitamente.")
>>> [{"generated_text": "ITsART, la Netflix della cultura italiana, parte da maggio. Film, documentari, spettacoli teatrali e musicali disponibili sul nuovo sito a pagamento."}]

或者使用自动类加载：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("it5/it5-efficient-small-el32-news-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("it5/it5-efficient-small-el32-news-summarization")

如果您在研究中使用了该模型，请引用我们的工作：

@article{sarti-nissim-2022-it5,
    title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
    author={Sarti, Gabriele and Nissim, Malvina},
    journal={ArXiv preprint 2203.03759},
    url={https://arxiv.org/abs/2203.03759},
    year={2022},
    month={mar}
}