T5-base用于情感分析的微调模型 ?️??

在12410321数据集上对T5-base进行微调以进行情感分析下游任务。

T5的详细信息

T5模型是由Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu于12420321提出的。下面是摘要:

转移学习是一种先在数据丰富的任务上进行预训练，然后在下游任务上进行微调的强大技术，在自然语言处理（NLP）中得到了广泛应用。转移学习的有效性引发了各种方法、方法论和实践。在本文中，我们通过引入一个将每个语言问题转化为文本到文本格式的统一框架，探索了NLP转移学习技术的领域。我们的系统研究比较了预训练目标、体系结构、无标签数据集、转移方法和其他因素在几十个语言理解任务上的表现。通过将我们的探索洞察与规模和我们的新的“巨型清洁爬取语料库”相结合，我们在涵盖摘要、问答、文本分类等许多基准测试上取得了最先进的结果。为了促进未来的NLP转移学习工作，我们发布了我们的数据集、预训练模型和代码。

下游任务（情感分析）- 数据集 ?

IMDB

这是一个用于二元情感分类的数据集，包含比以前的基准数据集更多的数据。我们提供了一组25000条高度极性的电影评论用于训练，另外25000条用于测试。

模型微调 ?️‍

训练脚本是 Suraj Patil 创建的稍加修改的版本，所有功劳归给他！

测试集指标 ?

           |precision | recall  | f1-score |support|
|----------|----------|---------|----------|-------|
|negative  |     0.95 |     0.95|      0.95|  12500|
|positive  |     0.95 |     0.95|      0.95|  12500|
|----------|----------|---------|----------|-------|
|accuracy|            |         |      0.95|  25000|
|macro avg|       0.95|     0.95|      0.95|  25000|
|weighted avg|    0.95|     0.95|     0.95 |  25000|

模型展示 ?

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-base-finetuned-imdb-sentiment")

model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-base-finetuned-imdb-sentiment")

def get_sentiment(text):
  input_ids = tokenizer.encode(text + '</s>', return_tensors='pt')

  output = model.generate(input_ids=input_ids,
               max_length=2)
  
  dec = [tokenizer.decode(ids) for ids in output]
  label = dec[0]
  return label
  
get_sentiment("I dislike a lot that film")

# Output: 'negative'

由 Manuel Romero/@mrm8488 创建 | LinkedIn

用 ♥ 在西班牙制作