T5-base 在 event2Mind 上进行意图预测的微调 ?

在 event2Mind 数据集上进行意图预测的 Google's T5 微调。

T5 的详细信息 ? ➡️ ?

T5 模型是由 Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu 在 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 中提出的。以下是摘要:

迁移学习已成为自然语言处理（NLP）中一种强大的技术。在迁移学习中，模型首先在数据丰富的任务上进行预训练，然后在下游任务中进行微调。迁移学习的有效性催生了不同的方法、方法论和实践。在本文中，我们通过引入一个将每个语言问题转换为文本到文本格式的统一框架，探索了NLP中迁移学习技术的全貌。我们的系统性研究比较了预训练目标、架构、无标签数据集、迁移方法和其他因素在几十个语言理解任务上的表现。通过将我们开发的探索见解与规模和我们的新的“巨大干净爬行语料库”相结合，我们在包括摘要、问答、文本分类等许多基准测试中取得了最先进的结果。为了促进关于NLP迁移学习的未来研究，我们发布了我们的数据集、预训练模型和代码。

下游任务（意图预测） - 数据集详情 ?

数据集 ID：来自 Huggingface/NLP 的 event2Mind 数据集

不包含意图的事件未被使用！

在 NLP Viewer 中了解更多关于该数据集和其他数据集的信息

模型微调过程 ?️‍

训练脚本是根据 this awesome one 稍作修改的版本，由 Suraj Patil 提供。

模型运行情况 ?

# Tip: By now, install transformers from source

from transformers import AutoModelWithLMHead, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-base-finetuned-e2m-intent")
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-base-finetuned-e2m-intent")

def get_intent(event, max_length=16):
  input_text = "%s </s>" % event
  features = tokenizer([input_text], return_tensors='pt')

  output = model.generate(input_ids=features['input_ids'], 
               attention_mask=features['attention_mask'],
               max_length=max_length)

  return tokenizer.decode(output[0])

event = "PersonX takes PersonY home"
get_intent(event)

# output: 'to be helpful'

由 Manuel Romero/@mrm8488 创建 | LinkedIn 在西班牙制作 ❤