T5-base在WikiSQL上进行了对SQL到英语的翻译的微调

Google's T5 在 WikiSQL 上进行了微调，用于SQL到英语的翻译任务。

T5的详细信息

T5模型由Colin Raffel，Noam Shazeer，Adam Roberts，Katherine Lee，Sharan Narang，Michael Matena，Yanqi Zhou，Wei Li，Peter J. Liu在 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 年提出。摘要如下：

在自然语言处理（NLP）中，迁移学习是一种强大的技术，其过程是首先在数据丰富的任务上进行预训练，然后在下游任务上进行微调。迁移学习的有效性使得出现了各种方法、方法论和实践。本文通过引入一种将每个语言问题转换为文本到文本格式的统一框架，探索了NLP中的迁移学习技术。我们的系统研究比较了预训练目标、架构、无标签数据集、迁移方法和其他因素在数十个语言理解任务上的表现。通过将我们的探索成果与规模以及我们新的“巨大的干净爬取的语料库”相结合，我们在包括摘要、问答、文本分类等许多基准测试中取得了最先进的结果。为了促进NLP的迁移学习的未来研究，我们发布了我们的数据集、预训练模型和代码。

数据集的详细信息 ?

数据集ID：wikisql，来源于 Huggingface/NLP

如何从 nlp 中加载它

train_dataset  = nlp.load_dataset('wikisql', split=nlp.Split.TRAIN)
valid_dataset = nlp.load_dataset('wikisql', split=nlp.Split.VALIDATION)

在 NLP Viewer 中了解更多关于此数据集和其他数据集的信息

模型微调 ?️‍

训练脚本是 this Colab Notebook 的稍加修改版本，由 Suraj Patil 创建，所以所有信用归于他！

模型运行中 ?

from transformers import AutoModelWithLMHead, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-base-finetuned-wikiSQL-sql-to-en")
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-base-finetuned-wikiSQL-sql-to-en")

def get_explanation(query):
  input_text = "translate Sql to English: %s </s>" % query
  features = tokenizer([input_text], return_tensors='pt')

  output = model.generate(input_ids=features['input_ids'], 
               attention_mask=features['attention_mask'])
  
  return tokenizer.decode(output[0])

query = "SELECT COUNT Params form model where location=HF-Hub"

get_explanation(query)

# output: 'How many parameters form model for HF-hub?'

在Colab中使用它：

创建者： Manuel Romero/@mrm8488 | LinkedIn

用 ♥ 制作于西班牙