英文

选择电子邮件生成- 350M

如果您喜欢节省写电子邮件的时间,可以在此主题上进一步研究。

在可以生成电子邮件时,为什么还要写剩下的部分呢?

  • 在Colab上使用 Link to notebook
  • 对于此模型,格式很重要。在上述结构和提示=“嗨,只是想要…”等之间,结果可能会有(显着)不同。

模型描述

  • 此模型是对 aeslc 数据集上经过六个时期进行微调的版本。
  • 在准备数据集的步骤中,尝试排除电子邮件、电话号码等使用Python中的 clean-text
  • 请注意,API仅限于生成64个标记-您可以通过在文本生成pipeline对象中使用此功能来生成更长的电子邮件。

预期用途和限制

  • 在其无尽的智慧中,Facebook/Meta决定为此制定一个自定义许可证,并指定了几个事项。详见 facebook/opt-350m 以了解详情。

训练和评估数据

  • 来自 aeslc 数据集的训练+验证集中的电子邮件正文字段。

训练过程

训练超参数

在训练过程中使用了以下超参数:

  • 学习率:6e-05
  • 训练批大小:8
  • 评估批大小:8
  • 种子:42
  • 分布式类型:多GPU
  • 梯度累积步骤:16
  • 总训练批大小:128
  • 优化器:Adam,beta=(0.9,0.999),epsilon=1e-08
  • lr_scheduler类型:cosine
  • lr_scheduler_warmup_ratio:0.03
  • 时期数:6

框架版本

  • Transformers 4.19.2
  • Pytorch 1.11.0+cu113
  • Tokenizers 0.12.1