选择电子邮件生成- 350M

如果您喜欢节省写电子邮件的时间，可以在此主题上进一步研究。

在可以生成电子邮件时，为什么还要写剩下的部分呢？

• 在Colab上使用 Link to notebook

对于此模型，格式很重要。在上述结构和提示=“嗨，只是想要…”等之间，结果可能会有（显着）不同。

模型描述

• 此模型是对 aeslc 数据集上经过六个时期进行微调的版本。
• 在准备数据集的步骤中，尝试排除电子邮件、电话号码等使用Python中的 clean-text
• 请注意，API仅限于生成64个标记-您可以通过在文本生成pipeline对象中使用此功能来生成更长的电子邮件。

预期用途和限制

• 在其无尽的智慧中，Facebook/Meta决定为此制定一个自定义许可证，并指定了几个事项。详见 facebook/opt-350m 以了解详情。

训练和评估数据

• 来自 aeslc 数据集的训练+验证集中的电子邮件正文字段。

训练过程

训练超参数

在训练过程中使用了以下超参数：

• 学习率：6e-05
• 训练批大小：8
• 评估批大小：8
• 种子：42
• 分布式类型：多GPU
• 梯度累积步骤：16
• 总训练批大小：128
• 优化器：Adam，beta=(0.9,0.999)，epsilon=1e-08
• lr_scheduler类型：cosine
• lr_scheduler_warmup_ratio：0.03
• 时期数：6

框架版本

• Transformers 4.19.2
• Pytorch 1.11.0+cu113
• Tokenizers 0.12.1