选择电子邮件生成- 350M
如果您喜欢节省写电子邮件的时间,可以在此主题上进一步研究。
在可以生成电子邮件时,为什么还要写剩下的部分呢?
模型描述
- 此模型是对
aeslc
数据集上经过六个时期进行微调的版本。
- 在准备数据集的步骤中,尝试排除电子邮件、电话号码等使用Python中的
clean-text
- 请注意,API仅限于生成64个标记-您可以通过在文本生成pipeline对象中使用此功能来生成更长的电子邮件。
预期用途和限制
训练和评估数据
- 来自
aeslc
数据集的训练+验证集中的电子邮件正文字段。
训练过程
训练超参数
在训练过程中使用了以下超参数:
- 学习率:6e-05
- 训练批大小:8
- 评估批大小:8
- 种子:42
- 分布式类型:多GPU
- 梯度累积步骤:16
- 总训练批大小:128
- 优化器:Adam,beta=(0.9,0.999),epsilon=1e-08
- lr_scheduler类型:cosine
- lr_scheduler_warmup_ratio:0.03
- 时期数:6
框架版本
- Transformers 4.19.2
- Pytorch 1.11.0+cu113
- Tokenizers 0.12.1