distilgpt2-tiny-conversational

该模型是基于对《维基百科导向对话》进行解析的版本对 distilgpt2 进行微调的结果。它是为配合 ai-msgbot 的人物设定alpha/beta框架而设计的。在评估集上取得以下结果：

• 损失：2.2461

模型描述

• 是用于对话的基本对话模型。可以用作聊天机器人。
• 查看 simple demo here 以获取更多信息。

预期用途和限制

• 使用目的是为了与 ai-msgbot 集成
• 主要的具体信息是，该模型生成两个实体之间的完整对话，即person alpha和person beta。这些实体名称在功能上用作自定义标记，用于提取一条回复结束和另一条回复开始的位置。

训练和评估数据

• 经过解析的 wizard of Wikipedia ，来自parlAI

训练程序

• deepspeed + huggingface trainer，示例笔记本在 ai-msgbot 内。

训练超参数

使用了以下超参数进行训练：

• 学习率: 2e-05
• 训练批大小: 32
• 评估批大小: 32
• 种子: 42
• 分布式类型: 多GPU
• 梯度累积步数: 4
• 总训练批大小: 128
• 优化器: Adam，beta=(0.9, 0.999)，epsilon=1e-08
• 学习率调度程序类型: 余弦
• 学习率调度程序预热比例: 0.05
• 训练轮数: 30

训练结果

框架版本

• Transformers 4.16.1
• Pytorch 1.10.0+cu111
• Tokenizers 0.11.0