bart-base-instructiongen-w-inputs

使用这个文本到文本模型来查找LLM指令（和相关的输入），可能生成了<任意输入文本>！

• 检查一个 basic demo on Spaces
• 在CLI脚本中如何使用instructiongen模型的示例可以在 here 中找到
• 您可以找到其他针对指令生成进行微调的模型 searching for the instructiongen tag

关于

这个模型是在pszemraj/fleece2instructions-inputs-alpaca-cleaned数据集上进行微调的版本 facebook/bart-base 。

它在评估集上取得了以下结果：

• 损失：0.9579
• Rouge1：62.3604
• Rouge2：39.5109
• Rougel：58.8843
• Rougelsum：60.4494
• 生成长度：24.9917

示例

使用限制

该模型旨在用于从任意文本生成指令。然后，您可以使用这些指令+您的数据来微调关于特定领域的LLM。该模型主要用于实现低资源领域自适应，而不是“我想为FLAN-V2数据集生成更好的提示！”。

获取自ODC-BY许可的 alpaca-lora repo 中的fleece2instructions-inputs-alpaca-cleaned数据集已转换为文本到文本格式，以供语言模型使用。在该数据集中，原始的“inputs”和“instructions”列被合并成一个名为“instructions_inputs”的列。为了清楚地分开这两种类型的内容，每个文本片段都以<instruction>或<inputs>令牌为前缀。这些令牌不仅有助于模型理解，还允许在推理过程中轻松实现模型输出的正则分离。

因此，用户可以期望该模型的输出与<instruction>和<inputs>令牌类似地结构化。

这只是基础模型，为了更好的性能（但速度较慢/计算密集型），请参考 bart-large 版本。进一步的探索/数据可能会带来更好的模型！

培训和评估数据

参考 fleece2instructions-inputs-alpaca-cleaned 数据集

培训过程

培训超参数

培训过程中使用了以下超参数：

• 学习率：8e-05
• 训练批次大小：4
• 评估批次大小：4
• 种子：42
• 分布式类型：多GPU
• 梯度累积步数：16
• 总训练批量大小：64
• 优化器：Adam，beta=(0.9,0.999)，epsilon=1e-08
• lr_scheduler类型：余弦
• lr_scheduler_warmup_ratio：0.02
• num_epochs：2.0

培训结果