您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
Google AI 开源 Flan-T5：一种用于优化NLP任务处理的语言模型
2023年07月05日 由 daydream 发表
782198
0
PaLM、Chinchilla和ChatGPT等大型语言模型为通过阅读指示性线索执行自然语言处理（NLP）任务开辟了新的可能性。先前的研究表明，指示微调（Instruction Tuning）可以进一步提高语言模型在各种按指示组织的NLP任务上的能力，使其能够根据指示执行未知任务。通过比较微调过程和策略，他们在本文中评估了开源指示泛化项目的方法和结果。
本研究关注指示微调方法的详细细节，通过消除个别因素并直接进行比较，确定和评估了"Flan 2022合辑"中的关键方法改进。该术语用于数据收集和应用于数据和指示微调过程的方法，侧重于将Flan 2022与PaLM 540B相结合的新兴和最先进的结果。Flan 2022合辑包含目前公开可用的最全面的作业和指示微调技术集合。它已经通过增加数千个优质模板和改进的格式化模式进行了增强。
他们证明，在所有评估的基准测试中，使用这个合辑训练的模型优于其他公开合辑，包括原始的Flan 2021、T0++、Super-Natural Instructions和OPT-IML等。其中，在相同规模的模型上，MMLU和BIG-Bench Hard评估基准测试中的改进分别达到了4.2%+和8.5%。根据对Flan 2022方法的分析，这些稳健的结果归因于更大更多样化的任务集合以及一些简单直接的微调和数据增强策略。特别是，在使用零样本、少样本和思维链提示的各种实例上进行训练可以提高所有这些情境下的性能。
例如，少样本提示的10%增加可以使零样本提示的结果提高2%或更多。此外，已经证明通过倒转输入-输出对建模的方式来平衡任务来源并增强任务多样性，以及在单任务微调中使用Flan-T5模型比T5模型更快收敛且性能更好，表明经过指示微调的模型为后续应用提供了更具计算效率的起点。他们预计，公开这些结果和工具将简化用于指示个性化的可用资源，并加快更通用目的语言模型的发展。
本研究的主要贡献包括：
来源：https://www.marktechpost.com/2023/07/04/google-ai-open-sources-flan-t5-a-transformer-based-language-model-that-uses-a-text-to-text-approach-for-nlp-tasks/
本研究关注指示微调方法的详细细节，通过消除个别因素并直接进行比较，确定和评估了"Flan 2022合辑"中的关键方法改进。该术语用于数据收集和应用于数据和指示微调过程的方法，侧重于将Flan 2022与PaLM 540B相结合的新兴和最先进的结果。Flan 2022合辑包含目前公开可用的最全面的作业和指示微调技术集合。它已经通过增加数千个优质模板和改进的格式化模式进行了增强。
他们证明，在所有评估的基准测试中，使用这个合辑训练的模型优于其他公开合辑，包括原始的Flan 2021、T0++、Super-Natural Instructions和OPT-IML等。其中，在相同规模的模型上，MMLU和BIG-Bench Hard评估基准测试中的改进分别达到了4.2%+和8.5%。根据对Flan 2022方法的分析，这些稳健的结果归因于更大更多样化的任务集合以及一些简单直接的微调和数据增强策略。特别是，在使用零样本、少样本和思维链提示的各种实例上进行训练可以提高所有这些情境下的性能。
例如，少样本提示的10%增加可以使零样本提示的结果提高2%或更多。此外，已经证明通过倒转输入-输出对建模的方式来平衡任务来源并增强任务多样性，以及在单任务微调中使用Flan-T5模型比T5模型更快收敛且性能更好，表明经过指示微调的模型为后续应用提供了更具计算效率的起点。他们预计，公开这些结果和工具将简化用于指示个性化的可用资源，并加快更通用目的语言模型的发展。
本研究的主要贡献包括：
- 方法论：证明使用零样本和少样本提示的混合训练在两个环境中都能产生显著优越的结果。
- 评估并展示有效指示微调的关键方法，包括缩放、使用输入倒置增强任务多样性、添加思维链训练数据和平衡各种数据来源。
- 结果：这些技术决策使模型在保留任务性能中相对于其他开源指示微调合辑提高了3-17%。
- 发现：Flan-T5 XL为单任务微调提供了更强大和有效的计算起点。
- 公开提供新的Flan 2022任务集合、模板和研究方法供公众使用。源代码可在GitHub上获得。
来源：https://www.marktechpost.com/2023/07/04/google-ai-open-sources-flan-t5-a-transformer-based-language-model-that-uses-a-text-to-text-approach-for-nlp-tasks/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消