数据集:
tasksource/mmlu
语言:
en许可:
apache-2.0MMLU (hendrycks_test 在 huggingface 上)没有辅助训练。它比原始实现要轻便(7MB 对比 162MB)和更快。在原始版本中,所有配置默认加载辅助训练数据(并且是重复的!),使其变得很重。
我们在 tasksource 中使用这个版本。
原始数据集的参考:Measuring Massive Multitask Language Understanding - https://github.com/hendrycks/test
@article{hendryckstest2021, title={Measuring Massive Multitask Language Understanding}, author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt}, journal={Proceedings of the International Conference on Learning Representations (ICLR)}, year={2021} }