英文

MMLU (hendrycks_test 在 huggingface 上)没有辅助训练。它比原始实现要轻便(7MB 对比 162MB)和更快。在原始版本中,所有配置默认加载辅助训练数据(并且是重复的!),使其变得很重。

我们在 tasksource 中使用这个版本。

原始数据集的参考:Measuring Massive Multitask Language Understanding - https://github.com/hendrycks/test

@article{hendryckstest2021,
  title={Measuring Massive Multitask Language Understanding},
  author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt},
  journal={Proceedings of the International Conference on Learning Representations (ICLR)},
  year={2021}
}