GEM参考资料

是什么？

该存储库包含用于在GEM基准测试中运行评估的所有参考数据集。其中一些数据集最初作为 GitHub release 存储库上的 GEM-metrics 托管，但已迁移到Hugging Face Hub上。

将数据集转换为JSON

我们提供一个convert_dataset_to_json.py转换脚本，将GEM组织中的数据集转换为GEM-metrics库所期望的JSON格式。要运行该脚本，请先安装 jq ，然后安装脚本的Python依赖项：

python -m pip install -r requirements.txt

然后，您可以按如下方式运行脚本：

python generate_evaluation_datasets.py

该脚本将执行以下操作：

• 下载并将GEM组织下的数据集转换为JSON格式
• 验证每个数据集是否具有gem_id、target和references的预期列