ODEX是一个基于执行的自然语言转代码生成数据基准。它包含945个样本，共计1,707个人工编写的测试用例，涵盖了四种不同自然语言的意图 - 439个英文样本，90个西班牙文样本，164个日语样本和252个俄语样本。

您可以通过指定a标签中的某个子集（默认加载英文子集en）来加载数据集：

from datasets import load_dataset

ds = load_dataset("neulab/odex", "ja", split="test")

如果您发现我们的数据集有用，请引用本论文。

@article{wang2022execution,
  title={Execution-Based Evaluation for Open-Domain Code Generation},
  author={Zhiruo Wang, Shuyan Zhou, Daniel Fried, Graham Neubig},
  journal={arXiv preprint arXiv:2212.10481},
  year={2022}
}