数据集:

codeparrot/github-jupyter-text-code-pairs

英文

这是 github-jupyter-parsed 的解析版本,其中包含了Markdown和代码对。我们在 preprocessing.py 中提供了预处理脚本。数据经过了去重处理,并且包括了451662个示例。

对于类似的包含文本和Python代码的数据集,还有来自StackOverflow的 CoNaLa 基准数据集,其中一些样本由注释者进行了筛选。