PyCodeGPT

一个预训练的GPT模型，用于Python代码的自动完成和生成

它是什么？

PyCodeGPT是基于GPT-Neo的高效而有效的模型，用于Python代码生成任务，类似于 OpenAI Codex , Github Copliot , CodeParrot , AlphaCode .

训练数据

由于公开发布的数据集规模较小，我们提议从头开始收集来自GitHub的数据。我们首先爬取了GitHub上托管的120万个与Python相关的仓库。然后，我们使用这些仓库的URL从GitHub下载了每个仓库的所有内容。之后，我们获取了1MB以下的60M原始Python文件，总共大小为330GB。最后，我们仔细设计了各种数据清洗策略，得到了大约96GB的用于训练的数据。请参考下表了解详细信息。

预训练模型

我们的目标是基于GPT-Neo训练中等规模的预训练模型（模型大小为110M）：

• PyCodeGPT-110M：基于GPT-Neo 125M，词汇表大小为32K。

GitHub

https://github.com/microsoft/PyCodeGPT

评估结果

这是我们在HumanEval数据集上的评估结果：

注意：我们的模型在类似模型规模上可以与Codex具有可比较的准确性。

参考文献

如果您想使用这些模型，需要引用我们的以下论文：

@inproceedings{CERT,
  title={{CERT}: Continual Pre-training on Sketches for Library-oriented Code Generation},
  author={Zan, Daoguang and Chen, Bei and Yang, Dejian and Lin, Zeqi and Kim, Minsu and Guan, Bei and Wang, Yongji and Chen, Weizhu and Lou, Jian-Guang},
  booktitle={The 2022 International Joint Conference on Artificial Intelligence},
  year={2022}
}