模型:
Salesforce/codegen-350M-mono
CodeGen是一系列自回归语言模型,用于根据论文《 A Conversational Paradigm for Program Synthesis 》中的程序综合。作者为Erik Nijkamp、Bo Pang、Hiroaki Hayashi、Lifu Tu、Huan Wang、Yingbo Zhou、Silvio Savarese和Caiming Xiong。这些模型最初发布在《 this repository 》的三种预训练数据变体(NL、Multi、Mono)和四种模型尺寸变体(350M、2B、6B、16B)中。
此存储库中包含的检查点在论文中被标记为CodeGen-Mono 350M,其中“Mono”表示该模型是使用CodeGen-Multi 350M进行初始化的,并在Python编程语言数据集上进行进一步预训练,而“350M”指的是可训练参数的数量。
此检查点(CodeGen-Mono 350M)首先使用CodeGen-Multi 350M进行初始化,然后在BigPython数据集上进行预训练。该数据由71.7B个Python编程语言标记组成。有关更多详细信息,请参见《 paper 》的第2.1节。
CodeGen使用交叉熵损失进行训练,以最大化顺序输入的可能性。这系列模型使用Google的多个TPU-v4-512进行训练,利用数据和模型并行性。有关更多详细信息,请参见《 paper 》的第2.3节。
我们在两个代码生成基准(HumanEval和MTPB)上评估了我们的模型。有关更多详细信息,请参见《 paper 》。
作为自回归语言模型,CodeGen能够从给定的自然语言和编程语言文本中提取特征,并计算它们的可能性。然而,该模型适用于程序综合,即根据英语提示生成可执行代码,其中提示应该以注释字符串的形式。该模型也可以完成部分生成的代码。
可以使用AutoModelForCausalLM功能轻松地加载此模型:
from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Salesforce/codegen-350M-mono") model = AutoModelForCausalLM.from_pretrained("Salesforce/codegen-350M-mono") text = "def hello_world():" input_ids = tokenizer(text, return_tensors="pt").input_ids generated_ids = model.generate(input_ids, max_length=128) print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))
@article{Nijkamp2022ACP, title={A Conversational Paradigm for Program Synthesis}, author={Nijkamp, Erik and Pang, Bo and Hayashi, Hiroaki and Tu, Lifu and Wang, Huan and Zhou, Yingbo and Savarese, Silvio and Xiong, Caiming}, journal={arXiv preprint}, year={2022} }