计算机科学家推进为程序员开发的AI模型

2023年09月13日 由 daydream 发表 261 0

一位东北大学的教授相信在人工智能技术方面进行开放性的科学合作,他与其他人共同创造了一种最先进的开源生成模型,可以为程序员提供许可和灵活调整,以用于游戏和工业自动化等不同用途。


responsible-ai-model-f


生成人工智能和大型语言模型在过去几年中风靡全球,对编程产生了显著影响。然而,计算机科学家、程序员和较小的市场参与者对这些模型的开发过程了解有限,这使他们无法深入理解技术,并限制了他们在技术进一步扩展中的有意义参与。


因此,这位教授和他的研究团队积极参与了一个名为BigCode的项目,该项目由Hugging Face和ServiceNow两家私人公司发起。


Hugging Face是一个托管大型开源机器学习社区的公司,而ServiceNow则帮助企业优化技术解决方案。他们合作支持具有专业人工智能研究背景的个人,对开源大型语言模型进行负责任的开发和使用。为了支持这个项目,两家公司投入了大量的人力和硬件资源。因此,现在其他人可以获得这个名为StarCoder的最先进的开源生成模型的许可并进行适应,用于不同的用途。


这位教授表示: "你可以花很大一笔钱来构建这些模型,但实际上却不知道它的质量如何。" 他认为,那些拥有庞大资源来构建这些学习模型并随时震惊世界的几家市值数十亿美元的公司对于与社区分享这项技术的能力是完全封闭的。


他说: "如果你问那些制造这些模型的人: '我可以用它做什么?'他们会不真实地回答'任何事情',这是误导性的。"这位教授相信学术研究在塑造生成人工智能技术方面可以发挥作用。


他说: "学者可以进来,对这些模型进行严格评估,指出它们的优点和缺点。他们可以说:'是的,你可以用它来做这个,但是在没有严格的限制措施的情况下,请不要用它来做其他事情。'"


他认为一个更紧迫的问题是人们使用这项技术做出影响他人的决策,例如关于贷款申请或职位空缺的决策。他说,我们应该讨论在什么情况下不适合使用这些模型,以免造成更多的伤害。


这位教授在BigCode项目中投入了大量的精力,该项目于2022年9月启动。他领导了一个工作小组,专注于评估该项目创建的两个开放模型StarCoder和SantaCoder。


首先,创建一个LLM需要确定将输入模型进行训练的数据。模型训练完成后,应该评估其实际能力。


BigCode项目创建的模型是在Hugging Face集群上进行的训练。该教授的团队在马萨诸塞州Green高性能计算中心的Northeastern Discovery集群上评估了大部分模型,该集群是一个高性能的并行计算系统,采用了领先的计算技术和强大的存储解决方案。


他们进行了对19种不同编程语言的广泛评估,以了解这些模型的功能。


他说: "当这个项目启动时,其中一个目标是让它可以在不同的编程语言上使用,以让多个社区受益。"


这些模型被测试用来实现从自然语言描述生成代码、记录代码和预测类型注释等任务。


其他研究人员进行了其他分析,比如偏见和毒性分析。结果显示,由于编码模型并没有在大量的互联网数据上进行训练,它生成的内容具有较低的毒性。


这位教授说,StarCoder模型经受了BigCode项目有史以来最广泛的评估,因为这个项目是一个大型的协作性工程。


他说: "这是一个很棒的项目,汇集了许多研究人员,处于不同的职业生涯阶段。"


该项目的一部分在今年五月发表了论文,有近70位合著者。这位教授说,一些博士生和本科生也为该模型做出了贡献。


现在,任何人都可以通过签署BigCode开放负责任AI许可协议并遵守适用的限制,免费请求下载和使用StarCoder或SantaBase进行研究、商业或非商业目的,并可以根据自身需求对其进行修改。


例如,该教授还与MathWorks和Roblox等公司合作,这些公司专门为工程师和科学家提供数学计算软件和在线全球游戏平台。他们正在探索如何使用StarCoder,将其引入内部并根据自己的需求进行定制。


该模型也被许多其他研究人员使用。


该项目非常透明和明确地说明了其模型所使用的数据。如果人们希望该项目停止使用他们的数据,他们可以提出请求。到目前为止,只有几十人这样做过。


BigCode项目正在为下一轮的项目做准备,并预计很快会宣布进一步的发展。

文章来源:https://techxplore.com/news/2023-09-responsible-ai-programmers-advanced-scientist.html
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消