牛津AI研究人员表示,LLM可能对科学真理构成危害

2023年11月24日 由 samoyed 发表 306 0

去年11月,科技巨头Meta推出了一个名为Galactica的大型语言模型,旨在协助科学家。但是,与Meta所希望的大爆炸不同,Galactica在经过三天激烈批评后默默无闻地消逝了。


Einblick


在《自然·人类行为》杂志最近发表的一篇论文中,牛津互联网研究所的AI研究人员对LLM可能对科学完整性构成的潜在威胁表示担忧。Brent Mittelstadt、Chris Russell和Sandra Wachter认为,如基于GPT-3.5架构的LLM这样的模型并不是绝对可靠的真理来源,它们可以产生他们所说的“幻觉”——不真实的回答。


这些作者建议改变LLM的使用方式,建议将它们用作“zero-shot translators”。用户应该提供相关信息,并指导模型将其转换成所需的输出,而不是依赖LLM作为知识库。这种方法便于更容易地验证输出的事实准确性及其与提供的输入的一致性。


正如论文中所阐述的,核心问题在于这些模型所训练的数据的性质。这些旨在提供有用且令人信服的回应的语言模型,往往缺乏关于其准确性或与事实相符的保证。从包含虚假陈述、观点和虚构写作的在线内容中训练的大型数据集,使LLM暴露于非事实信息。


Mittelstadt教授强调了用户信任LLM作为可靠信息来源的风险,。由于它们被设计得很像是真实人类,用户可能被误导认为它们的回答是准确的,即使那是没有事实基础或呈现了偏见的答案。


为了保护科学真理和教育免受不准确和偏见信息的传播,作者倡导设置关于LLM负责任使用的清晰规定。在准确性至关重要的任务中,论文建议用户应提供包含事实信息的注解提示。


Wachter教授强调了科学界负责任地使用LLM的作用,以及对事实信息的信心需求。作者们警告如果LLM在生成和传播科学文章时草率地使用,可能会造成严重的伤害。


在强调需要仔细考虑的同时,罗素教授敦促人们从LLM提供的机会中退一步,并反思是否应该仅仅因为技术能够提供它们而给予特定机会。

文章来源:https://analyticsindiamag.com/oxford-ai-researchers-say-llms-pose-risk-to-scientific-truth/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消