与人类一样,大型语言模型也具有道德和价值观等特征。然而,这些并不总是透明的。曼海姆大学和GESIS-莱布尼茨社会科学研究所的研究人员现在分析了如何使语言模型的设置可见,并研究了这些偏见可能对社会产生的后果。
ChatGPT或deepL等商业人工智能应用程序提供了刻板印象的例子,例如,它们会自动假设高级医生是男性,护士是女性。但性别角色并不是大型语言模型(LLM)表现出特定倾向的唯一情况。在分析其他人类特征时,也可以发现和测量同样的趋势。
在他们的研究中,研究人员使用公认的心理测试来分析和比较不同LLM的概况。曼海姆大学经济和社会科学数据科学主席助理教授Max Pellert表示:“在我们的研究中发现,几十年来成功用于人类的心理测量测试可以用于人工智能模型中。”
这项研究由Markus Strohmaier教授担任经济和社会科学数据科学主席,Beatrice Rammstedt教授担任心理评估、调查设计和方法学主席,Claudia Wagner教授和Sebastian Stier教授担任计算社会科学系主任。这项研究的结果已经发表在《心理科学展望》杂志上。
曼海姆GESIS莱布尼茨社会科学研究所的心理学家Clemens Lechner博士也是该研究的作者之一,他说:“与我们使用问卷测量人们的性格特征、价值取向或道德概念的方式类似,我们可以让LLM回答问卷并比较他们的答案。这使得创建模型的差异化属性档案成为可能。”
例如,研究人员可以证实,一些模型再现了特定性别的偏见:如果问卷的文本在其他方面完全相同,但将性别分别设定为男性和女性时,他们会被不同评价。如果这个人是男性,则强调“成就”的价值。对妇女来说,“安全”和“传统”的价值观占主导地位。
数据和认知科学家Pellert说:“这可能会对社会产生深远的影响。”例如,语言模型越来越多地用于应用程序流程。如果机器有偏见,这会影响对候选人的评估。他总结道:“这些模型通过其使用的环境与社会相关。”
因此,现在就开始分析并指出潜在的失真是很重要的。五年或十年后,再进行这样的监测可能为时已晚。Pellert说:“人工智能模型复制的偏见将根深蒂固,并对社会造成损害。”