人工智能聊天机器人已经被企业广泛用于通过电话或网站问候客户并回答他们的问题。一些公司发现，在某种程度上，他们可以用机器代替人类担任呼叫中心的角色。

然而，现有证据表明，在某些领域（如医疗保健和人力资源）使用这些一线工具时，需要非常谨慎，并可能需要进行道德监督。

最近一个备受瞩目的例子是美国国立饮食障碍协会（National Eating Disorder Association，简称NEDA）使用的一个名为Tessa的聊天机器人。该组织有一个由薪酬员工和志愿者共同运营的热线，用来来帮助患有饮食障碍的脆弱人群。

然而，今年，该组织解散了热线员工，并宣布将其用Tessa聊天机器人替代。该组织这样做的原因存有争议。前员工声称，这一转变是在热线员工决定成立工会之后进行的。NEDA副主席则认为，来电数量和等待时间增加，以及使用志愿者员工存在法律责任。

无论如何，在运行了很短一段时间后，Tessa停止了使用。原因是有报道称聊天机器人发布了有问题的建议，这可能会加剧寻求饮食失调帮助的人们的症状。

据报道，参与Tessa创建的两位研究人员Ellen Fitzsimmons-Craft博士和C Barr Taylor博士曾明确表示，聊天机器人并不打算取代现有的热线或为那些有严重饮食障碍症状的人提供即时帮助。

显著升级

那么Tessa的设计目的是什么呢？研究人员与同事们共同开展了一项观察性研究，重点是阐明他们在设计一个基于规则的聊天机器人与关心饮食障碍的用户进行互动时面临的挑战。这是一篇非常有趣的文章，展示了设计选择、运营、陷阱和修正。

Tessa的初始版本是一个传统的基于规则的聊天机器人，并且也是一个高度成熟的聊天机器人。它遵循基于逻辑的预先定义结构，不能偏离其创造者校准的标准化预先编程的回答。

他们的结论包括以下观点：“基于规则的聊天机器人具有以低成本向大规模人群提供信息和简单互动的潜力，但在理解和适当回应意外用户回答方面有限。”

这似乎限制了Tessa适用的用途。那么，它是如何取代NEDA先前使用的热线的呢？据NPR报道，托管聊天机器人的公司将Tessa从一个具有预先编程回答的基于规则的聊天机器人改为一个具有“增强问题和答案功能”的聊天机器人。

Tessa的后期版本采用了生成式AI。这些先进的AI聊天机器人可以模拟人类对话模式，以提供更真实和有用的回答。生成这些定制回答依赖于大量的信息数据库，AI模型通过机器学习、深度学习和自然语言处理等多种技术过程来“理解”。

吸取教训

最终，该聊天机器人为一些用户的问题生成了有潜在危害的回答。随后的讨论将责任从一个机构转移到另一个机构。然而，问题仍然存在，如果有一个提供道德监督的机构，一个“循环中的人”，并遵守Tessa最初设计的明确目的，这种后续情况可能已经被避免。

在追求将AI整合到各种系统中的背景下，从这类案例中吸取教训非常重要。尽管这些事件发生在美国，但对于其他国家寻求做同样事情的人来说，它们具有借鉴意义。

英国在这个问题上似乎有一种稍微分散的方法。最近，英国数据伦理和创新中心（Center for Data Ethics and Innovation，简称CDEI）的咨询委员会被解散，由新成立的先锋AI工作组（Frontier AI Taskforce）接替。还有报道称，在伦敦已经开始试行AI系统作为帮助工作人员的工具，但并不是热线的替代品。

这两个例子都突显了伦理考虑和商业利益之间的潜在的矛盾关系。我们必须使这两者达到平衡，兼顾个体的利益与AI可能提供的效率和好处。

然而，在一些与公众互动的领域，AI生成的回答和模拟的同理心可能永远无法取代真正的人性和同情心，尤其是在医学和心理健康领域。