NVIDIA推出三项新微服务强化AI代理管控与安全

2025年01月17日 由 daydream 发表 3668 0

NVIDIA近期发布了三项专为提升企业AI代理控制与安全措施设计的新微服务。这些服务被整合进NVIDIA的NeMo Guardrails框架中,旨在解决AI部署中的信任、安全、保密与合规性等关键问题。


微信截图_20250117093124


这三项微服务分别聚焦于内容安全性、话题控制以及越狱检测。它们均基于一个包含35,000多个样本的高质量人工标注数据集构建。包括Amdocs、Cerence AI和Lowe's在内的多家大型企业已率先采用这些服务。


在内容安全性方面,NVIDIA的相应微服务利用了Aegis Content Safety Dataset进行训练。该数据集包含大量人工标注的样本,使微服务能够有效过滤有害或存在偏见的输出,确保AI响应符合伦理标准。


话题控制微服务则确保AI驱动的对话始终围绕已批准的主题进行,防止偏离到不适当或无关的领域。这一功能在客户服务应用中尤为重要,有助于保持对话的相关性。


为防止绕过系统限制的行为,越狱检测微服务能够识别和缓解对AI行为的操纵尝试。通过识别并应对此类威胁,该服务有助于在敌对场景下维护AI系统的完整性。


此外,NVIDIA还发布了Garak,一个用于大型语言模型漏洞扫描的开源工具包。该工具可帮助开发者在部署前识别AI系统中的潜在弱点,包括数据泄露、提示注入等安全问题。


在行业应用方面,Amdocs正在利用这些服务提升AI驱动的客户服务互动的安全性和准确性。Cerence AI则利用这些工具确保车载助手提供上下文相关且安全的互动。在零售领域,Lowe's正利用NeMo Guardrails确保AI生成的回应在客户互动中保持相关性和适当性。


NVIDIA推出这些微服务的目的,是为包括汽车、金融、医疗、制造和零售在内的各行业企业提供支持,使它们能够部署既高效又安全可靠的AI解决方案。


随着企业不断扩大AI代理的使用范围,这些新的安全控制措施标志着向更可靠、更值得信赖的AI实施迈出了重要一步。专业微服务与全面测试工具的结合,为企业提供了一个更完善的框架,以在保持自动化系统优势的同时,管理AI风险。

文章来源:https://www.maginative.com/article/nvidia-introduces-new-nim-microservices-to-enhance-ai-agent-safety/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消