SambaNova与Hugging Face推出一键部署ChatGPT类接口新服务

2024年11月07日 由 daydream 发表 70 0

近日,SambaNova与Hugging Face联合推出了一项新服务,允许开发者通过单击按钮即可部署类似ChatGPT的界面,将部署时间从数小时缩短至数分钟。


微信截图_20241107111405


对于希望尝试该服务的开发者而言,流程相对简单。首先,需访问SambaNova Cloud的API网站并获取访问令牌。随后,在Python环境中输入以下三行代码:


python复制代码
import gradio as gr
import sambanova_gradio
gr.load("Meta-Llama-3.1-70B-Instruct-8k", src=sambanova_gradio.registry, accept_token=True).launch()


最后一步是点击“Deploy to Hugging Face”并输入SambaNova令牌。几秒钟后,一个功能完备的AI聊天机器人便可在Hugging Face的Spaces平台上使用。


这项服务对企业AI开发产生重大影响。传统上,部署聊天机器人需要深入了解API、文档和部署协议,而新系统将这些步骤简化为单击一个按钮,有助于提升各技术水平组织中的AI部署效率。


该集成支持纯文本和多模态聊天机器人,能够处理文本和图像。开发者可通过SambaNova云平台访问强大的模型,如Llama 3.2-11B-Vision-Instruct,其性能指标显示,在无限制硬件上的处理速度可达每秒358个令牌。


特别值得一提的是Llama3 405B模型的性能指标,数据显示,在无限制机架下的平均功耗为8411千瓦,表明其具备企业级应用所需的强大性能。


此次发布的时机恰逢企业对能够快速部署和扩展的AI解决方案需求日益增长之际。尽管OpenAI和Anthropic等科技巨头凭借其面向消费者的聊天机器人占据新闻头条,但SambaNova直接面向开发者群体,提供与领先AI界面相媲美的企业级工具。


为鼓励采用,SambaNova和Hugging Face将于12月举办一场黑客松活动,让开发者亲身体验这一新集成。随着企业越来越寻求在不承担传统开发周期负担的情况下实施AI解决方案,这一举措显得尤为重要。


对于技术决策者而言,这一发展提供了一个快速部署AI的诱人选项。简化的工作流程可能会降低开发成本,并加速AI功能的市场投放时间,特别是对于希望实施对话式AI界面的组织而言。


然而,更快的部署也带来了新的挑战。企业需更加深入地思考如何有效利用AI、解决哪些问题以及如何保护用户隐私和确保负责任地使用AI。技术上的简化并不能保证良好的实施效果。


SambaNova方面表示,此举旨在消除部署的复杂性,让开发者能够专注于真正重要的事情:构建解决实际问题的工具。如今,构建AI聊天机器人的工具已足够简单,几乎任何开发者都可使用。但更棘手的问题仍在于人类自身:应该构建什么?如何使用它?以及最重要的是,它是否真的能帮助人们?这些问题才是值得解决的挑战。

文章来源:https://venturebeat.com/ai/sambanova-and-hugging-face-make-ai-chatbot-deployment-easier-with-one-click-integration/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消