初创公司“Writer”借助NVIDIA NeMo打造生成式AI成功案例

2023年08月09日 由 neo 发表 420 0

机器学习帮助Waseem Alshikh在大学里翻阅了大量的教科书。现在,他正在利用生成式AI工作,为数百家公司创建内容。

Waseem Alshikh出生并长大在叙利亚,他不会说英语,但他精通软件,这是他在黎巴嫩上大学时的一项优势。

“第一天他们给了我一摞教科书,每本都有一千页厚,而且全都是英文的,”他回忆道。

于是,他写了一个程序,一个粗糙但有效的统计分类器,它可以总结这些书,然后他就学习这些总结。

从概念到公司

2014年,他在迪拜工作时遇到了一位创业者May Habib,他们决定创建一个可以帮助市场部门,使用机器学习快速创建网页、博客、广告等内容的初创公司。

“最初,技术还不成熟,直到变换器模型被公布——那是我们一切的根基。”这个初创公司的CTO说。

Waseem-and-May

“我们找了几个工程师,花了差不多六个月的时间建立我们的第一个模型,一个几乎不能工作的神经网络,它有大约1.28亿个参数,”这是一个经常用来衡量AI模型能力的指标。

在这个过程中,这家年轻的公司赢得了一些业务,改名为Writer,并与NVIDIA建立了联系。

一个加速的初创公司

“一旦我们接触到NVIDIA NeMo,我们就能够构建具有工业强度的模型,它们有30亿、200亿、甚至400亿个参数,而且我们还在不断扩展,”他说。

NeMo是一个应用框架,它可以帮助公司策划他们的训练数据集,构建和定制大型语言模型(LLMs),并在生产环境中进行规模化运行。从韩国到瑞典的各种组织都在使用它来为他们的本地语言和行业定制LLMs。

“在NeMo之前,我们需要四个半月才能构建一个新的十亿参数模型。现在我们可以在16天内完成。这太令人震惊了!”Alshikh说。

模型创造机遇

在今年的前六个月里,这家初创公司的不到20名AI工程师利用NeMo开发了10个模型,每个模型都有300亿以上的参数。

这意味着巨大的机会。现在有数百家企业使用Writer的模型,这些模型由NeMo为金融、医疗、零售和其他垂直市场定制。

Writer-event-recap-842x408

这家初创公司的客户名单包括了德勤、欧莱雅、Intuit、Uber等许多家喻户晓的公司和财富500强企业。

Writer利用NeMo取得的成功只是故事的开始。已经有数十家其他公司下载了NeMo。

这个软件很快就会对任何人开放。它是NVIDIA AI Enterprise的一部分,是一个全栈软件,专为加速生成式AI工作负载而优化,并得到企业级支持、安全和应用程序编程接口稳定性的保障。

Writer-full-stack-842x397

每月一万亿次API调用

一些客户在自己的系统或云服务上运行Writer的模型。其他人则要求Writer托管模型,或者使用Writer的API。

“我们的云基础设施,基本上由两个人管理,每月承载一万亿次API调用——我们每秒生成9万个单词,”Alshikh说。“我们提供了高质量的模型,与那些拥有更大团队和更高预算的公司的产品竞争。”

NeMo-chart-final-842x266

Writer使用NeMo打包的Triton Inference Server为其客户在生产环境中运行模型。Alshikh报告说,Triton被许多运行LLMs的公司使用,它能够比其他程序实现更低的延迟和更高的吞吐量。

“这意味着你可以用2万美元来运行一个服务,而不是10万美元,所以我们可以投入更多的资金来构建有意义的功能,”他说。

广阔的视野

Writer在其文本产品受到关注后,Alshikh开始寻找下一个目标。他在佛罗里达和加利福尼亚两地分别有住所。在当今广阔的生成式AI领域,他看到了图像、音频、视频、3D等方面的机会——也许是所有这些方面。

“我们认为多模态是未来,”他说。


文章来源:https://blogs.nvidia.com/blog/2023/08/08/writer-nemo-generative-ai/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消