谷歌推出Gemini 1.5:采用MoE架构,支持百万级上下文长度

2024年02月18日 由 daydream 发表 403 0

谷歌宣布推出Gemini 1.5,这是其面向开发者的对话式人工智能模型的最新版本。此次升级通过新的专家混合(MoE)架构大幅提高了效率和性能。


微信截图_20240218095148


MoE架构使Gemini 1.5能够更快速地执行复杂任务,同时以较低的计算需求保持质量。从本质上讲,它就像一个由“专家”神经网络组成的星座,根据输入选择性激活最相关的路径,从而显著提高效率。这使得它比以前的模型具有更加复杂的推理和问题解决能力。


不过,Gemini 1.5 最突出的特点可能是其无与伦比的长语境理解能力。该模型可处理多达 100 万个标记,为大规模基础模型树立了新的里程碑。谷歌表示,在他们的研究中,已经测试了多达 1000 万个代币。


从这个角度来看,Gemini 1.5 的百万代币上下文窗口比大多数最先进的模型提高了 10 倍,比 Anthropic 的 Claude(20 万)提高了 5 倍。


这意味着 1.5 Pro 可以一次性处理大量信息,包括 1 小时的视频、11 小时的音频、70 万字或超过 3 万行代码的代码库。


“长上下文理解方面的这一突破性能力将为人们、开发者和企业使用人工智能进行创造、发现和构建开辟新的可能性。”——Demis Hassabis,Google DeepMind首席执行官。


对于开发人员和企业客户来说,这将带来无限可能。处理如此广泛的上下文窗口的能力意味着可以开发出更细致、更复杂的人工智能应用,涵盖从内容分析到复杂的编码问题解决等各个领域。


在基准测试中,Gemini 1.5 Pro 在 87% 的文本、代码、图像、音频和视频评估中都优于其前身 Gemini 1.0 Pro。尽管使用的计算能力较低,它的性能也与较大的 1.0 Ultra 型号相当。


随着 Gemini 1.5 的推出,谷歌强调了其对安全和道德人工智能开发的持续承诺。该模型经过了广泛的道德和安全测试,确保符合谷歌的人工智能原则。鉴于该模型的新颖功能和潜在的广泛影响,这种程度的审查至关重要。


谷歌最初通过其人工智能工作室平台和顶点人工智能(Vertex AI)向开发者提供 Gemini 1.5 Pro 的有限预览版。这使得早期测试者能够在更广泛发布之前试用该模型并提供反馈意见。


开发人员现在就可以在 AI Studio 上注册,试用 1.5 Pro 模型,其标准代币上下文长度为 128,000 个。谷歌计划很快增加定价层级,最高可扩展至 100 万个代币。


在预览期间,测试者可以免费访问试验性的百万代币上下文窗口。不过,谷歌指出,用户目前应预计较长的延迟时间。目前正在进行重大的速度优化,以改善响应时间。

文章来源:https://www.maginative.com/article/google-announces-gemini-1-5-with-mixture-of-experts-architecture/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消