微软发布Phi 3.5 AI模型,超越谷歌OpenAI

2024年08月21日 由 daydream 发表 138 0

微软近日宣布推出其Phi系列人工智能模型的新成员——Phi 3.5系列,该系列包括三款不同特性的模型,旨在满足多样化的计算需求和应用场景。这三款模型分别为Phi-3.5-mini-instruct、Phi-3.5-MoE-instruct以及Phi-3.5-vision-instruct,分别针对基本快速推理、强大推理能力和视觉任务进行了优化设计。


微信截图_20240821102418


Phi-3.5-mini-instruct是一款轻量级的人工智能模型,包含约38亿个参数,适用于内存或计算资源受限的环境。该模型支持128K的上下文长度,并在多语言和多轮对话任务上表现出色。尽管体积较小,但其在代码生成、数学问题解决和逻辑推理等任务中的性能表现可圈可点,在RepoQA基准测试中超越了类似规模的其他模型,如Llama-3.1-8B-instruct和Mistral-7B-instruct。


Phi-3.5-MoE-instruct采用了混合专家(Mixture of Experts)架构,集成了多个专攻不同任务的模型。它拥有420亿个活动参数,但实际运行时仅使用66亿参数,支持128K的上下文长度。这种架构允许模型在处理复杂任务时保持高效,尤其在代码理解、数学运算和多语言理解方面表现突出,在某些指标上甚至超过了GPT-4o mini和其他大型模型。


Phi-3.5-vision-instruct是一款具有多模态处理能力的模型,能够同时处理文本和图像数据。这款模型适用于广泛的视觉任务,如图像理解、光学字符识别、图表和表格解读及视频摘要。同样支持128K的上下文长度,使其能够在复杂的多帧视觉任务中发挥出色。


在训练过程中,Phi-3.5-mini-instruct使用了3.4万亿个标记,在512台H100-80G GPU上训练了10天;Phi-3.5-vision-instruct则使用了5000亿个标记,在256台A100-80G GPU上训练了6天;而Phi-3.5-MoE-instruct使用了4.9万亿个标记,在512台H100-80G GPU上训练了23天。


这三款新模型均在Hugging Face平台上以微软品牌的MIT许可发布,这意味着开发者可以自由下载、使用、修改和商用这些模型,无需支付额外费用。MIT许可还规定软件“按现状”提供,不附带任何形式的保证。微软和其他版权所有者不对因使用这些软件而产生的任何索赔、损害或其他责任负责。


微软此次发布的Phi 3.5系列代表了公司在多语言和多模态人工智能领域的重要进展。通过开放源代码的方式提供这些模型,微软不仅为开发者提供了强大的工具来集成先进的AI功能到他们的应用程序中,也促进了商业和研究领域的创新。


总而言之,微软推出的Phi 3.5系列展示了其在人工智能领域的持续投入和技术实力。这一举措不仅有助于推动AI技术的发展,也为广大开发者提供了宝贵的资源和支持。

文章来源:https://venturebeat.com/ai/microsoft-releases-powerful-new-phi-3-5-models-beating-google-openai-and-more/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消