您尚未登录账户
您的企业账号申请正在审核中
阿里云推出第八代企业级实例g8i，AI推理性能提升7倍
阿里云近日宣布，第八代企业级通用计算实例ECS g8i算力实现了新的突破。该实例基于第五代英特尔至强可扩展处理器，以及阿里云自研的“飞天+CIPU”架构体系，ECS g8i实例的整机性能最高提升85%，AI推理性能最高提升7倍，可支持高达72B参数的大语言模型，助力中小规模模型起建成本降低50%。
阿里云弹性计算产品线总经理张献涛表示，阿里云ECS g8i实例的出色表现，证明了以CPU为核心的计算体系也有加速AI推理的巨大潜力，公共云不仅能够应对超大规模的AI模型，也为AI应用加速落地创造了新的可能。
据介绍，作为企业级通用计算实例，ECS g8i实例在计算、存储、网络和安全等方面都得到了全面提升。从关键参数上看，ECS g8i实例的L3缓存容量提升到320MB，内存速率高达5600MT/s，整机性能提升85%，单核性能提升25%。
目前，AI大模型推理在算力上仍然面临很多挑战，例如首包延迟受限于并行处理能力与浮点运算能力，吞吐性能则受限于内存带宽和网络延迟。ECS g8i实例针对这些问题都进行了有效的优化，包括内置指令集从AVX512升级到了Intel AMX高级矩阵扩展加速技术，可让生成式AI更快地运行。基于AMX AI加速能力，g8i可更快地响应中小规模参数模型，运行知识检索、问答系统及摘要生成等AI工作负载时，起建成本相比A10 GPU云服务器下降50%。
同时，基于自研eRDMA超低延时弹性网络，阿里云g8i实例集群具有超低延时网络和高弹性优势，可轻松支持72B参数级别的大语言模型分布式推理。安全方面，阿里云在全产品线构建了端到端的安全防护，可保障数据存储、数据传输、数据计算的全流程安全。
张献涛说，下一步阿里云将不断深化技术、持续创新产品，为企业提供更加稳定、强大、安全、弹性的计算服务，推动各行业的AI应用进入全面爆发时代。
