您尚未登录账户
您的企业账号申请正在审核中
Apple Flash：我们的智能设备即将变得更加智能
现在想象一下，对这些能力进行强化。进行深入的自然语言交流，解答学术或个人问题；将我们的生命体征与全球数据库进行比对，检查迫在眉睫的健康问题；打包庞大的数据库，提供完成实时翻译，使讲不同语言的两方或多方能够进行沟通；与GPS软件对话，提供你路线上最好的汉堡、电影、酒店或者人气观察点的详细信息。
我们利用大型语言模型和自然语言处理的诱惑力，见证了人类与日益依赖的技术之间的通信取得了巨大的进步。
但是当涉及到 AI 和我们的便携式设备时，存在一个障碍。苹果的研究人员表示他们准备对此采取行动。
问题是内存。大型语言模型需要大量的内存。这些模型要求存储可能达到数千亿参数的数据，普通的智能手机如苹果的 iPhone 15，只有区区8GB的内存，远远不能满足这一任务。
在12月12日上传到预印本服务器 arXiv 的一篇论文中，苹果宣布已经开发出一种方法，该方法利用闪存与DRAM之间的数据传输，将允许智能设备运行一个强大的 AI 系统。
研究人员表示，他们的过程可以运行 AI 程序，是设备DRAM容量的两倍，并且可以加速 CPU 操作多达500%。他们说，GPU 过程可以加速至当前方法的25倍。
研究人员在题为“闪存中的LLM：有限内存的高效大型语言模型推理”的论文中表示：“我们的方法包括构建一个与闪存行为协调的推理成本模型，指导我们在两个关键领域进行优化：减少从闪存到RAM的数据传输量，以及以更大、更连续的块读取数据。”
他们使用的两种技术是：
- 窗口化，通过重用最近的计算结果，减少了需要在闪存和RAM之间交换的数据量，从而最小化了IO请求，并节省了能量和时间。
- 行列捆绑，通过一次从闪存中消化更多数据块，达到更高的效率。
研究人员说，“这两个过程共同导致了数据量显著减少和内存使用效率的提高。”
他们补充说：“这一突破对于在资源有限的环境中部署先进的LLM至关重要，因此扩大了它们的适用性和可及性。”
在另一个最近的突破中，苹果宣布它设计了一个名为HUGS的程序，它可以仅用几秒钟的单镜头视频就创建出动画化身。目前的化身创建程序需要多个摄像机视角。这份名为“HUGS: Human Gaussian Splats”的报告于11月29日上传到 arXiv。
苹果表示，他们的程序可以在短短30分钟内创建出逼真的舞蹈化身，远比目前流行方法所需的两天要快得多。
