GPU的出现以及它们解锁的指数级计算能力，对初创企业和大型企业都是一个重要时刻。

GPU提供了强大的计算能力，用于执行涉及人工智能、机器学习和3D渲染等技术的复杂任务。

然而，在充分利用这种丰富的计算能力时，技术界在理想解决方案上处于一个十字路口。是应该建立一个专门的GPU机器，还是利用GPU云？

什么是GPU?

GPU（图形处理单元）是设计用来快速渲染图形和图像的计算机芯片，通过几乎瞬间完成数学计算。历史上，GPU通常与个人游戏电脑联系在一起，但随着技术的进步需要额外的计算力，它们也被用于专业计算。

GPU最初是为了减轻现代图形密集型应用对CPU的工作负载，通过并行处理渲染2D和3D图形，这种方法涉及多个处理器处理单一任务的不同部分。

在商业中，这种方法有效地加快了工作负载，提供了足够的处理能力以实现项目，例如人工智能（AI）和机器学习（ML）建模。

GPU用例

近年来，GPU已经发展，比早期的产品要可编程得多，使它们可以在多种用例中使用，例如：

• 使用Blender和ZBrush等软件快速渲染实时2D和3D图形应用
• 视频编辑和视频内容创作，特别是那些4k、8k或高帧率的作品
• 为现代显示设备上的视频游戏提供图形能力，包括4k
• 加速机器学习模型，从基本的图像转换到jpg，到在几分钟内部署自定义调整的模型，带有完整的前端
• 共享CPU工作量以提供更高性能的应用范围
• 提供计算资源来训练深度神经网络
• 挖掘比特币和以太坊等加密货币

针对神经网络的开发，每个网络由执行计算作为更广泛分析模型一部分的节点组成。

由于更强大的并行处理，GPU可以增强这些模型在深度学习网络中的性能，创造出容错率更高的模型。因此，市场上现在有许多专为深度学习项目构建的GPU，例如最近宣布的H200。

构建GPU机器

许多企业，特别是初创公司，选择自己建造GPU机器，因为它们在成本效益上比GPU云解决方案更具优势。然而，这并不是说这种项目没有挑战。

在本节中，我们将讨论建造GPU机器的利与弊，包括预期成本和可能影响安全性和可扩展性等因素的机器管理。

为什么要自建GPU机器？

建造本地GPU机器的主要好处是成本，但这样的项目并不总是可能的，需要显著的内部专业知识。持续维护和未来的修改也是可能使这种解决方案变得不可行的因素。但是，如果这样的构建在您团队的能力范围内，或者如果您找到了可以为您完成项目的第三方供应商，财务节省可能是显著的。

特别是在考虑像Amazon Web Services EC2、Google Cloud或Microsoft Azure这样的云GPU服务的租赁成本时，建议构建一个可扩展的GPU机器用于深度学习项目。尽管托管服务可能是希望尽快开始其项目的组织的理想选择。

让我们考虑自建本地GPU机器的两个主要好处，成本和性能。

成本

如果组织正在为人工智能和机器学习项目开发一个具有大型数据集的深度神经网络，那么运营成本有时可能会飙升。这可能会阻碍开发者在模型训练期间交付预期的结果，并限制项目的可扩展性。结果，财务影响可能会导致产品缩减规模，甚至是一个不适合用途的模型。

建造一个现场自我管理的GPU机器有助于显著降低成本，为开发商和数据工程师提供他们需要的资源进行广泛的迭代、测试和实验。

然而，这只是接触到了本地构建和运行GPU机器的表面，特别是对于越来越受欢迎的开源LLMs。随着实际UI的出现，您可能很快会看到您友好的邻居牙医在后室运行几个4090s，用于保险核查、日程安排、数据交叉参考等等。

性能

广泛的深度学习和机器学习训练模型/算法需要大量资源，这意味着它们需要非常高性能的处理能力。对于需要渲染高质量视频的组织来说也是如此，员工需要多个基于GPU的系统或一个最先进的GPU服务器。

建议使用自建的GPU强力系统用于生产规模的数据模型及其训练，一些GPU能够提供双精度功能，这是一种使用64位来表示数字的功能，提供更大的数值范围和更好的十进位精度。然而，这一功能只适用于依赖非常高精度的模型。推荐的双精度系统选择是Nvidia的现场Titan基础GPU服务器。

操作

许多组织缺乏管理现场GPU机器和服务器的专业知识和能力。这是因为内部IT团队需要专家，他们能够配置基于GPU的基础设施以实现最高性能水平。

此外，这种专业知识的缺乏可能导致缺乏安全性，从而产生可能成为网络犯罪目标的漏洞。未来扩展系统的需求也可能成为一个挑战。

使用GPU云

现场GPU机器在性能和成本效益方面提供了明显的优势，但只有组织拥有所需的内部专家。这就是为什么许多组织选择使用GPU云服务，如Saturn Cloud，它是完全托管的，以增加简单性和安心感。

云GPU解决方案使深度学习项目更加易于广泛的组织和行业接触，许多系统能够匹配自建GPU机器的性能水平。GPU云解决方案的出现是越来越多人投资AI开发的主要原因之一，特别是开源模型，如Mistral，其开源本质是为“可租用的vRAM”量身定制，并运行不依赖于更大供应商的LLMs，如OpenAI或Anthropic。

成本

根据组织的需求或正在训练的模型，云GPU解决方案可能会更便宜，提供每周需要的小时数是合理的。对于较小、数据量较少的项目，可能不需要投资一对昂贵的H100s，使用按合同为基础的GPU云解决方案以及多种月度计划的形式可用，迎合从爱好者到企业。

性能

有一系列的CPU云选项可以匹配自建GPU机器的性能水平，提供最佳平衡的处理器、准确的内存、高性能磁盘，以及每个实例八个GPU来处理个别工作负载。当然，这些解决方案可能会有成本，但组织可以安排按小时计费，以确保他们只支付他们使用的费用。

操作

云GPU相对于GPU构建在其操作上的主要优势在于，有一支专家工程师团队可提供任何问题的协助和技术支持。现场GPU机器或服务器需要由内部或一个第三方公司远程管理，这将带来额外成本。

使用GPU云服务，任何问题，如网络故障、软件更新、电力故障、设备故障或磁盘空间不足，都可以快速解决。实际上，使用完全托管的解决方案，这些问题不太可能发生，因为GPU服务器将被最佳配置以避免任何过载和系统故障。这意味着IT团队可以专注于业务的核心需求。

结论

选择建设GPU机器或使用GPU云取决于用例，大型数据密集型项目需要额外的性能，而不会产生重大成本。在这种情况下，自建系统可能提供所需的性能，而又没有高额的每月成本。

另一方面，对于缺乏内部专业知识或可能不需要顶级性能的组织而言，托管的云GPU解决方案可能更为合适，由提供商负责机器的管理和维护。