Microsoft最近宣布正式发布 Azure Managed Lustre，这是一个用于高性能计算（HPC）和AI工作负载的托管文件系统。



早些时候，该公司发布了该服务的预览版，作为其客户的托管产品，使他们能够更专注于他们的业务目标，例如预测天气模式，研究疾病的基因组序列和药物发现。随着GA版本的发布，客户拥有了托管平台服务，允许他们使用Lustre文件系统，这是一个开源并行文件系统。该系统作为研究计算高性能项目，于1999年诞生。它提供具有数百GBps存储带宽和固态磁盘延迟的高性能分布式并行文件系统。此外，它还与Azure HPC Compute，Azure Kubernetes Service和Azure Machine Learning等Azure服务集成。

Wolfgang De Salvador是EMEA GBB HPC和Microsoft的AI高级专家，他在Azure高性能计算（HPC）博客文章中解释说：

“Azure Managed Lustre 提供 Lustre 的所有性能和可伸缩性优势，而无需管理底层基础结构。此外，它还具有通过Lustre HSM与Azure Blob Storage集成的功能，用于数据检索和存档。这允许HPC/AI工作负荷在热层上访问工作数据集，将剩余数据保留在 Azure Blob 中，以最大程度地降低运营成本。”

Azure Managed Lustre以托管代表订阅的形式提供，可通过客户虚拟网络中的简单界面进行访问，客户无需担心部署、管理和操作Lustre文件系统（包括元数据服务器/目标 （MDS/MDT）、管理服务器/目标（MGS/MGT） 和对象存储服务器/目标 （OSS/OST））的复杂性。

Azure Storage产品管理副总裁Jurgen Willis在公告博客文章中解释了Azure中对托管服务的需求，允许客户利用Lustre：

“Lustre是HPC世界中最受欢迎的分布式并行文件系统之一，长期以来一直部署在本地，以满足HPC工作负载的可扩展和高吞吐量存储需求。作为一个开源解决方案，它享有一个蓬勃发展的用户和开发人员生态系统。随着最近生成式AI的爆炸性增长以及对高吞吐量存储的需求，以防止昂贵的GPU内核等待数据，Lustre的采用率重新增长。”

该服务提供两个基于固态硬盘 （SSD） 的持久持久实例，这些实例通过为预置的 TB 级容量提供的性能选项进行区分：

• Azure Managed Lustre File System （AMLFS） Standard – 125 MB/s


• AMLFS Premium – 250 MB/s

Azure Managed Lustre 的用户可以从packages.microsoft.com下载Lustre客户端包，以获取所需的 Linux 分发版和内核版本。此外，Microsoft还提供对使用 Ubuntu 的 Lustre 客户端包（18.04、20.04、22.04 和 Alma 8.7）预构建的 HPC 映像的支持。

 

来源：https://www.infoq.com/news/2023/07/azure-managed-lustre-ga/