您尚未登录账户
您的企业账号申请正在审核中
DeepSeek启动开源周，发布了其首个开源项目——FlashMLA
DeepSeek宣布正式启动“开源周”活动，并率先发布了其首个开源项目——FlashMLA。该项目是一个针对NVIDIA Hopper架构GPU进行优化的高效多头线性注意力（Multi-Head Linear Attention，MLA）解码内核，特别设计用于处理可变长度的序列数据。
FlashMLA的推出，得益于flashAttention 2&3以及Cutlass项目的启发，旨在通过技术创新提升内存和计算效率。它支持CUDA 12.3及以上版本以及PyTorch 2.0及以上版本，为开发者提供了强大的技术支持。
在技术层面，FlashMLA采用了BF16数据格式，以平衡性能和效率。同时，它还引入了页式键值（Key-Value，KV）缓存机制，块大小设置为64，实现了更为精细的内存管理。这一机制在处理大规模数据时，能够显著提升内存使用效率。
在硬件性能表现上，FlashMLA在NVIDIA H800 SXM5 GPU上展现出了卓越的性能。在内存受限的场景下，其内存带宽可达到3000 GB/s；而在计算受限的场景下，算力则可达580 TFLOPS。这些性能数据充分展示了FlashMLA在处理复杂计算任务时的强大能力。
FlashMLA的技术原理主要包括分块调度与并行计算，以及优化的内存访问模式。通过分块调度机制，FlashMLA能够将计算任务分解为多个小块进行并行处理，从而充分利用GPU的并行计算能力。同时，通过优化内存访问模式，FlashMLA减少了内存访问的开销，进一步提升了处理大规模数据时的性能。
对于开发者而言，FlashMLA提供了简洁的安装和部署流程。通过执行简单的安装命令（如python setup.py install），开发者即可快速部署FlashMLA。此外，开发者还可以通过运行基准测试脚本（如python tests/test_flash_mla.py）来验证其性能表现。
