您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
microsoft/bloom-deepspeed-inference-int8
英文这是原始 BLOOM weights 的自定义INT8版本，旨在使其在使用Tensor Parallelism的 DeepSpeed-Inference 引擎上快速使用。在这个repo中，张量被分为8个片段，以便针对8个GPU进行处理。
完整的BLOOM文档在 here 中。
要使用repo中的权重，你可以根据需要调整在 here 中找到的脚本（注：一旦迁移到HF Transformers代码库，链接将需要更新）。