BLOOMZ，花瓣版本

这个模型是一个经过后处理的版本，可以在家中使用 Petals 群集进行运行。

请查看：

• 使用说明书，了解模型的功能、规格和使用条款。
• 使用指南，了解如何安装 Petals 并在 Petals 群集上运行此模型。

我们在下面提供了最小的代码示例。

使用模型

from petals import DistributedBloomForCausalLM

model = DistributedBloomForCausalLM.from_pretrained("bigscience/bloomz-petals")
# Embeddings & prompts are on your device, BLOOM blocks are distributed across the Internet

inputs = tokenizer("A cat sat", return_tensors="pt")["input_ids"]
outputs = model.generate(inputs, max_new_tokens=5)
print(tokenizer.decode(outputs[0]))  # A cat sat on a mat...

服务模型块

python -m petals.cli.run_server bigscience/bloomz-petals