BLOOM，花瓣版本

这个模型是经过后处理的版本，可以在使用Petals蜂群的家庭环境中运行。

注意：Petals被开发用于运行100B+模型，例如 full-scale BLOOM 或 BLOOMZ 。此模型仅供测试目的。在本地运行原始版本可能更有效率。

请查看：

• 学习有关模型功能、规格和使用条款的 original model card 。
• 了解如何安装Petals并在Petals蜂群上运行此模型的 Petals repository 。

我们提供以下最小代码示例。

使用模型

from petals import DistributedBloomForCausalLM

model = DistributedBloomForCausalLM.from_pretrained("bigscience/bloom-7b1-petals")
# Embeddings & prompts are on your device, BLOOM blocks are distributed across the Internet

inputs = tokenizer("A cat sat", return_tensors="pt")["input_ids"]
outputs = model.generate(inputs, max_new_tokens=5)
print(tokenizer.decode(outputs[0]))  # A cat sat on a mat...

提供模型块

python -m petals.cli.run_server bigscience/bloom-7b1-petals