模型:
KoboldAI/fairseq-dense-2.7B
这是一份符合Hugging Face transformers的转换版本,原始模型来自Artetxe等人的论文" Efficient Large Scale Language Modeling with Mixtures of Experts "。请参阅原始模型卡片,地址为 https://github.com/facebookresearch/fairseq/blob/main/examples/moe_lm/model_card.md 。