这是Dolly LoRA与主要的GPT-J-6B模型的合并，允许用户在不必担心PEFT依赖性的情况下使用Dolly。

它希望能与Alpaca尽可能相似，但无需LLaMA访问。

性能不错，但不如基于LLaMa的原始Alpaca模型。

这主要是因为LLaMa 7B模型是在1T个标记上预训练，而GPT-J-6B是在300-400M个标记上训练的。

• LoRA最初由samwit训练，参见： https://huggingface.co/samwit/dolly-lora
• 数据集是Alpaca数据集的清理版本- https://github.com/gururise/AlpacaDataCleaned
• GPT-J-6b： https://huggingface.co/EleutherAI/gpt-j-6B
• 这是一个Colab链接： https://colab.research.google.com/drive/1O1JjyGaC300BgSJoUbru6LuWAzRzEqCz?usp=sharing