Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

GPT4-Alpaca-LoRA_MLP-65B GPTQ

这些文件是将原始的Llama 65B模型与 LoRA weights of chtan's gpt4-alpaca-lora_mlp-65B 合并后的结果。

可用的存储库

• 4bit GPTQ models for GPU inference
• 4bit and 5bit GGML models for CPU inference in llama.cpp
• float16 unquantised model for GPU inference and further conversions

Discord

如需进一步支持以及有关这些模型和AI的讨论，请加入我们的社群:

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

我有很多人问我是否可以贡献。我喜欢提供模型和帮助他人，并且很愿意能够投入更多时间来做这些事情，以及扩展到新的项目，如精细调整/训练。

如果您能够并且愿意进行贡献，我将非常感激，并且这将帮助我继续提供更多模型，并开始新的AI项目。

捐助者将获得所有AI/LLM模型问题和请求的优先支持、访问私人Discord房间以及其他好处。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢 Patreon 赞助者：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的赞助者和捐助者！

原始模型卡片

此存储库提供了通过LoRA [MLP]在8xA100(80G)上使用alpaca_data_gpt4数据集训练的LLaMA的训练检查点。

邹俊贤等2022年的研究揭示了FFN在更大的容量下能够更好地利用修改。

代码由 tloen/alpaca-lora: Instruct-tune LLaMA on consumer hardware (github.com) 提供。

我们修改了运行脚本以

torchrun --nproc_per_node=8 finetune.py \
    --base_model '/cache1/chtan/large_models/llama-hf/llama-65b' \
    --data_path './alpaca_data_gpt4.json' \
    --output_dir './gpt4-alpaca-lora_mlp-65b' \
    --batch_size 128 \
    --micro_batch_size 2 \
    --num_epochs 10 \
    --learning_rate 1e-4 \
    --cutoff_len 512 \
    --val_set_size 2000 \
    --lora_r 16 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --lora_target_modules '[gate_proj,down_proj,up_proj]' \
    --train_on_inputs \
    --group_by_length

例子

指令 : 告诉我关于羊驼的信息。

gpt4-alpaca-lora_mlp-65b :

羊驼是小型的驯养哺乳动物，与驼鹿亲缘关系密切。它们原产于南美洲的安第斯山脉，主要分布在秘鲁、玻利维亚和智利。这些动物已经被驯养了数千年，被印加人用于获取它们的绒毛、肉类和作为运载动物。

羊驼以其柔软温暖的绒毛而闻名，有超过22种天然颜色。它们的绒毛非常有价值，被用于纺织业制作服装和其他产品。羊驼以其友好和温顺的性格而闻名，因此成为受欢迎的宠物和农场的好帮手。

这些动物是群居动物，通常有一只占主导地位的雄性。它们通过一系列的哼声、啾啾声和其他声音来传达信息。羊驼还以其独特的“嗡嗡”声而闻名，当它们感到满足或好奇时会发出这种声音。

在外貌上，羊驼体型较小且结实，驮高点处的平均身高约为36英寸。它们有着大而有表情的眼睛，耳朵竖立向前。羊驼是食草动物，主要以草和其他植物为食。它们还以其高效的消化系统而闻名，可以在低质量饲料的饮食条件下茁壮成长。

总的来说，羊驼是独特而迷人的动物，几个世纪以来一直是安第斯文化的重要组成部分。它们因其绒毛、肉类和宠物价值而受到重视，其在世界各地的受欢迎程度不断增长。

Alpaca-LoRA : 羊驼是骆驼科动物的一种，原产于南美洲的安第斯山脉。它们以柔软奢华的绒毛而闻名，被用于制作服装、毯子和其他物品。羊驼是食草动物，以草和其他植物为食。它们是社交性动物，生活在多达20只个体的群体中。

Stanford Alpaca : 羊驼是小而蓬松的动物，与骆驼和驼鹿亲缘关系密切。它们原产于秘鲁和玻利维亚，大约5000年前开始被驯养。人们主要以它们优质柔软的绒毛为目的，用于制作针织品和其他服饰。羊驼是群居动物，生活在以一只年长雄性为首的小型家庭群体中。它们是非常社交化的动物，可以与主人建立牢固的情感纽带。

text-davinci-003 : 羊驼是南美洲骆驼科家畜的一种，与骆驼亲缘关系密切，类似于马。它们原产于南美洲的安第斯山脉，通常以20只个体的群体生活。它们通常被养在由两到五只羊驼组成的小群体中，饲养相对简单。羊驼是食草动物，以草、干草和其他植物为食。它们还以其温和友好的性格而闻名，因此受到作为宠物的欢迎。

指令 : 编写一个打印前10个斐波那契数的Python程序。

gpt4-alpaca-lora_mlp-65b :

这是一个打印前10个斐波那契数的Python程序:

# initialize variables
a = 0
b = 1

# loop to print the first 10 Fibonacci numbers
for i in range(10):
    print(a, end=" ")
    a, b = b, a + b

在这个程序中，我们使用第一个斐波那契数0和1初始化两个变量a和b。然后，我们使用for循环进行10次迭代。在每次迭代中，我们打印当前的a值，并使用公式a = b和b = a + b更新a和b的值。这个公式是斐波那契序列的定义。

Alpaca-LoRA :

def fibonacci(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fibonacci(n-1) + fibonacci(n-2)

print(fibonacci(10))

Stanford Alpaca :

numbers = [0, 1]

for i in range(2, 11):
    numbers.append(numbers[i-2] + numbers[i-1])

print(numbers)
# Output: [0, 1, 1, 2, 3, 5, 8, 13, 21, 34]

text-davinci-003 :

# Fibonacci numbers are the numbers in the following integer sequence, called the Fibonacci sequence, and characterized by the fact that every number after the first two is the sum of the two preceding ones.

# Fibonacci sequence: 0, 1, 1, 2, 3, 5, 8, 13, 21, 34, ...

# Program:

# Initialize the first two numbers of the Fibonacci sequence
a = 0
b = 1

# Print the first 10 numbers of the Fibonacci sequence
print(a)
print(b)

for i in range(2,10):
    c = a + b
    a = b
    b = c
    print(c)

[1] Junxian He, Chunting Zhou, Xuezhe Ma, Taylor Berg-Kirkpatrick, Graham Neubig: Towards a Unified View of Parameter-Efficient Transfer Learning. ICLR 2022