Pythia 3B SFT模型修订版1

模型细节

模型描述

该模型经过有监督的精细调整，仅在 Open Assistant 众包平台上进行了训练。

• 开发者：Open Assistant
• 模型类型：Pythia
• 语言（NLP）：英语
• 许可证：Apache-2.0

模型来源[可选]

• 存储库： Open Assistant

用途

直接使用

参见右侧的示例

偏见、风险和限制

just read pythia

推荐

用户（直接和下游用户）应了解模型的风险、偏见和限制。需要更多信息以提供进一步的建议。

如何开始使用该模型

使用下面的代码开始使用该模型。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "theblackcat102/pythia-3b-deduped-sft-r1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).half().eval().cuda()

input_text = "<human>What's the earth population?<bot>"
inputs = tokenizer(input_text, return_tensors="pt", padding=True).to(0)
outputs = model.generate(
    **inputs,
    early_stopping=True,
    max_new_tokens=args.max_new_tokens,
    do_sample=True,
    top_k=args.top_k,
    temperature=args.temperature,
    pad_token_id=tokenizer.eos_token_id,
    # dialogue_collator.py line 36
)
output = tokenizer.decode(outputs[0], truncate_before_pattern=[r"\n\n^#", "^'''", "\n\n\n"])
print(output)

训练细节

训练数据

训练过程

deepspeed trainer_sft.py --configs defaults pythia-1-4b-ost --deepspeed

该模型经过200次迭代的训练。在200次迭代后，准确性开始下降，损失增加，这是过拟合的迹象。

训练超参数

defaults:
  learning_rate: 1e-5
  gradient_checkpointing: false
  gradient_accumulation_steps: 32
  per_device_train_batch_size: 2
  per_device_eval_batch_size: 2
  weight_decay: 0.00
  warmup_steps: 600
  eval_steps: 250
  save_steps: 250
  max_length: 512
  num_train_epochs: 2
  logging_steps: 10
  max_grad_norm: 2.0
  save_total_limit: 4
  fp16: true
  eval_accumulation_steps:
  freeze_layer:
  datasets:
    - oa_private:
        data_path: .cache
        split: sft
        val_split: 0.01
        fraction: 1
        file: 2023-02-26_oasst_default.jsonl
  cache_dir: .cache
  loss_fn: CrossEntropyLoss
  eval_size:
  log_dir: "base"
  quantization: false
  seq2seqmodel: false
  poly_eps: 1.0
  fuse_gelu: false
  log_wandb: true
  samples_mixing: true # uses collator that mixes samples in the batch to create a single sample with possible multiple tasks within
  verbose: false


pythia-1-4b-ost:
  learning_rate: 1e-6
  model_name: EleutherAI/pythia-1.4b-deduped
  weight_decay: 0.01
  max_length: 1024
  warmup_steps: 100
  gradient_checkpointing: false
  gradient_accumulation_steps: 12
  per_device_train_batch_size: 5
  per_device_eval_batch_size: 6
  eval_steps: 100
  save_steps: 100
  num_train_epochs: 50
  save_total_limit: 4

评估

测试数据、因素和指标

测试数据

[需要更多信息]

因素

[需要更多信息]

指标

[需要更多信息]

结果

摘要

模型审查[可选]

[需要更多信息]

环境影响

可以使用 Machine Learning Impact calculator 中提供的方法来估算碳排放量。

• 硬件类型：[需要更多信息]
• 使用时间：[需要更多信息]
• 云提供商：[需要更多信息]
• 计算地区：[需要更多信息]
• 排放的碳量：[需要更多信息]

技术规格[可选]

模型架构和目标

[需要更多信息]

计算基础设施

[需要更多信息]

硬件

[需要更多信息]

软件

[需要更多信息]

引用[可选]

BibTeX：

[需要更多信息]

APA：

[需要更多信息]

术语表[可选]

[需要更多信息]

致谢

• LAION 和EleutherAI
• Stability.ai ：没有他们的计算资源，这个项目将无法实现
• Teams and contributors at Open Assistant ：他们在工作之后或其他时间投入到该项目中
• Huggingface ：为这里的存储和空间提供支持

模型卡作者[可选]

[需要更多信息]

模型卡联系方式

[需要更多信息]