WangChanGLM ?多语言指令跟踪模型的模型卡

WangChanGLM是一个多语言指令微调的Facebook XGLM-7.5B模型，使用开源、商业可允许的数据集（LAION OIG chip2和infill_dbpedia、DataBricks Dolly v2、OpenAI TL;DR和Hello-SimpleAI HC3；约400k个示例）进行训练，并在CC-BY SA 4.0许可下发布。这些模型经过训练，可以执行我们认为最相关的指令跟踪任务，包括阅读理解、头脑风暴和创意写作。我们提供了基于仅英文数据集进行微调的模型权重（ wangchanglm-7.5B-sft-en ），以及进一步在Google翻译的泰语数据集上进行微调的另一个检查点（ wangchanglm-7.5B-sft-enth ）。我们使用人类和ChatGPT（在我们的情况下，使用gpt-3.5-turbo，因为我们仍在等待gpt-4）进行Vicuna风格的评估，并观察到两种类型的注释者之间存在一些差异。所有的训练和评估代码都在我们的Github上以 Apache-2.0 license 的形式分享，以及 HuggingFace 上的数据集和模型权重。与 Dolly v2 类似，我们只使用开源的、商业可允许的预训练模型和数据集，我们的模型既不受诸如使用LLaMA作为基础的模型的非商业条款的限制，也不受诸如使用ChatGPT的自我指令数据集的模型的非竞争条款的限制。查看我们的实时演示 here 。

• 开发者： PyThaiNLP 和 VISTEC-depa AI Research Institute of Thailand
• 模型类型：微调 XGLM-7.5B
• 语言（NLP）：en，th，ja，vi，理论上可以评估 XGLM-7.5B 的所有30种语言
• 许可证： CC-BY SA 4.0

模型来源

• 存储库： pythainlp/wangchanglm
• 博客： Medium
• 演示： Colab notebook

用途

直接使用

用于阅读理解、头脑风暴和创意写作的指令跟踪模型。

下游使用

该模型可以微调用于任何典型的指令跟踪用例。

超出范围的使用

我们不认为该模型在数学问题、推理和事实准确性方面表现良好。我们有意从这些用例中筛选出训练示例。

偏见、风险和限制

我们注意到与其他微调的指令跟踪模型（如数学问题、推理和事实准确性）类似的限制。尽管模型的滥用程度不如我们预期的那样高，但它们确实包含不可取的偏见和有毒性，并且应该进一步针对您特定的用例进行优化。

建议

用户（直接和下游用户）应该对模型的风险、偏见和限制有所了解。需要更多信息以进行进一步的建议。

如何开始使用模型

使用下面的代码来开始使用模型。

model_name = "pythainlp/wangchanglm-7.5B-sft-en"
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    return_dict=True, 
    load_in_8bit=True ,
    device_map="auto", 
    torch_dtype=torch.float16, 
    offload_folder="./", 
    low_cpu_mem_usage=True,
)
text = "เล่นหุ้นยังไงให้รวย"
tokenizer = AutoTokenizer.from_pretrained(model_name)
batch = tokenizer(text, return_tensors="pt")
with torch.cuda.amp.autocast(): 
  output_tokens = model.generate(
      input_ids=batch["input_ids"],
      max_new_tokens=max_gen_len, # 512
      begin_suppress_tokens = exclude_ids,
      no_repeat_ngram_size=2,
      
      #oasst k50
      top_k=50,
      top_p=top_p, # 0.95
      typical_p=1.,
      temperature=temperature, # 0.9
      
      # #oasst typical3
      # typical_p = 0.3,
      # temperature = 0.8,
      # repetition_penalty = 1.2,
  )
tokenizer.decode(output_tokens[0], skip_special_tokens=True)

训练详情

训练数据

微调数据集来源于 LAION OIG chip2 and infill_dbpedia （ Apache-2.0 ）、 DataBricks Dolly v2 （ Apache-2.0 ）、 OpenAI TL;DR （ MIT ）和 Hello-SimpleAI HC3 （ CC-BY SA ）。

训练过程

预处理详见 pythainlp/wangchanglm 。

• 训练方案：使用4个GPU的LoRA。更多细节请参阅 pythainlp/wangchanglm 。

评估

我们进行了类似于 Vicuna 的自动评估和人工评估。有关更多详细信息，请参阅我们的 blog 。

环境影响

实验是使用私有基础架构进行的，其碳效率为0.432 kgCO2eq/kWh。共计进行了500小时的计算，使用的硬件类型是Tesla V100-SXM2-32GB（TDP为300W）。总排放量估计为64.8 CO2eq，其中0％直接抵消。估计是使用 MachineLearning Impact calculator 进行的。

引用

BibTeX：

@software{charin_polpanumas_2023_7878101,
  author       = {Charin Polpanumas and
                  Wannaphong Phatthiyaphaibun and
                  Patomporn Payoungkhamdee and
                  Peerat Limkonchotiwat and
                  Lalita Lowphansirikul and
                  Can Udomcharoenchaikit and
                  Titipat Achakulwisut and
                  Ekapol Chuangsuwanich and
                  Sarana Nutanong},
  title        = {{WangChanGLM? — The Multilingual Instruction- 
                   Following Model}},
  month        = apr,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v0.1},
  doi          = {10.5281/zenodo.7878101},
  url          = {https://doi.org/10.5281/zenodo.7878101}
}

模型卡联系方式

PyThaiNLP