OPT-IML

模型描述

OPT-IML (OPT + Instruction Meta-Learning) 是一组经过指令调整的 OPT 版本，针对来自 8 个 NLP 基准测试的约2000个 NLP 任务进行了调整，被称为 OPT-IML 基准测试。

我们提供两个模型版本：

• OPT-IML 在1500个任务上进行了训练，并保留了一些任务用于下游评估目的，和
• OPT-IML-Max 在所有约2000个任务上进行了训练

使用方法

对于像这样的大型 OPT 模型，不建议使用文本生成流程，因为需要在 GPU 上以半精度加载模型以加速生成并优化内存消耗。建议按照以下方式直接调用 generate 方法：

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> import torch

>>> model = AutoModelForCausalLM.from_pretrained("facebook/opt-iml-max-30b", torch_dtype=torch.float16).cuda()

>>> # the fast tokenizer currently does not work correctly
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/opt-iml-max-30b", use_fast=False)

>>> prompt = "What is the color of a carrot?\nA:"

>>> input_ids = tokenizer(prompt, return_tensors="pt").input_ids.cuda()

>>> generated_ids = model.generate(input_ids)

>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)

限制和偏见

虽然 OPT-IML 模型在大量评估中优于基准 OPT，但它们仍然容易受到使用大型语言模型的各种风险的影响，包括事实正确性、生成有害语言和强化刻板印象。尽管我们发布了 OPT-IML 模型来促进对指令调整的未来工作，并改善可用的大型指令调整因果语言模型，但使用这些模型应遵守负责任的最佳实践。

训练数据

OPT-IML 模型是在 OPT-IML 基准测试上训练的，这是一个大型指令元学习 (IML) 基准测试，包括来自 8 个现有基准测试（如 Super-Natural Instructions、FLAN、PromptSource 等）的 2000 个 NLP 任务，并将其整合到任务类别中。

训练过程

文本使用 GPT2 字节级版本的 Byte Pair Encoding (BPE)（用于 Unicode 字符）进行标记化，词汇表大小为50272。输入是2048个连续令牌的序列。

30B 模型在 64 台 40GB 的 A100 GPU 上进行了微调。在微调过程中，模型看到了大约 20亿个令牌，仅占 OPT 预训练预算的 0.6%。

BibTeX 录入和引文信息

@misc{iyer2022opt,
      title={OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization}, 
      author={Iyer, Srinivasan and Lin, Xi Victoria and Pasunuru, Ramakanth and Mihaylov, Todor and Simig, D{\'a}niel and Yu, Ping and Shuster, Kurt and Wang, Tianlu and Liu, Qing and Koura, Punit Singh and others},
      year={2022},
      eprint={2212.12017},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}