Catalan BERTa-v2 (roberta-base-ca-v2) 基础模型

目录

• 模型描述
• 预期用途和限制
• 如何使用
• 限制和偏差
• 训练
  • 训练数据
  • 训练过程
• 评估
  • CLUB基准
  • 评估结果
• 许可信息
• 其他信息
  • 作者
  • 联系信息
  • 版权
  • 许可信息
  • 资助
  • 引用信息
  • 免责声明

模型描述

catalan BERTa-v2 (roberta-base-ca-v2) 是一个基于Transformer的加泰罗尼亚语掩码语言模型。它基于 RoBERTA 基础模型，并使用从公开可用的语料库和网络爬虫收集的中等规模语料库进行训练。

预期用途和限制

catalan BERTa-v2 (roberta-base-ca-v2) 模型只适用于掩码语言建模，可以执行填充掩码任务（尝试使用推理API或阅读下一部分）。然而，它适用于在非生成下游任务（如问答、文本分类或命名实体识别）上进行微调。

如何使用

使用此模型的方法如下：

from transformers import AutoModelForMaskedLM
from transformers import AutoTokenizer, FillMaskPipeline
from pprint import pprint
tokenizer_hf = AutoTokenizer.from_pretrained('projecte-aina/roberta-base-ca-v2')
model = AutoModelForMaskedLM.from_pretrained('projecte-aina/roberta-base-ca-v2')
model.eval()
pipeline = FillMaskPipeline(model, tokenizer_hf)
text = f"Em dic <mask>."
res_hf = pipeline(text)
pprint([r['token_str'] for r in res_hf])

限制和偏差

在提交时，我们尚未采取措施评估模型中的偏差。但是，我们意识到我们的模型可能存在偏差，因为这些语料库是使用多个网页源进行爬取技术收集的。我们打算将来在这些领域进行研究，如果完成，将更新此模型卡。

训练

训练数据

训练语料库由从网络爬取和公共语料库中收集的几个语料库组成。

训练过程

训练语料库已使用 Byte-Pair Encoding (BPE) 的字节版本进行标记化，该版本在原始 RoBERTA 模型中使用了一个大小为50,262的词汇表。 RoBERTa-ca-v2的预训练采用了与原始工作相同的方法进行的掩码语言模型训练，并使用相同的超参数。训练总共持续了96小时，使用了16个带有16GB DDRAM的NVIDIA V100 GPU。

评估

CLUB基准

BERTa模型已在加泰罗尼亚语理解评估基准（CLUB）的下游任务上进行了微调，该基准是与模型一起创建的。

它包含以下任务及其相关数据集：

下面是数据集的训练/开发/测试拆分情况：

评估结果

1：在CatalanQA上进行训练，并在XQuAD-ca上进行测试。

其他信息

作者

巴塞罗那超级计算中心（Barcelona Supercomputing Center）的文本挖掘单元（TeMU） （bsc-temu@bsc.es）

联系信息

如需更多信息，请发送电子邮件至aina@bsc.es

版权

版权所有 (c) 2022 巴塞罗那超级计算中心文本挖掘单元（Text Mining Unit at Barcelona Supercomputing Center）

许可信息

Apache License, Version 2.0

资助

本工作由 Departament de la Vicepresidència i de Polítiques Digitals i Territori de la Generalitat de Catalunya 在 Projecte AINA 框架内资助。

引用信息

如果您在工作中使用了这些资源（数据集或模型），请引用我们最新的论文：

@inproceedings{armengol-estape-etal-2021-multilingual,
    title = "Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? {A} Comprehensive Assessment for {C}atalan",
    author = "Armengol-Estap{\'e}, Jordi  and
      Carrino, Casimiro Pio  and
      Rodriguez-Penagos, Carlos  and
      de Gibert Bonet, Ona  and
      Armentano-Oller, Carme  and
      Gonzalez-Agirre, Aitor  and
      Melero, Maite  and
      Villegas, Marta",
    booktitle = "Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021",
    month = aug,
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.findings-acl.437",
    doi = "10.18653/v1/2021.findings-acl.437",
    pages = "4933--4946",
}

免责声明

此库中发布的模型仅供广义目的使用，并可提供给第三方使用。这些模型可能存在偏差和/或任何其他不良扭曲。

当第三方使用这些模型（或使用基于这些模型的系统）部署或提供给其他方系统和/或服务，或成为模型的用户时，他们应注意，他们有责任减轻因使用而产生的风险，并始终遵守适用法规，包括关于使用人工智能的法规。

在任何情况下，模型的所有者和创建者（巴塞罗那超级计算中心）对第三方使用这些模型产生的任何结果不承担责任。