BERT codemixed基础模型（大小写敏感）的西班牙英语

该模型是使用 lingualytics 开源库构建的，该库支持混合编码分析。

模型描述

模型的输入：任何混合编码的西班牙英语文本 输出：情感（0 - 消极，1 - 中立，2 - 积极）

我使用了Huggingface的bert-base-multilingual-cased模型，并在 CS-EN-ES-CORPUS 数据集上进行了微调。

该模型在数据集上的性能

预期使用和限制

在使用该模型之前，请确保使用 these methods 对数据进行预处理。

以下是如何使用该模型在PyTorch中获取给定文本的特征：

# You can include sample code which will be formatted
from transformers import BertTokenizer, BertModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained('rohanrajpal/bert-base-en-es-codemix-cased')
model = AutoModelForSequenceClassification.from_pretrained('rohanrajpal/bert-base-en-es-codemix-cased')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

以及在TensorFlow中的使用方法：

from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('rohanrajpal/bert-base-en-es-codemix-cased')
model = TFBertModel.from_pretrained('rohanrajpal/bert-base-en-es-codemix-cased')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

由于我不懂西班牙语，无法验证注释或数据集本身的质量。这是一种非常简单的迁移学习方法，我愿意讨论如何改进它。

训练数据

我在 bert-base-multilingual-cased model 数据集上进行了训练。

培训程序

按照 here 进行的预处理技术。

评估结果

BibTeX条目和引用信息

@inproceedings{khanuja-etal-2020-gluecos,
    title = "{GLUEC}o{S}: An Evaluation Benchmark for Code-Switched {NLP}",
    author = "Khanuja, Simran  and
      Dandapat, Sandipan  and
      Srinivasan, Anirudh  and
      Sitaram, Sunayana  and
      Choudhury, Monojit",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.329",
    pages = "3575--3585"
}