西班牙语SQAC上细调的西班牙Longformer用于西班牙问答 ?❓

longformer-base-4096-spanish 在 SQAC 上进行了细调，用于 Q&A 的下游任务。

模型细节 ?

longformer-base-4096-spanish 是一个类似于BERT的模型，从RoBERTa检查点（在本例中为BERTIN）开始，并在长文档（来自BETO的all_wikis）上进行了MLM的预训练。它支持长度最长为4,096的序列！

数据集细节 ?

该数据集包含6,247个上下文和18,817个问题及其回答，每个片段为1至5个。上下文的来源包括：

• 从 Wikipedia in Spanish 的百科文章中，使用 CC-by-sa licence 进行许可。
• 来自 Wikinews in Spanish 的新闻，使用 CC-by licence 进行许可。
• 来自西班牙语语料库 AnCora 的文本，该语料库是来自不同新闻稿和文学来源的混合，使用 CC-by licence 进行许可。该数据集可用于构建抽取型问答。

评估指标 ?

待定

使用 HF pipeline 进行快速使用 ?

from transformers import pipeline
qa_pipe = pipeline("question-answering", model='mrm8488/longformer-base-4096-spanish-finetuned-squad')
context = '''
Hace aproximadamente un año, Hugging Face, una startup de procesamiento de lenguaje natural con sede en Brooklyn, Nueva York, lanzó BigScience, un proyecto internacional con más de 900 investigadores que está diseñado para comprender mejor y mejorar la calidad de los grandes modelos de lenguaje natural. Los modelos de lenguaje grande (LLM), algoritmos que pueden reconocer, predecir y generar lenguaje sobre la base de conjuntos de datos basados ​​en texto, han captado la atención de empresarios y entusiastas de la tecnología por igual. Pero el costoso hardware requerido para desarrollar LLM los ha mantenido en gran medida fuera del alcance de los investigadores sin los recursos de compañías como OpenAI y DeepMind detrás de ellos.

Inspirándose en organizaciones como la Organización Europea para la Investigación Nuclear (también conocida como CERN) y el Gran Colisionador de Hadrones, el objetivo de BigScience es crear LLM y grandes conjuntos de datos de texto que eventualmente serán de código abierto para la IA más amplia. comunidad. Los modelos serán entrenados en la supercomputadora Jean Zay ubicada cerca de París, Francia, que se encuentra entre las máquinas más poderosas del mundo.
'''
question = "¿Cuál es el objetivo de BigScience?"

qa_pipe({'context':context, 'question': question})
# It outpus

{'answer': 'comprender mejor y mejorar la calidad de los grandes modelos de lenguaje natural.',
 'end': 305,
 'score': 0.9999799728393555,
 'start': 224}

由 Manuel Romero/@mrm8488 创建，由 Narrativa 提供支持

以 ❤ 在西班牙制作