概述

语言模型: gbert-large-sts

语言: 德语 训练数据: 德语STS基准训练集和开发集 评估数据: 德语STS基准测试集 基础设施: 1x V100 GPU 发布日期: 2021年8月12日

详情

• 我们训练了一个gbert-large模型，用于估计德语文本对的语义相似度。数据集是 STS benchmark 的机器翻译版本，可在 here 上获得。

超参数

batch_size = 16
n_epochs = 4
warmup_ratio = 0.1
learning_rate = 2e-5
lr_schedule = LinearWarmup

性能

敬请关注...并留意arxiv.org上的新论文 ;)

作者

• Julian Risch: julian.risch [at] deepset.ai
• Timo Möller: timo.moeller [at] deepset.ai
• Julian Gutsch: julian.gutsch [at] deepset.ai
• Malte Pietsch: malte.pietsch [at] deepset.ai

关于我们

我们通过开源方式为工业界提供自然语言处理技术！ 我们的重点: 产业特定语言模型和大规模问答系统。

我们的一些工作:

• German BERT (aka "bert-base-german-cased")
• GermanQuAD and GermanDPR datasets and models (aka "gelectra-base-germanquad", "gbert-base-germandpr")
• FARM
• Haystack

联系我们: Twitter | LinkedIn | Website

顺便说一句: we're hiring!