Sentence BERT基础日语模型

此存储库包含用于日语的Sentence BERT基础模型。

预训练模型

该模型使用了一个预训练模型：日语BERT模型 colorfulscoop/bert-base-ja v1.0，发布在 Creative Commons Attribution-ShareAlike 3.0 。

训练数据

使用了 Japanese SNLI dataset 发布在 Creative Commons Attribution-ShareAlike 4.0 的数据进行训练。

初始训练数据集被分为训练/验证数据集。最终准备了以下数据。

• 训练数据：523,005个样本
• 验证数据：10,000个样本
• 测试数据：3,916个样本

模型描述

该模型使用来自 sentence-transformers 的SentenceTransformer模型。模型的详细信息如下。

>>> from sentence_transformers import SentenceTransformer
>>> SentenceTransformer("colorfulscoop/sbert-base-ja")
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)

训练

该模型使用了3个标签的SNLI的Softmax分类器对 colorfulscoop/bert-base-ja 进行微调。使用学习率为2e-05的AdamW优化器，在10％的训练数据上进行了线性预热。模型使用批量大小为8进行了1个epoch的训练。

注意：在原始的 Sentence BERT 论文中，SNLI和多样性NLI训练的模型批量大小为16。在这个模型中，数据集大约比原始数据集小一半，因此批量大小设置为原始批量大小16的一半。

训练在Ubuntu 18.04.5 LTS上使用一块RTX 2080 Ti进行。

训练后，测试集准确率达到0.8529。

训练代码位于 a GitHub repository 中。

用法

首先，安装依赖项。

$ pip install sentence-transformers==2.0.0

然后初始化SentenceTransformer模型，并使用encode方法转换为向量。

>>> from sentence_transformers import SentenceTransformer
>>> model = SentenceTransformer("colorfulscoop/sbert-base-ja")
>>> sentences = ["外をランニングするのが好きです", "海外旅行に行くのが趣味です"]
>>> model.encode(sentences)

许可证

版权所有©2021 Colorful Scoop

此存储库中包含的所有模型均根据 Creative Commons Attribution-ShareAlike 4.0 的许可证进行许可。

免责声明：使用此模型的风险由您自行承担。Colorful Scoop对模型的任何输出不提供任何保证或担保。对于由模型输出引起的任何问题、损失或损害，Colorful Scoop概不负责。

该模型使用了以下预训练模型。

• 名称：bert-base-ja
• 作者：(c) 2021 Colorful Scoop
• 许可证： Creative Commons Attribution-ShareAlike 3.0
• 免责声明：该模型有可能生成训练数据中的相似文本、不真实的文本或带有偏见的文本。使用该模型的风险由您自行承担。Colorful Scoop对模型的任何输出不提供任何保证或担保。对于由模型输出引起的任何问题、损失或损害，Colorful Scoop概不负责。
• 链接： https://huggingface.co/colorfulscoop/bert-base-ja

该模型使用以下数据进行微调。

• 名称：日本語SNLI(JSNLI)データセット
• 作者： https://nlp.ist.i.kyoto-u.ac.jp/index.php?日本語SNLI(JSNLI)データセット
• 许可证： CC BY-SA 4.0
• 链接： https://nlp.ist.i.kyoto-u.ac.jp/index.php?日本語SNLI(JSNLI)データセット