IDEA-CCNL/Erlangshen-TCBert-110M-Sentence-Embedding-Chinese

• Github: Fengshenbang-LM
• Docs: Fengshenbang-Docs

简介 Brief Introduction

110M参数的句子表征Topic Classification BERT (TCBert)。

TCBert模型具有110M个参数，用于中文话题分类任务的句子表征。

模型分类 Model Taxonomy

模型信息 Model Information

为了提高模型在话题分类上的句子表征效果，我们收集了大量话题分类数据进行基于普通提示的对比学习预训练。

为了在话题分类任务中提高模型的句子表征性能，我们收集了大量话题分类数据，并基于通用提示进行对比性预训练。

下游效果 Performance

我们为每个数据集设计了两个prompt模板。

我们为每个数据集设计了两个提示模板。

第一个prompt模板：

对于提示模板1：

第一个prompt模板的微调实验结果：

提示模板1的微调结果：

第一个prompt模板的句子相似度结果：

提示模板1的句子相似性结果：

第二个prompt模板：

对于提示模板2：

第二个prompt模板的微调结果：

提示模板2的微调结果：

第二个prompt模板的句子相似度结果：

提示模板2的句子相似性结果：

更多关于TCBERTs的细节，请参考我们的技术报告。基于新的数据，我们会更新TCBERTs，请留意我们仓库的更新。

要了解有关TCBERTs的更多详细信息，请参考我们的论文。我们可能会根据新的数据定期更新TCBERTs，请关注我们的仓库！

使用 Usage

使用示例 Usage Examples

# Prompt-based MLM fine-tuning
from transformers import BertForMaskedLM, BertTokenizer
import torch

# Loading models
tokenizer=BertTokenizer.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Sentence-Embedding-Chinese")
model=BertForMaskedLM.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Sentence-Embedding-Chinese")

# Prepare the data
inputs = tokenizer("下面是一则关于[MASK][MASK]的新闻：怎样的房子才算户型方正？", return_tensors="pt")
labels = tokenizer("下面是一则关于房产的新闻：怎样的房子才算户型方正？", return_tensors="pt")["input_ids"]
labels = torch.where(inputs.input_ids == tokenizer.mask_token_id, labels, -100)

# Output the loss
outputs = model(**inputs, labels=labels)
loss = outputs.loss

# Prompt-based Sentence Similarity
# To extract sentence representations.
from transformers import BertForMaskedLM, BertTokenizer
import torch

# Loading models
tokenizer=BertTokenizer.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Sentence-Embedding-Chinese")
model=BertForMaskedLM.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Sentence-Embedding-Chinese")

# Cosine similarity function
cos = torch.nn.CosineSimilarity(dim=0, eps=1e-8)

with torch.no_grad():

    # To extract sentence representations for training data
    training_input = tokenizer("怎样的房子才算户型方正？", return_tensors="pt")
    training_output = BertForMaskedLM(**token_text, output_hidden_states=True)
    training_representation = torch.mean(training_outputs.hidden_states[-1].squeeze(), dim=0)

    # To extract sentence representations for training data
    test_input = tokenizer("下面是一则关于[MASK][MASK]的新闻：股票放量下趺，大资金出逃谁在接盘？", return_tensors="pt")
    test_output = BertForMaskedLM(**token_text, output_hidden_states=True)
    test_representation = torch.mean(training_outputs.hidden_states[-1].squeeze(), dim=0)

# Calculate similarity scores
similarity_score = cos(training_representation, test_representation)

引用 Citation

如果您在您的工作中使用了我们的模型，可以引用我们的 技术报告 :

如果您在您的工作中使用了我们的模型，请引用以下论文

@article{han2022tcbert,
  title={TCBERT: A Technical Report for Chinese Topic Classification BERT},
  author={Han, Ting and Pan, Kunhao and Chen, Xinyu and Song, Dingjie and Fan, Yuchen and Gao, Xinyu and Gan, Ruyi and Zhang, Jiaxing},
  journal={arXiv preprint arXiv:2211.11304},
  year={2022}
}

如果您在您的工作中使用了我们的模型，可以引用我们的 网站 :

您也可以引用我们的 website :

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}