IDEA-CCNL/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese

• Main Page: Fengshenbang
• Github: Fengshenbang-LM

简介 Brief Introduction

330M参数的句子表征Topic Classification BERT (TCBert)。

TCBert是一个具有330M参数的预训练模型，用于句子表征和中文话题分类任务。

模型分类 Model Taxonomy

模型信息 Model Information

为了提高模型在话题分类上句子表征效果，我们收集了大量话题分类数据进行基于prompts的对比学习预训练。

为了提高模型在话题分类任务中的句子表征性能，我们收集了大量的话题分类数据集，进行了基于通用提示的对比学习预训练。

下游效果 Performance

我们为每个数据集设计了两个prompt模板。

对于prompt模板1：

prompt模板1的微调结果：

prompt模板1的微调结果：

prompt模板1的句子相似度结果：

prompt模板1的句子相似度结果：

对于prompt模板2：

对于prompt模板2：

prompt模板2的微调结果：

prompt模板2的微调结果：

prompt模板2的句子相似度结果：

prompt模板2的句子相似度结果：

更多关于TCBERTs的细节，请参考我们的技术报告。基于新的数据，我们会更新TCBERT，请留意我们仓库的更新。

请参考我们的论文获取关于TCBERTs更多的细节。我们会根据新的数据定期更新TCBERT，请关注我们的仓库！

使用 Usage

使用示例 Usage Examples

# Prompt-based MLM fine-tuning
from transformers import BertForMaskedLM, BertTokenizer
import torch

# Loading models
tokenizer=BertTokenizer.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese")
model=BertForMaskedLM.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese")

# Prepare the data
inputs = tokenizer("下面是一则关于[MASK][MASK]的新闻：怎样的房子才算户型方正？", return_tensors="pt")
labels = tokenizer("下面是一则关于房产的新闻：怎样的房子才算户型方正？", return_tensors="pt")["input_ids"]
labels = torch.where(inputs.input_ids == tokenizer.mask_token_id, labels, -100)

# Output the loss
outputs = model(**inputs, labels=labels)
loss = outputs.loss

# Prompt-based Sentence Similarity
# To extract sentence representations.
from transformers import BertForMaskedLM, BertTokenizer
import torch

# Loading models
tokenizer=BertTokenizer.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese")
model=BertForMaskedLM.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese")

# Cosine similarity function
cos = torch.nn.CosineSimilarity(dim=0, eps=1e-8)

with torch.no_grad():

    # To extract sentence representations for training data
    training_input = tokenizer("怎样的房子才算户型方正？", return_tensors="pt")
    training_output = BertForMaskedLM(**token_text, output_hidden_states=True)
    training_representation = torch.mean(training_outputs.hidden_states[-1].squeeze(), dim=0)

    # To extract sentence representations for training data
    test_input = tokenizer("下面是一则关于[MASK][MASK]的新闻：股票放量下趺，大资金出逃谁在接盘？", return_tensors="pt")
    test_output = BertForMaskedLM(**token_text, output_hidden_states=True)
    test_representation = torch.mean(training_outputs.hidden_states[-1].squeeze(), dim=0)

# Calculate similarity scores
similarity_score = cos(training_representation, test_representation)

引用 Citation

如果您在您的工作中使用了我们的模型，可以引用我们的 技术报告 :

如果您在您的工作中使用了我们的模型，请引用以下论文：

@article{han2022tcbert,
  title={TCBERT: A Technical Report for Chinese Topic Classification BERT},
  author={Han, Ting and Pan, Kunhao and Chen, Xinyu and Song, Dingjie and Fan, Yuchen and Gao, Xinyu and Gan, Ruyi and Zhang, Jiaxing},
  journal={arXiv preprint arXiv:2211.11304},
  year={2022}
}

如果您在您的工作中使用了我们的模型，可以引用我们的 网站 :

如果您在您的工作中使用了我们的模型，请引用以下论文：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}