Erlangshen-TCBert-110M-Classification-Chinese

• Main Page: Fengshenbang
• Github: Fengshenbang-LM

简介 Brief Introduction

110M参数的话题分类BERT模型 (TCBert)。

这个110M参数的TCBert模型是为中文话题分类任务进行预训练的，但不仅限于此。

模型分类 Model Taxonomy

模型信息 Model Information

为了提高模型在话题分类任务上的性能，我们收集了大量的话题分类数据，用通用的提示进行预训练。

为了提高该模型在话题分类任务中的表现，我们使用了多个话题分类数据集，并采用通用的提示进行预训练。

下游效果 Performance

对于每个数据集，我们设计了两个不同的提示模板。We design two prompt templates for each dataset.

第一个提示模板：对于提示模板1：

第一个提示模板的微调结果：The fine-tuning results for prompt template 1:

第一个提示模板的句子相似度结果：

第一个提示模板的句子相似度结果：The sentence similarity results for prompt template 1:

第二个提示模板：For prompt template 2:

第二个提示模板的微调结果：

The fine-tuning results for prompt template 2:

第二个提示模板的句子相似度结果：

The sentence similarity results for prompt template 2:

更多关于TCBERTs的细节，请参考我们的技术报告。基于新的数据，我们会更新TCBERTs，请留意我们仓库的更新。

欲了解有关TCBERTs的更多详细信息，请参阅我们的论文。我们可能会根据新的数据定期更新TCBERTs，请关注我们的存储库！

使用 Usage

使用示例 Usage Examples

# Prompt-based MLM fine-tuning
from transformers import BertForMaskedLM, BertTokenizer
import torch

# Loading models
tokenizer=BertTokenizer.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Classification-Chinese")
model=BertForMaskedLM.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Classification-Chinese")

# Prepare the data
inputs = tokenizer("下面是一则关于[MASK][MASK]的新闻：怎样的房子才算户型方正？", return_tensors="pt")
labels = tokenizer("下面是一则关于房产的新闻：怎样的房子才算户型方正？", return_tensors="pt")["input_ids"]
labels = torch.where(inputs.input_ids == tokenizer.mask_token_id, labels, -100)

# Output the loss
outputs = model(**inputs, labels=labels)
loss = outputs.loss

# Prompt-based Sentence Similarity
# To extract sentence representations.
from transformers import BertForMaskedLM, BertTokenizer
import torch

# Loading models
tokenizer=BertTokenizer.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Classification-Chinese")
model=BertForMaskedLM.from_pretrained("IDEA-CCNL/Erlangshen-TCBert-110M-Classification-Chinese")

# Cosine similarity function
cos = torch.nn.CosineSimilarity(dim=0, eps=1e-8)

with torch.no_grad():

    # To extract sentence representations for training data
    training_input = tokenizer("怎样的房子才算户型方正？", return_tensors="pt")
    training_output = BertForMaskedLM(**token_text, output_hidden_states=True)
    training_representation = torch.mean(training_outputs.hidden_states[-1].squeeze(), dim=0)

    # To extract sentence representations for training data
    test_input = tokenizer("下面是一则关于[MASK][MASK]的新闻：股票放量下趺，大资金出逃谁在接盘？", return_tensors="pt")
    test_output = BertForMaskedLM(**token_text, output_hidden_states=True)
    test_representation = torch.mean(training_outputs.hidden_states[-1].squeeze(), dim=0)

# Calculate similarity scores
similarity_score = cos(training_representation, test_representation)

引用 Citation

如果您在您的工作中使用了我们的模型，可以引用我们的 技术报告 :

如果您在您的工作中使用了我们的模型，请引用以下论文：

@article{han2022tcbert,
  title={TCBERT: A Technical Report for Chinese Topic Classification BERT},
  author={Han, Ting and Pan, Kunhao and Chen, Xinyu and Song, Dingjie and Fan, Yuchen and Gao, Xinyu and Gan, Ruyi and Zhang, Jiaxing},
  journal={arXiv preprint arXiv:2211.11304},
  year={2022}
}

如果您在您的工作中使用了我们的模型，可以引用我们的 网站 :

您还可以引用我们的 website :

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}