BertNER

此模型是在从 ARMAN 、 PEYMA 和 WikiANN 收集的混合命名实体识别（NER）数据集上进行了微调，该数据集涵盖了十种实体类型：

日期（DAT）
事件（EVE）
设施（FAC）
位置（LOC）
货币（MON）
组织（ORG）
百分比（PCT）
人名（PER）
产品（PRO）
时间（TIM）

数据集信息

Records	B-DAT	B-EVE	B-FAC	B-LOC	B-MON	B-ORG	B-PCT	B-PER	B-PRO	B-TIM	I-DAT	I-EVE	I-FAC	I-LOC	I-MON	I-ORG	I-PCT	I-PER	I-PRO	I-TIM
Train	29133	1423	1487	1400	13919	417	15926	355	12347	1855	150	1947	5018	2421	4118	1059	19579	573	7699	1914	332
Valid	5142	267	253	250	2362	100	2651	64	2173	317	19	373	799	387	717	270	3260	101	1382	303	35
Test	6049	407	256	248	2886	98	3216	94	2646	318	43	568	888	408	858	263	3967	141	1707	296	78

评估

以下表格总结了该模型在整体和每个类别上获得的分数。

整体

Model	accuracy	precision	recall	f1
Bert	0.995086	0.953454	0.961113	0.957268

每个实体

| | 数量 | 精确率 | 召回率 | F1-值 ||:---:|:------:|:---------:|:--------:|:--------:|| DAT | 407 | 0.860636 | 0.864865 | 0.862745 || EVE | 256 | 0.969582 | 0.996094 | 0.982659 || FAC | 248 | 0.976190 | 0.991935 | 0.984000 || LOC | 2884 | 0.970232 | 0.971914 | 0.971072 || MON | 98 | 0.905263 | 0.877551 | 0.891192 || ORG | 3216 | 0.939125 | 0.954602 | 0.946800 || PCT | 94 | 1.000000 | 0.968085 | 0.983784 || PER | 2645 | 0.965244 | 0.965974 | 0.965608 || PRO | 318 | 0.981481 | 1.000000 | 0.990654 || TIM | 43 | 0.692308 | 0.837209 | 0.757895 |

如何使用

您可以使用 Transformers 的 pipeline 进行命名实体识别。

安装要求

pip install transformers

如何使用 pipeline 进行预测

from transformers import AutoTokenizer
from transformers import AutoModelForTokenClassification  # for pytorch
from transformers import TFAutoModelForTokenClassification  # for tensorflow
from transformers import pipeline


model_name_or_path = "HooshvareLab/bert-fa-zwnj-base-ner" 
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForTokenClassification.from_pretrained(model_name_or_path)  # Pytorch
# model = TFAutoModelForTokenClassification.from_pretrained(model_name_or_path)  # Tensorflow

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "در سال ۲۰۱۳ درگذشت و آندرتیکر و کین برای او مراسم یادبود گرفتند."

ner_results = nlp(example)
print(ner_results)

有问题吗？

在 ParsNER Issues 的 GitHub 存储库中发布问题。

作者:

Hooshvare Research Lab

数据集大小:

1.32 GB