(BERT base) 法律领域葡萄牙语NER模型

正在建设中的自述文件

ner-legal-bert-base-cased-ptbr是一个用于葡萄牙语法律领域的NER模型（令牌分类），该模型通过使用NER目标从模型 dominguesm/legal-bert-base-cased-ptbr 进行了微调。

该模型旨在辅助法律领域、计算法学和法律技术应用的自然语言处理研究。使用了葡萄牙语的多个法律文本（详细信息如下），并使用了以下标签：

• PESSOA
• ORGANIZACAO
• LOCAL
• TEMPO
• LEGISLACAO
• JURISPRUDENCIA

这些标签受到了数据集 LeNER_br 的启发。

训练数据集

ner-legal-bert-base-cased-ptbr的数据集包括：

• 971932个杂项法律文件示例（训练集拆分）
• 53996个杂项法律文件示例（验证集拆分）
• 53997个杂项法律文件示例（测试集拆分）

使用的数据由巴西联邦最高法院提供，遵循以下使用条款： LREC 2020 。

本项目的结果不以任何方式暗示巴西联邦最高法院的立场，所有责任均由该模型的作者承担。

使用模型进行生产推理

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch

# parameters
model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"
model = AutoModelForTokenClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

input_text = "Acrescento que não há de se falar em violação do artigo 114, § 3º, da Constituição Federal, posto que referido dispositivo revela-se impertinente, tratando da possibilidade de ajuizamento de dissídio coletivo pelo Ministério Público do Trabalho nos casos de greve em atividade essencial."

# tokenization
inputs = tokenizer(input_text, max_length=512, truncation=True, return_tensors="pt")
tokens = inputs.tokens()

# get predictions
outputs = model(**inputs).logits
predictions = torch.argmax(outputs, dim=2)

# print predictions
for token, prediction in zip(tokens, predictions[0].numpy()):
    print((token, model.config.id2label[prediction]))

您也可以使用pipeline。但是，输入序列的最大长度似乎存在问题。

from transformers import pipeline

model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"

ner = pipeline(
    "ner",
    model=model_name
) 

ner(input_text, aggregation_strategy="average")

训练过程

超参数

• per_device_batch_size = 64
• gradient_accumulation_steps = 2
• learning_rate = 2e-5
• num_train_epochs = 3
• weight_decay = 0.01
• optimizer = torch.optim.AdamW
• epsilon = 1e-08
• lr_scheduler_type = linear

• save_total_limit = 3
• logging_steps = 1000
• eval_steps = logging_steps
• evaluation_strategy = 'steps'
• logging_strategy = 'steps'
• save_strategy = 'steps'
• save_steps = logging_steps
• load_best_model_at_end = True
• fp16 = True

训练结果

Num examples = 971932
Num Epochs = 3
Instantaneous batch size per device = 64
Total train batch size (w. parallel, distributed & accumulation) = 128
Gradient Accumulation steps = 2
Total optimization steps = 22779
Evaluation Infos:
  Num examples = 53996
  Batch size = 128

命名实体（测试数据集）的验证指标

• Num examples = 53997
• overall_precision：0.9432396865925381
• overall_recall：0.9614334116769161
• overall_f1：0.9522496545298874
• overall_accuracy：0.9894741602608071

注

• 在制作此readme时，我以Pierre Guillou的readme（ here 可用）为基础，完全复制了部分内容。