SEC-BERT

SEC-BERT是金融领域的BERT模型系列，旨在协助金融自然语言处理研究和金融科技应用。SEC-BERT包括以下模型：

• SEC-BERT-BASE ：与BERT-BASE相同的架构，用于金融文件训练。
• SEC-BERT-NUM（此模型）：与SEC-BERT-BASE相同，但我们用[NUM]伪token替换每个数字token，以统一处理所有数字表达式，禁止其分割）。
• SEC-BERT-SHAPE ：与SEC-BERT-BASE相同，但我们用伪token代替数字，以代表数字的形状，因此数字表达式（已知形状）不再分割，例如，'53.2'变成'[XX.X]'，'40,200.5'变成'[XX,XXX.X]'。

预训练语料库

该模型在1993-2019年的260,773份10-K申报文件上进行了预训练，这些文件可以公开获取，链接如下：

预训练细节

• 我们通过使用预训练语料库自定义了一个由30k个子词组成的词汇表。
• 我们使用了官方提供的代码进行了BERT的训练。
• 然后，我们使用了Hugging Face的转换脚本将TF检查点转换为所需格式，以便能够以两行代码在PyTorch和TF2中加载模型。
• 我们发布了一个类似于英文BERT-BASE模型的模型（12层，768隐藏单元，12个头部，110M参数）。
• 我们选择了相同的训练设置：100万个训练步骤，每个批次256个长度为512的序列，初始学习率为1e-4。
• 我们能够免费使用Google提供的单个Google Cloud TPU v3-8，同时也利用了 GCP research credits 。

加载预训练模型

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-num")
model = AutoModel.from_pretrained("nlpaueb/sec-bert-num")

预处理文本

要使用SEC-BERT-NUM，您需要对文本进行预处理，将每个数字标记替换为[NUM]伪token。下面是一个简单句子的预处理示例。这种方法非常简单，您可以根据需要自由修改。

import re
import spacy
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-num")
spacy_tokenizer = spacy.load("en_core_web_sm")

sentence = "Total net sales decreased 2% or $5.4 billion during 2019 compared to 2018."

def sec_bert_num_preprocess(text):
    tokens = [t.text for t in spacy_tokenizer(text)]

    processed_text = []
    for token in tokens:
        if re.fullmatch(r"(\d+[\d,.]*)|([,.]\d+)", token):
            processed_text.append('[NUM]')
        else:
            processed_text.append(token)
            
    return ' '.join(processed_text)
        
tokenized_sentence = tokenizer.tokenize(sec_bert_num_preprocess(sentence))
print(tokenized_sentence)
"""
['total', 'net', 'sales', 'decreased', '[NUM]', '%', 'or', '$', '[NUM]', 'billion', 'during', '[NUM]', 'compared', 'to', '[NUM]', '.']
"""

使用SEC-BERT变体作为语言模型

出版物

如果您使用此模型，请引用以下文章： FiNER: Financial Numeric Entity Recognition for XBRL Tagging Lefteris Loukas, Manos Fergadiotis, Ilias Chalkidis, Eirini Spyropoulou, Prodromos Malakasiotis, Ion Androutsopoulos和George Paliouras，发表于第60届计算语言学协会年会（ACL 2022）（长文），爱尔兰都柏林，2022年5月22日-27日

@inproceedings{loukas-etal-2022-finer,
    title = {FiNER: Financial Numeric Entity Recognition for XBRL Tagging},
    author = {Loukas, Lefteris and
      Fergadiotis, Manos and
      Chalkidis, Ilias and
      Spyropoulou, Eirini and
      Malakasiotis, Prodromos and
      Androutsopoulos, Ion and
      Paliouras George},
    booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022)},
    publisher = {Association for Computational Linguistics},
    location = {Dublin, Republic of Ireland},
    year = {2022},
    url = {https://arxiv.org/abs/2203.06482}
}

关于我们

AUEB's Natural Language Processing Group 开发算法、模型和系统，使计算机能够处理和生成自然语言文本。

该小组目前的研究兴趣包括：

• 用于数据库、本体、文档集和Web的问答系统，特别是生物医学问答；
• 从数据库和本体生成自然语言，特别是语义Web本体；对文本进行分类，包括过滤垃圾邮件和辱骂内容；
• 信息提取和意见挖掘，包括法律文本分析和情感分析；
• 希腊语的自然语言处理工具，例如解析器和命名实体识别器；自然语言处理中的机器学习，特别是深度学习。

该小组是雅典经济与商业大学信息处理实验室的一部分。

Manos Fergadiotis 代表 AUEB's Natural Language Processing Group