SEC-BERT

SEC-BERT是一个专为金融领域开发的BERT模型系列，旨在辅助金融自然语言处理研究和金融科技应用。SEC-BERT包括以下模型：

• SEC-BERT-BASE ：与BERT-BASE具有相同的架构，使用金融文档进行训练。
• SEC-BERT-NUM ：与SEC-BERT-BASE相同，但我们用[NUM]伪标记替换了每个数字标记，以统一处理所有数值表达式，防止它们被分割。
• SEC-BERT-SHAPE （本模型）：与SEC-BERT-BASE相同，但我们用表示数字形状的伪标记替换了数字，因此数值表达式（已知形状）不再被分割，例如，'53.2'变为'[XX.X]'，'40,200.5'变为'[XX,XXX.X]'。

预训练语料库

该模型基于1993年至2019年的260,773份10-K备案文件进行了预训练，这些文件可在 U.S. Securities and Exchange Commission (SEC) 上公开获取。

预训练细节

• 我们通过在预训练语料库上从头开始训练 BertWordPieceTokenizer 创建了一个新的30k子词词汇表。
• 我们使用了 Google BERT's GitHub repository 提供的官方代码进行BERT的训练。
• 然后，我们使用了 Hugging Face 的 Transformers 转换脚本将TF检查点转换为所需格式，以便能够在两行代码中加载模型以供PyTorch和TF2用户使用。
• 我们发布了一个类似于英文BERT-BASE模型的模型（12层，768隐藏层，12头，110M参数）。
• 我们选择遵循相同的训练设置：100万个训练步骤，每个批次256个长度为512的序列，初始学习率为1e-4。
• 我们能够使用免费提供的单个Google Cloud TPU v3-8，同时还利用了 TensorFlow Research Cloud (TRC) 和 GCP research credits 。感谢Google两个项目对我们的支持！

加载预训练模型

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-shape")
model = AutoModel.from_pretrained("nlpaueb/sec-bert-shape")

预处理文本

要使用SEC-BERT-SHAPE，您需要对文本进行预处理，将每个数字标记替换为对应的形状伪标记，来自一个包含214个预定义形状伪标记的列表。如果数值标记不对应任何形状伪标记，则用[NUM]伪标记进行替换。以下是如何预处理简单句子的示例。这种方法非常简单，您可以根据需要进行修改。

import re
import spacy
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-shape")
spacy_tokenizer = spacy.load("en_core_web_sm")

sentence = "Total net sales decreased 2% or $5.4 billion during 2019 compared to 2018."

def sec_bert_shape_preprocess(text):
    tokens = [t.text for t in spacy_tokenizer(sentence)]

    processed_text = []
    for token in tokens:
        if re.fullmatch(r"(\d+[\d,.]*)|([,.]\d+)", token):
            shape = '[' + re.sub(r'\d', 'X', token) + ']'
            if shape in tokenizer.additional_special_tokens:
                processed_text.append(shape)
            else:
                processed_text.append('[NUM]')
        else:
            processed_text.append(token)
            
    return ' '.join(processed_text)
        
tokenized_sentence = tokenizer.tokenize(sec_bert_shape_preprocess(sentence))
print(tokenized_sentence)
"""
['total', 'net', 'sales', 'decreased', '[X]', '%', 'or', '$', '[X.X]', 'billion', 'during', '[XXXX]', 'compared', 'to', '[XXXX]', '.']
"""

使用SEC-BERT变体作为语言模型

文章发表

如果您使用了这个模型，请引用以下文章： FiNER: Financial Numeric Entity Recognition for XBRL Tagging Lefteris Loukas，Manos Fergadiotis，Ilias Chalkidis，Eirini Spyropoulou，Prodromos Malakasiotis，Ion Androutsopoulos和George Paliouras，在第60届计算语言学协会年会（ACL 2022）（Long Papers），爱尔兰都柏林，2022年5月22日-27日

@inproceedings{loukas-etal-2022-finer,
    title = {FiNER: Financial Numeric Entity Recognition for XBRL Tagging},
    author = {Loukas, Lefteris and
      Fergadiotis, Manos and
      Chalkidis, Ilias and
      Spyropoulou, Eirini and
      Malakasiotis, Prodromos and
      Androutsopoulos, Ion and
      Paliouras George},
    booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022)},
    publisher = {Association for Computational Linguistics},
    location = {Dublin, Republic of Ireland},
    year = {2022},
    url = {https://arxiv.org/abs/2203.06482}
}

关于我们

AUEB's Natural Language Processing Group 开发算法、模型和系统，使计算机能够处理和生成自然语言文本。

该团队目前的研究兴趣包括：

• 数据库、本体、文档集和Web的问答系统，特别是生物医学问答，
• 从数据库和本体生成自然语言，特别是语义Web本体学，文本分类，包括过滤垃圾邮件和辱骂内容，
• 信息抽取和意见挖掘，包括法律文本分析和情感分析，
• 希腊语的自然语言处理工具，例如解析器和命名实体识别器，自然语言处理中的机器学习，特别是深度学习。

该团队是希腊雅典经济与商业科学大学信息处理实验室的一部分。

Manos Fergadiotis 代表 AUEB's Natural Language Processing Group