Erlangshen-Ubert-330M-Chinese

• Main Page: Fengshenbang
• Github: Fengshenbang-LM

简介 Brief Introduction

采用统一的框架处理多种抽取任务，AIWIN2022的冠军方案，3.3亿参数量的中文UBERT-Large。

采用统一的框架处理多种信息提取任务，AIWIN2022的冠军方案，中文UBERT-Large（330M）拥有3.3亿参数量。

模型分类 Model Taxonomy

模型信息 Model Information

参考论文： Unified BERT for Few-shot Natural Language Understanding

UBERT是 2022年AIWIN世界人工智能创新大赛：中文保险小样本多任务竞赛 的冠军解决方案。我们开发了一个基于类似BERT的骨干的多任务、多目标、统一的抽取任务框架。我们的UBERT在比赛A榜和B榜上均取得了第一名。因为比赛中的数据集在比赛结束后不再可用，我们开源的UBERT从多个任务中收集了70多个数据集（共1,065,069个样本）来进行预训练，并且我们选择了 MacBERT-Large 作为骨干网络。除了支持开箱即用之外，我们的UBERT还可以用于各种场景，如NLI、实体识别和阅读理解。示例代码可以在 Github 中找到。

UBERT是 2022 AIWIN ARTIFICIAL INTELLIGENCE WORLD INNOVATIONS: Chinese Insurance Small Sample Multi-Task 的获胜解决方案。我们开发了一个基于BERT-like骨干的统一框架，用于处理多个任务和目标。我们的UBERT在排行榜A和B上都名列前茅。除了挑战赛中不可用的数据集，我们还从各种任务中精选了70多个数据集（总共1,065,069个样本），用于开源UBERT。此外，我们选用 MacBERT-Large 作为骨干网络。除了开箱即用的功能，我们的UBERT还可应用于各种场景，如NLI、实体识别和阅读理解。示例代码可在 Github 中找到。

使用 Usage

Pip install fengshen

git clone https://github.com/IDEA-CCNL/Fengshenbang-LM.git
cd Fengshenbang-LM
pip install --editable ./

运行代码

import argparse
from fengshen import UbertPipelines

total_parser = argparse.ArgumentParser("TASK NAME")
total_parser = UbertPipelines.pipelines_args(total_parser)
args = total_parser.parse_args()

args.pretrained_model_path = "IDEA-CCNL/Erlangshen-Ubert-330M-Chinese"

test_data=[
    {
        "task_type": "抽取任务", 
        "subtask_type": "实体识别", 
        "text": "这也让很多业主据此认为，雅清苑是政府公务员挤对了国家的经适房政策。", 
        "choices": [ 
            {"entity_type": "小区名字"}, 
            {"entity_type": "岗位职责"}
            ],
        "id": 0}
]

model = UbertPipelines(args)
result = model.predict(test_data)
for line in result:
    print(line)

引用 Citation

如果您在您的工作中使用了我们的模型，可以引用我们的对该模型的论文：

如果您在工作中使用了这个资源，请引用我们关于该模型的论文：

@article{fengshenbang/ubert,
  author    = {JunYu Lu and
               Ping Yang and
               Jiaxing Zhang and
               Ruyi Gan and
               Jing Yang},
  title     = {Unified {BERT} for Few-shot Natural Language Understanding},
  journal   = {CoRR},
  volume    = {abs/2206.12094},
  year      = {2022}
}

如果您在您的工作中使用了我们的模型，也可以引用我们的 总论文 ：

如果您在工作中使用了这个资源，请也引用我们的 overview paper ：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的 网站 ：

也可以引用我们的 website ：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}