"LexFiles"数据集的数据卡

数据集简介

LexFiles是一个新的多样化的英语跨国法律语料库，我们创建了包括11个不同子语料库的语料库，涵盖了来自6个主要以英语为主要语言的法律制度的立法和案例法（欧盟、欧洲理事会、加拿大、美国、英国、印度）。该语料库包含大约190亿个标记。相比之下，Hendersons等人发布的"Pile of Law"语料库总共包含320亿个标记，其中大多数（26/30）子语料库来自美国，因此整个语料库在很大程度上对美国法律制度有偏见，特别是对联邦或州法律管辖权有偏见。

数据集规范

[1]我们只考虑从1965年以后的美国法院决定（参见《民权法案》之后），作为依赖于过时且在许多情况下有害的法律标准的案例的硬性阈值。其他语料库包括更近期的文件。

[2]采样（Sampl.）比率是根据Lample等人（2019）引入的指数采样计算的。

由于它们不代表事实法律知识，所以未考虑用于预训练的其他语料库。

引用

Ilias Chalkidis*, Nicolas Garneau*, Catalina E.C. Goanta, Daniel Martin Katz, and Anders Søgaard. LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development. 2022. In the Proceedings of the 61th Annual Meeting of the Association for Computational Linguistics. Toronto, Canada.

@inproceedings{chalkidis-garneau-etal-2023-lexlms,
    title = {{LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development}},
    author = "Chalkidis*, Ilias and 
              Garneau*, Nicolas and
              Goanta, Catalina and 
              Katz, Daniel Martin and 
              Søgaard, Anders",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics",
    month = june,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/2305.07507",
}