数据集:

joelito/Multi_Legal_Pile

许可:

cc-by-nc-sa-4.0

源数据集:

original

批注创建人:

other

语言创建人:

found

大小:

10M<n<100M

计算机处理:

multilingual

语言:

任务:

填充掩码

数据集介绍文件清单

英文

MultiLegalPile: 面向法律领域的大规模多语种语料库数据卡片

数据集概述

Multi_Legal_Pile是一个大规模的多语种法律数据集，适用于预训练语言模型。它涵盖了24种语言和五种法律文本类型。

支持的任务和排行榜

该数据集支持填充掩码任务。

语言

支持以下语言：bg、cs、da、de、el、en、es、et、fi、fr、ga、hr、hu、it、lt、lv、mt、nl、pl、pt、ro、sk、sl、sv

数据集结构

它的结构格式如下：类型 -> 语言 -> jurisdiction.jsonl.xz

类型可以是以下之一：

判例法
合同
法规
其他
mc4_legal

mc4_legal是其他类型的子集，但单独列出来，以便可以轻松排除，因为它的许可较其他类型更少。

使用数据集的方式如下：

from datasets import load_dataset

config = 'en_contracts'  # {language}_{type}
dataset = load_dataset('joelito/Multi_Legal_Pile', config, split='train', streaming=True)

"config"是语言和文本类型的组合，例如'en_contracts'或'de_caselaw'。要加载所有语言或所有文本类型，可以使用'全部'代替语言或文本类型（例如'all_legislation'）。

数据实例

文件格式为jsonl.xz，有一个可用的拆分（"train"）

完整数据集（689GB）包括四个大的子集：

本地多语种法律堆（112GB）
Eurlex资源（179GB）
Legal MC4（106GB）
法律堆（292GB）

本地多语种法律堆数据

Language	Text Type	Jurisdiction	Source	Size (MB)	Words	Documents	Words/Document	URL	License
0	bg	legislation	Bulgaria	MARCELL	8015	308946116	82777	3732	1232321	1233321
1	cs	caselaw	Czechia	CzCDC Constitutional Court	11151	574336489	296652	1936	1234321	1235321
2	cs	caselaw	Czechia	CzCDC Supreme Administrative Court	11151	574336489	296652	1936	1234321	1235321
3	cs	caselaw	Czechia	CzCDC Supreme Court	11151	574336489	296652	1936	1234321	1235321
4	da	caselaw	Denmark	DDSC	3469	210730560	89702	2349	12310321	12311321
5	da	legislation	Denmark	DDSC	10736	653153146	265868	2456	12310321	12311321
6	de	caselaw	Germany	openlegaldata	31527	1785439383	596800	2991	12314321	12315321
7	de	caselaw	Switzerland	entscheidsuche	31527	1785439383	596800	2991	12316321	12317321
8	de	legislation	Germany	openlegaldata	8934	512840663	276034	1857	12314321	12315321
9	de	legislation	Switzerland	lexfind	8934	512840663	276034	1857	12320321	No information provided
10	fr	caselaw	Switzerland	entscheidsuche	18313	1170335690	435569	2686	12316321	12317321
11	fr	caselaw	Belgium	jurportal	18313	1170335690	435569	2686	12323321	12324321
12	fr	caselaw	France	CASS	18313	1170335690	435569	2686	12325321	12326321
13	fr	caselaw	Luxembourg	judoc	18313	1170335690	435569	2686	12327321	12328321
14	it	caselaw	Switzerland	entscheidsuche	6483	406520336	156630	2595	12316321	12317321
15	en	legislation	Switzerland	lexfind	36587	2537696894	657805	3857	12320321	No information provided
16	en	legislation	UK	uk-lex	36587	2537696894	657805	3857	12332321	12333321
17	fr	legislation	Switzerland	lexfind	9297	600170792	243313	2466	12334321	No information provided
18	fr	legislation	Belgium	ejustice	9297	600170792	243313	2466	12335321	No information provided
19	it	legislation	Switzerland	lexfind	8332	542579039	227968	2380	12336321	No information provided
20	nl	legislation	Belgium	ejustice	8484	550788527	232204	2372	12335321	No information provided
21	hu	legislation	Hungary	MARCELL	5744	264572303	86862	3045	12338321	1233321
22	pl	legislation	Poland	MARCELL	5459	299334705	89264	3353	12340321	1233321
23	pt	caselaw	Brazil	RulingBR	196919	12611760973	17251236	731	12342321	No information provided
24	pt	caselaw	Brazil	CRETA	196919	12611760973	17251236	731	12343321	12344321
25	pt	caselaw	Brazil	CJPG	196919	12611760973	17251236	731	12345321	No information provided
26	ro	legislation	Romania	MARCELL	10464	559092153	215694	2592	12346321	1233321
27	sk	legislation	Slovakia	MARCELL	5208	280182047	76760	3650	12348321	1233321
28	sl	legislation	Slovenia	MARCELL	6057	365513763	88651	4123	12350321	12351321
total	all	all	all	1297609	xxx	81214262514	57305071	1417

Eurlex资源

有关更多信息，请参见 Eurlex Resources 。

Legal-MC4

有关更多信息，请参见 Legal-MC4 。

Pile-of-Law

有关更多信息，请参见 Pile-of-Law 。

Language	Type	Jurisdiction	Source	Size (MB)	Tokens	Documents	Tokens/Document	Part of Multi_Legal_Pile
en	all	all	all	503712	50547777921	9872444	5120	yes
en	caselaw	EU	echr	298	28374996	8480	3346	yes
en	caselaw	Canada	canadian_decisions	486	45438083	11343	4005	yes
en	caselaw	US	dol_ecab	942	99113541	28211	3513	no
en	caselaw	US	scotus_oral_arguments	1092	108228951	7996	13535	no
en	caselaw	US	tax_rulings	1704	166915887	54064	3087	no
en	caselaw	US	nlrb_decisions	2652	294471818	32080	9179	no
en	caselaw	US	scotus_filings	4018	593870413	63775	9311	yes
en	caselaw	US	bva_opinions	35238	4084140080	839523	4864	no
en	caselaw	US	courtlistener_docket_entry_documents	139006	12713614864	1983436	6409	yes
en	caselaw	US	courtlistener_opinions	158110	15899704961	4518445	3518	yes
en	contracts	--	tos	4	391890	50	7837	no
en	contracts	US	cfpb_creditcard_contracts	188	25984824	2638	9850	yes
en	contracts	US	edgar	28698	2936402810	987926	2972	yes
en	contracts	US	atticus_contracts	78300	7997013703	650833	12287	yes
en	legislation	US	fre	2	173325	68	2548	no
en	legislation	US	frcp	4	427614	92	4647	no
en	legislation	US	eoir	62	6109737	2229	2741	no
en	legislation	--	constitutions	66	5984865	187	32004	yes
en	legislation	US	federal_register	424	39854787	5414	7361	yes
en	legislation	US	uscode	716	78466325	58	1352867	yes
en	legislation	EU	euro_parl	808	71344326	9672	7376	no
en	legislation	US	cfr	1788	160849007	243	661930	yes
en	legislation	US	us_bills	3394	320723838	112483	2851	yes
en	legislation	EU	eurlex	3504	401324829	142036	2825	no
en	legislation	US	state_codes	18066	1858333235	217	8563747	yes
en	other	--	bar_exam_outlines	4	346924	59	5880	no
en	other	US	ftc_advisory_opinions	4	509025	145	3510	no
en	other	US	olc_memos	98	12764635	1384	9223	yes
en	other	--	cc_casebooks	258	24857378	73	340512	no
en	other	--	un_debates	360	31152497	8481	3673	no
en	other	--	r_legaladvice	798	72605386	146671	495	no
en	other	US	founding_docs	1118	100390231	183664	546	no
en	other	US	oig	5056	566782244	38954	14550	yes
en	other	US	congressional_hearings	16448	1801110892	31514	57152	no

数据字段

[需要更多信息]

数据拆分

[需要更多信息]

数据集创建

策划理由

[需要更多信息]

源数据

初始数据收集和标准化

[需要更多信息]

源语言制作人是谁？

[需要更多信息]

注释

注释过程

[需要更多信息]

注释者是谁？

[需要更多信息]

个人隐私信息

[需要更多信息]

使用数据的考虑事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策划人

[需要更多信息]

许可信息

[需要更多信息]

引用信息

TODO add citation

贡献者

感谢 @JoelNiklaus 添加此数据集。

作者:

joelito

数据集大小:

14.37 GB