EMEA-V3 ：欧洲药品管理局的欧洲平行翻译语料库

数据集摘要

EMEA-V3 是由 Tiedemann, Jorg 在 OPUS project 期间收集和对齐的神经机器翻译平行语料库。

支持的任务和排行榜

翻译：该数据集可用于训练翻译模型。

语言

在我们的案例中，该语料库包含欧洲联盟（EU）的 22 种不同语言的源语句和目标语句对。

语言列表：保加利亚语（bg），捷克语（cs），丹麦语（da），德语（de），希腊语（el），英语（en），西班牙语（es），爱沙尼亚语（et），芬兰语（fi），法语（fr），匈牙利语（hu），意大利语（it），立陶宛语（lt），拉脱维亚语（lv），马耳他语（mt），荷兰语（nl），波兰语（pl），葡萄牙语（pt），罗马尼亚语（ro），斯洛伐克语（sk），斯洛文尼亚语（sl），瑞典语（sv）。

使用 HuggingFace 加载数据集

from datasets import load_dataset
dataset = load_dataset("qanastek/EMEA-V3", split='train', download_mode='force_redownload')
print(dataset)
print(dataset[0])

数据集结构

数据实例

lang,source_text,target_text
bg-cs,EMEA/ H/ C/ 471,EMEA/ H/ C/ 471
bg-cs,ABILIFY,ABILIFY
bg-cs,Какво представлява Abilify?,Co je Abilify?
bg-cs,"Abilify е лекарство, съдържащо активното вещество арипипразол.","Abilify je léčivý přípravek, který obsahuje účinnou látku aripiprazol."
bg-cs,"Предлага се под формата на таблетки от 5 mg, 10 mg, 15 mg и 30 mg, като диспергиращи се таблетки (таблетки, които се разтварят в устата) от 10 mg, 15 mg и 30 mg, като перорален разтвор (1 mg/ ml) и като инжекционен разтвор (7, 5 mg/ ml).","Je dostupný ve formě tablet s obsahem 5 mg, 10 mg, 15 mg a 30 mg, ve formě tablet dispergovatelných v ústech (tablet, které se rozpustí v ústech) s obsahem 10 mg, 15 mg a 30 mg, jako perorální roztok (1 mg/ ml) nebo jako injekční roztok (7, 5 mg/ ml)."
bg-cs,За какво се използва Abilify?,Na co se přípravek Abilify používá?

数据字段

lang：类型为字符串的源语言和目标语言对。

source_text：类型为字符串的源文本。

target_text：类型为字符串的目标文本。

数据拆分

数据集创建

策展理由

详细信息，请查看相应的 pages 。

源数据

这个语料库的每个数据都是由 Tiedemann, Jorg 于 Opus 年上传的。

个人和敏感信息

该语料库不含个人或敏感信息。

使用数据时的注意事项

其他已知限制

任务的性质使得目标翻译质量有所变化。

其他信息

数据集策展人

Hugging Face EMEA-V3：Labrak Yanis，Dufour Richard（与原始语料库无关）

OPUS：Parallel Data, Tools and Interfaces in OPUS：Tiedemann, Jorg。

引用信息

使用此数据集时，请引用以下论文。

@inproceedings{tiedemann-2012-parallel,
    title = Parallel Data, Tools and Interfaces in OPUS,
    author = {
      Tiedemann, Jorg
    },
    booktitle = "Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)",
    month = may,
    year = 2012,
    address = Istanbul, Turkey,
    publisher = European Language Resources Association (ELRA),
    url = http://www.lrec-conf.org/proceedings/lrec2012/pdf/463_Paper.pdf,
    pages = 2214--2218,
    abstract = This paper presents the current status of OPUS, a growing language resource of parallel corpora and related tools. The focus in OPUS is to provide freely available data sets in various formats together with basic annotation to be useful for applications in computational linguistics, translation studies and cross-linguistic corpus studies. In this paper, we report about new data sets and their features, additional annotation tools and models provided from the website and essential interfaces and on-line services included in the project.,
}