[Dataset Name] 的数据集卡片

数据集摘要

EXAMS 是一个多语言和跨语言高中问题回答测试的基准数据集。它包含了超过24,000个高质量高中考试问题，涵盖16种语言，涉及8种语言家族和24个自然科学和社会科学等学科。

支持的任务和排行榜

[需要更多信息]

语言

数据集中的语言有：

• ar
• bg
• de
• es
• fr
• hr
• hu
• it
• lt
• mk
• pl
• pt
• sq
• sr
• tr
• vi

数据集结构

数据实例

一个数据实例的示例（带有支持段落的保加利亚文）是：

{'answerKey': 'C',
 'id': '35dd6b52-7e71-11ea-9eb1-54bef70b159e',
 'info': {'grade': 12, 'language': 'Bulgarian', 'subject': 'Biology'},
 'question': {'choices': {'label': ['A', 'B', 'C', 'D'],
   'para': ['Това води до наследствени изменения между организмите. Мирновременните вождове са наследствени. Черният, сивият и кафявият цвят на оцветяване на тялото се определя от пигмента меланин и възниква в резултат на наследствени изменения. Тези различия, според Монтескьо, не са наследствени. Те са и важни наследствени вещи в клана. Те са били наследствени архонти и управляват демократично. Реликвите са исторически, религиозни, семейни (наследствени) и технически. Общо са направени 800 изменения. Не всички наследствени аномалии на хемоглобина са вредни, т.е. Моногенните наследствени болести, които водят до мигрена, са редки. Няма наследствени владетели. Повечето от тях са наследствени и се предават на потомството. Всичките синове са ерцхерцози на всичките наследствени земи и претенденти. През 1509 г. Фраунбергите са издигнати на наследствени имперски графове. Фамилията Валдбург заради постиженията са номинирани на „наследствени имперски трушсеси“. Фамилията Валдбург заради постиженията са номинирани на „наследствени имперски трушсеси“. Описани са единични наследствени случаи, но по-често липсва фамилна обремененост. Позициите им са наследствени и се предават в рамките на клана. Внесени са изменения в конструкцията на веригите. и са направени изменения в ходовата част. На храма са правени лоши архитектурни изменения. Изменения са предприети и вътре в двореца. Имало двама наследствени вождове. Имало двама наследствени вождове. Годишният календар, „компасът“ и биологичния часовник са наследствени и при много бозайници.',
    'Постепенно задълбочаващите се функционални изменения довеждат и до структурни изменения. Те се дължат както на растягането на кожата, така и на въздействието на хормоналните изменения върху кожната тъкан. тези изменения се долавят по-ясно. Впоследствие, той претърпява изменения. Ширината остава без изменения. След тяхното издаване се налагат изменения в първоначалния Кодекс, защото не е съобразен с направените в Дигестите изменения. Еволюционният преход се характеризира със следните изменения: Наблюдават се и сезонни изменения в теглото. Приемат се изменения и допълнения към Устава. Тук се размножават и предизвикват възпалителни изменения. Общо са направени 800 изменения. Бронирането не претърпява съществени изменения. При животните се откриват изменения при злокачествената форма. Срещат се и дегенеративни изменения в семенните каналчета. ТАВКР „Баку“ се строи по изменения проект 1143.4. Трансът се съпровожда с определени изменения на мозъчната дейност. На изменения е подложен и Светия Синод. Внесени са изменения в конструкцията на веригите. На храма са правени лоши архитектурни изменения. Оттогава стиховете претърпяват изменения няколко пъти. Настъпват съществени изменения в музикалната култура. По-късно той претърпява леки изменения. Настъпват съществени изменения в музикалната култура. Претърпява сериозни изменения само носовата надстройка. Хоризонталното брониране е оставено без изменения.',
    'Модификациите са обратими. Тези реакции са обратими. В началните стадии тези натрупвания са обратими. Всички такива ефекти са временни и обратими. Много от реакциите са обратими и идентични с тези при гликолизата. Ако в обращение има книжни пари, те са обратими в злато при поискване . Общо са направени 800 изменения. Непоследователността е представена от принципа на "симетрия", при който взаимоотношенията са разглеждани като симетрични или обратими. Откакто формулите в клетките на електронната таблица не са обратими, тази техника е с ограничена стойност. Ефектът на Пелтие-Зеебек и ефектът Томсън са обратими (ефектът на Пелтие е обратен на ефекта на Зеебек). Плазмолизата протича в три етапа, в зависимост от силата и продължителността на въздействието:\n\nПървите два етапа са обратими. Внесени са изменения в конструкцията на веригите. и са направени изменения в ходовата част. На храма са правени лоши архитектурни изменения. Изменения са предприети и вътре в двореца. Оттогава насетне екипите не са претърпявали съществени изменения. Изменения са направени и в колесника на машината. Тези изменения са обявени през октомври 1878 година. Последните изменения са внесени през януари 2009 година. В процеса на последващото проектиране са внесени някои изменения. Сериозните изменения са в края на Втората световна война. Внесени са изменения в конструкцията на погребите и подемниците. Внесени са изменения в конструкцията на погребите и подемниците. Внесени са изменения в конструкцията на погребите и подемниците. Постепенно задълбочаващите се функционални изменения довеждат и до структурни изменения.',
    'Ерозионни процеси от масов характер липсват. Обновлението в редиците на партията приема масов характер. Тя обаче няма масов характер поради спецификата на формата. Движението против десятъка придобива масов характер и в Балчишка околия. Понякога екзекутирането на „обсебените от Сатана“ взимало невероятно масов характер. Укриването на дължими като наряд продукти в селата придобива масов характер. Периодичните миграции са в повечето случаи с масов характер и са свързани със сезонните изменения в природата, а непериодичните са премествания на животни, които настъпват след пожари, замърсяване на средата, висока численост и др. Имат необратим характер. Именно по време на двувековните походи на западните рицари използването на гербовете придобива масов характер. След присъединяването на Южен Кавказ към Русия, изселването на азербайджанци от Грузия придобива масов характер. Те имат нормативен характер. Те имат установителен характер. Освобождаването на работна сила обикновено има масов характер, защото обхваща големи контингенти от носителите на труд. Валежите имат подчертано континентален характер. Имат най-често издънков характер. Приливите имат предимно полуденонощен характер. Някои от тях имат мистериален характер. Тези сведения имат случаен, епизодичен характер. Те имат сезонен или годишен характер. Временните обезпечителни мерки имат временен характер. Други имат пожелателен характер (Здравко, Слава). Ловът и събирачеството имат спомагателен характер. Фактически успяват само малко да усилят бронирането на артилерийските погреби, другите изменения носят само частен характер. Някои карикатури имат само развлекателен характер, докато други имат политически нюанси. Поемите на Хезиод имат по-приложен характер.'],
   'text': ['дължат се на фенотипни изменения',
    'имат масов характер',
    'са наследствени',
    'са обратими']},
  'stem': 'Мутационите изменения:'}}

数据字段

一个数据实例包含以下字段：

• id：问题ID，数据集中唯一的
• question：问题包含以下内容：
  • stem：问题的词干表示
  • choices：一个包含3到5个候选答案的集合，每个候选答案都有以下内容：
    • text：答案的文本
    • label：匹配答案键的['A'，'B'，'C'，'D'，'E']中的一个标签
    • para：（可选）与问题和答案相同语言的维基百科支持段落
• answerKey：与正确答案标签对应的键
• info：关于问题的一些附加信息，包括：
  • grade：该问题所在考试的学校年级
  • subject：学术科目的自由文本描述
  • language：该问题语言的英文名称

数据拆分

根据配置，数据集具有不同的拆分：

• “alignments”：单个“full”拆分
• “multilingual”和“multilingual_with_para”：训练，验证和测试拆分
• “crosslingual_test”和“crosslingual_with_para_test”：单个“test”拆分
• 其余的跨语言配置：“train”和“validation”拆分

数据集创建

策划理由

[需要更多信息]

源数据

EXAMS是从各个国家的教育部门准备的官方国家考试中收集的。这些考试是高中毕业生参加的，通常需要通过整个课程学习的知识。

这些问题涵盖了各种科目和基于国家教育体系的材料。它们涵盖了主要的学科，如生物学，化学，地理，历史和物理，但也包括高度专业化的学科，如农业，地质学，信息学，以及一些应用和专业的学习。

一些国家允许学生使用多种语言参加官方考试。该数据集提供了来自克罗地亚（克罗地亚语，塞尔维亚语，意大利语，匈牙利语），匈牙利（匈牙利语，德语，法语，西班牙语，克罗地亚语，塞尔维亚语，意大利语）和北马其顿（马其顿语，阿尔巴尼亚语，土耳其语）的 9,857对平行问题。

对于数据集中的所有语言，数据收集的第一步是下载每年，每个科目和每种语言（当平行语言在同一来源中可用时）的PDF文件，将PDF文件转换为文本，并选择格式良好且符合文档结构的文件。

然后，使用正则表达式（RegEx）解析问题、对应的选择和正确答案选择。为了确保所有的问题都可以使用纯文本输入来回答，删除了包含视觉信息的问题，选择方法是使用对应语言的精选词汇列表，例如地图，表格，图片，图表等等。

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见的讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

[需要更多信息]

许可信息

数据集中包含的维基百科段落受CC-BY-SA 4.0许可。本仓库中的代码根据 LICENSE file 许可。

引用信息

@article{hardalov2020exams,
  title={EXAMS: A Multi-subject High School Examinations Dataset for Cross-lingual and Multilingual Question Answering},
  author={Hardalov, Momchil and Mihaylov, Todor and Dimitrina Zlatkova and Yoan Dinkov and Ivan Koychev and Preslav Nvakov},
  journal={arXiv preprint arXiv:2011.03080},
  year={2020}
}

贡献

感谢 @yjernite 添加此数据集。