数据集卡片

数据集概述

一个示例样本：

{
    "text": <text content of given document>,
    "path": <file path to docx>
}

数据集用于配置"kneset16"、"kneset17"和"knesset_tagged"，仅包含训练集。

train_ds = load_dataset("imvladikon/knesset_meetings_corpus", "kneset16", split="train")

Knesset会议语料库2004-2005由两个组成部分组成：

原始文本 - 由282个文件组成，总共有867,725行。可以以两种格式下载：
- 作为doc文件，使用windows-1255编码：
  - kneset16.zip - 包含164个文本文件，共543,228行。 [MILA主机] <http://yeda.cs.technion.ac.il:8088/corpus/software/corpora/knesset/txt/docs/kneset16.zip> [Github镜像] <https://github.com/NLPH/knesset-2004-2005/blob/master/kneset16.zip?raw=true> _
  - kneset17.zip - 包含118个文本文件，共324,497行。 [MILA主机] <http://yeda.cs.technion.ac.il:8088/corpus/software/corpora/knesset/txt/docs/kneset17.zip> [Github镜像] <https://github.com/NLPH/knesset-2004-2005/blob/master/kneset17.zip?raw=true> _
- 作为txt文件，使用utf8编码：
  - kneset.tar.gz - 所有原始文本文件的归档，分为两个文件夹： [Github镜像] <https://github.com/NLPH/knesset-2004-2005/blob/master/kneset.tar.gz> _
    - 16 - 包含164个文本文件，共543,228行。
    - 17 - 包含118个文本文件，共324,497行。
  - knesset_txt_16.tar.gz - 包含164个文本文件，共543,228行。 [MILA主机] <http://yeda.cs.technion.ac.il:8088/corpus/software/corpora/knesset/txt/utf8/knesset_txt_16.tar.gz> [Github镜像] <https://github.com/NLPH/knesset-2004-2005/blob/master/knesset_txt_16.tar.gz?raw=true> _
  - knesset_txt_17.zip - 包含118个文本文件，共324,497行。 [MILA主机] <http://yeda.cs.technion.ac.il:8088/corpus/software/corpora/knesset/txt/utf8/knesset_txt_17.zip> [Github镜像] <https://github.com/NLPH/knesset-2004-2005/blob/master/knesset_txt_17.zip?raw=true> _
标记和词性标注的文本 - 标记版本仅适用于"16"文件夹中的文件。这些文本使用MILA的XML方案进行编码。可以通过两种方式下载：
- knesset_tagged_16.tar.gz - 所有标记和标注文件的归档。 [MILA主机] <http://yeda.cs.technion.ac.il:8088/corpus/software/corpora/knesset/tagged/knesset_tagged_16.tar.gz> [Archive.org镜像] <https://archive.org/details/knesset_transcripts_2004_2005> _