数据集卡片：Aksharantar

数据集概述

Bhasha-Abhijnaanam是一个涵盖22种印度语言的本土脚本和罗马化文本的语言识别测试集。

支持的任务和排行榜

[需要更多信息]

语言

数据集结构

数据实例

A random sample from Hindi (hin) Test dataset.
{
    "unique_identifier": "hin1", 
    "native sentence": "",
    "romanized sentence": "",
    "language": "Hindi", 
    "script": "Devanagari", 
    "source": "Dakshina",
}

数据字段

• unique_identifier (string): 由3个字母的语言代码和测试集中的唯一数字组成。

• native sentence (string): 一句印度语言的句子。

• romanized sentence (string): 本土语句子的英语音译（罗马化句子）。

• language (string): 本土句子的语言。

• script (string): 本土句子所使用的脚本。

• source (string): 数据来源。

  对于创建的数据来源，在一个语言对的目的地/采样方法可能是以下之一：

  • Dakshina数据集
  • Flores-200
  • 手动罗马化
  • 手动生成

数据拆分

数据集创建

文献中的信息。

策展原因

[需要更多信息]

源数据

文献中的信息。

[需要更多信息]

标注

文献中的信息。

文献中的信息。

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策展人

[需要更多信息]

许可信息

此数据根据以下许可方案发布：

• 手动收集数据：根据CC0许可证发布。

CC0许可证声明

• 我们不拥有从中提取数据的任何文本。
• 我们将手动收集数据的实际包装许可为 Creative Commons CC0 license (“no rights reserved”) 。
• 在法律允许的范围内， AI4Bharat 已放弃对Aksharantar手动收集数据和现有来源的所有版权和相关权利。
• 此工作出版于：印度。

引用信息

@misc{madhani2023bhashaabhijnaanam,
      title={Bhasha-Abhijnaanam: Native-script and romanized Language Identification for 22 Indic languages}, 
      author={Yash Madhani and Mitesh M. Khapra and Anoop Kunchukuttan},
      year={2023},
      eprint={2305.15814},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

贡献