VQA-RAD 数据集卡片

数据集描述

VQA-RAD 是一个包含医学放射影像问题-答案对的数据集。该数据集旨在用于训练和测试医学视觉问答（VQA）系统。数据集包括开放式问题和二元的“是/否”问题。数据集是基于 MedPix 构建的，该数据库是一个免费开放获取的在线医学影像数据库。问题-答案对是由临床医生团队手动生成的。

主页： Open Science Framework Homepage 论文： A dataset of clinically generated visual questions and answers about radiology images 排行榜： Papers with Code Leaderboard

数据集概要

数据集于2023年6月3日从 Open Science Framework Homepage 下载。数据集包含2,248个问题-答案对和315幅影像。其中，314个影像与一个问题-答案对有关，而1个影像则未被使用。训练集中包含3个重复的影像-问题-答案三元组。训练集和测试集有1个影像-问题-答案三元组重复。在从训练集中删除这4个影像-问题-答案三元组后，数据集包含2,244个问题-答案对和314幅影像。

此数据集在 Papers with Code 上有一个活跃的排行榜，模型根据“关闭型准确性”、“开放型准确性”和“总体准确性”三项指标进行排名。“关闭型准确性”是模型对二元“是/否”问题子集的生成答案的准确性。“开放型准确性”是模型对开放式问题子集的生成答案的准确性。“总体准确性”是模型对所有问题生成答案的准确性。

问题-答案对使用英语。

数据集结构

数据实例

每个实例由一个影像-问题-答案三元组组成。

{
  'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=566x555>,
  'question': 'are regions of the brain infarcted?',
  'answer': 'yes'
}

数据字段

• 'image'：问题-答案对引用的影像。
• 'question'：关于影像的问题。
• 'answer'：预期的答案。

数据划分

数据集被划分为训练集和测试集。划分由作者直接提供。

其他信息

许可信息

作者已根据 CC0 1.0 Universal 许可协议发布了该数据集。

引用信息

@article{lau2018dataset,
    title={A dataset of clinically generated visual questions and answers about radiology images},
    author={Lau, Jason J and Gayen, Soumya and Ben Abacha, Asma and Demner-Fushman, Dina},
    journal={Scientific data},
    volume={5},
    number={1},
    pages={1--10},
    year={2018},
    publisher={Nature Publishing Group}
}