注册
资讯
学习
基础知识 理论实践 学习教程
企业 招聘
下载
模型 数据集
AI工具箱
企业服务
EVA 智能HR 视频AI
ChatGPT 人工智能应用 人工智能未来 计算机视觉
热门新闻
行业 人工智能

为什么数据污染对LLM来说是一个大问题
机器人 康奈尔大学

康奈尔大学推出新的社交机器人，更柔软，更人性化
行业 人工智能

所以，能动手就别吵吵了
常用工具
火山写作

字节跳动旗下团队推出的免费AI英语写作助手
Stable Diffusion

StabilityAI推出的文本到图像生成AI
GitHub Copilot

GitHub AI编程工具
Adobe Firefly

Adobe最新推出的AI图片生成工具
文心一格

AI艺术和创意辅助平台

数据集:

tomekkorbak/pile-curse-full

数据集介绍 文件清单
英文

生成过程

该数据集是使用来自 the Pile 个文档的数据构建的，这些文档使用 LDNOOBW 个单词列表进行评分（评分是每个字符的脏话数量）。

具体的步骤如下：

  • 数据的前半部分是从Pile随机抽取的10万个文档，并进行评分。
  • 数据的后半部分是从Pile中评分最高的10万个文档，通过对整个Pile进行评分来获取。
  • 然后，将数据集进行洗牌，并进行9:1的训练集-测试集划分。

    • 基本统计数据

    平均分数和中位数分别为0.013和0.019。

    作者:

    tomekkorbak

    数据集大小:

    176.98 MB

    相关推荐