注册
资讯
学习
基础知识 理论实践 学习教程
企业 招聘
下载
模型 数据集
AI工具箱
企业服务
EVA 智能HR 视频AI
ChatGPT 人工智能应用 人工智能未来 计算机视觉
热门新闻
行业 人工智能

为什么数据污染对LLM来说是一个大问题
机器人 康奈尔大学

康奈尔大学推出新的社交机器人，更柔软，更人性化
行业 人工智能

所以，能动手就别吵吵了
常用工具
火山写作

字节跳动旗下团队推出的免费AI英语写作助手
Stable Diffusion

StabilityAI推出的文本到图像生成AI
GitHub Copilot

GitHub AI编程工具
Adobe Firefly

Adobe最新推出的AI图片生成工具
文心一格

AI艺术和创意辅助平台

数据集:

larryvrh/WikiMatrix-v1-Ja_Zh-filtered

任务:

翻译

语言:

ja zh

大小:

100K<n<1M

许可:

cc-by-sa-4.0
数据集介绍 文件清单
英文

经过过滤和修改的日语/中文语言对数据，来自 WikiMatrix v1 。

处理步骤：

  • 基本的基于正则表达式的过滤/长度检查，以删除异常对。
  • 基于 sentence-transformers/LaBSE 的语义相似性过滤，阈值为0.6。
  • 使用 zhconv 将所有繁体中文句子转换为简体中文。

    • 以下是过滤和修改后的日语/中文语言对数据，来源于 WikiMatrix v1 。

    处理步骤：

  • 基于正则表达式的基本过滤/长度检查，以删除异常对。
  • 基于 sentence-transformers/LaBSE 的语义相似性过滤器，阈值为0.6。
  • 使用 zhconv 将所有繁体中文句子转换为简体中文。

    • 作者:

    larryvrh

    数据集大小:

    110.51 MB

    相关推荐