注册
资讯
学习
基础知识 理论实践 学习教程
企业 招聘
下载
模型 数据集
AI工具箱
企业服务
EVA 智能HR 视频AI
ChatGPT 人工智能应用 人工智能未来 计算机视觉
热门新闻
行业 人工智能

为什么数据污染对LLM来说是一个大问题
机器人 康奈尔大学

康奈尔大学推出新的社交机器人，更柔软，更人性化
行业 人工智能

所以，能动手就别吵吵了
常用工具
ChatGPT

OpenAI旗下AI对话工具
Magic Design

在线设计工具Canva推出的AI设计工具
讯飞智作

科大讯飞推出的AI转语音和配音工具
通义万相

阿里最新推出的AI绘画创作模型
WPS AI

WPS免费开放的AI办公助手

数据集:

larryvrh/WikiMatrix-v1-Ja_Zh-filtered

任务:

翻译

语言:

ja zh

大小:

100K<n<1M

许可:

cc-by-sa-4.0
数据集介绍 文件清单
英文

经过过滤和修改的日语/中文语言对数据，来自 WikiMatrix v1 。

处理步骤：

  • 基本的基于正则表达式的过滤/长度检查，以删除异常对。
  • 基于 sentence-transformers/LaBSE 的语义相似性过滤，阈值为0.6。
  • 使用 zhconv 将所有繁体中文句子转换为简体中文。

    • 以下是过滤和修改后的日语/中文语言对数据，来源于 WikiMatrix v1 。

    处理步骤：

  • 基于正则表达式的基本过滤/长度检查，以删除异常对。
  • 基于 sentence-transformers/LaBSE 的语义相似性过滤器，阈值为0.6。
  • 使用 zhconv 将所有繁体中文句子转换为简体中文。

    • 作者:

    larryvrh

    数据集大小:

    110.51 MB

    相关推荐