为什么数据污染对LLM来说是一个大问题
康奈尔大学推出新的社交机器人,更柔软,更人性化
所以,能动手就别吵吵了
字节跳动旗下团队推出的免费AI英语写作助手
StabilityAI推出的文本到图像生成AI
GitHub AI编程工具
Adobe最新推出的AI图片生成工具
AI艺术和创意辅助平台
数据集:
codeparrot/github-jupyter-text-code-pairs
任务:
子任务:
语言:
计算机处理:
大小:
许可:
这是 github-jupyter-parsed 的解析版本,其中包含了Markdown和代码对。我们在 preprocessing.py 中提供了预处理脚本。数据经过了去重处理,并且包括了451662个示例。
对于类似的包含文本和Python代码的数据集,还有来自StackOverflow的 CoNaLa 基准数据集,其中一些样本由注释者进行了筛选。
作者:
数据集大小:
172.93 MB