描述

一个为AI小说家的SuperTrin和Damsel 20B模型专门训练的日语SentencePiece分词器。

词汇量：52000（填充到52224）

概要

这是一个专门针对日语创意写作设计的SentencePiece分词器，用于AI小说家的"SuperTrin"和"Damsel 20B"模型。

词汇表大小：52000（填充到52224）

Wiki

AI小说家用户Wiki上有按照ABC / あいうえお的顺序列出的令牌列表。

https://wikiwiki.jp/ainove_wiki/%E3%83%88%E3%83%BC%E3%82%AF%E3%83%B3%E4%B8%80%E8%A6%A7%28%E3%82%84%E3%81%BF%E3%81%8A%E3%81%A8%E3%82%81%29/1

• Sta, AI小说家Dev（ https://ai-novel.com/ ）@ Bit192, Inc.

MIT许可证