gpt-4-est-base

这是用于爱沙尼亚语的GPT。不是GPT-4 :-) 该模型是基于 GPT2 个训练样本进行训练的，训练数据包括22亿个词（爱沙尼亚国家语料库+新闻爬取+通用爬取），训练了3个周期。

Colab demo

格式

对训练数据进行了文本领域标记，使用该模型时需要在前缀中添加对应的标记：>general<（通用文本）、>web<（网络爬取文本）、>news<（新闻）、>doaj<（文章摘要）和>wiki<（维基百科文本）。使用示例：">web< Kas tead, et"。

模型详情

• 层数：12
• 头数：12
• 嵌入大小：768
• 上下文大小：1024
• 总大小：118.68M参数

待添加更多详细信息。

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu102
• Datasets 1.15.1
• Tokenizers 0.10.3