您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
TurkuNLP/gpt3-finnish-medium
英文用于芬兰语的具有437M参数的生成预训练转换器。
TurkuNLP芬兰GPT-3模型是基于BLOOM架构的预训练的纯单语GPT风格语言模型系列。请注意，这些模型是纯语言模型，意味着它们不适用于对话或回答问题。
这些模型旨在用作基础模型，可以对其进行指令微调，用作现代聊天模型。
所有模型均经过300B标记的训练。
参数
| Model | Layers | Dim | Heads | Params |
|---|---|---|---|---|
| Small | 12 | 768 | 12 | 186M |
| Medium | 24 | 1024 | 16 | 437M |
| Large | 24 | 1536 | 16 | 881M |
| XL | 24 | 2064 | 24 | 1.5B |
| ”3B” | 32 | 2560 | 32 | 2.8B |
| ”8B” | 32 | 4096 | 32 | 7.5B |
| "13B" | 40 | 5120 | 40 | 13.3B |
数据集
我们使用了多个芬兰语资源的组合。
- Finnish Internet Parsebank https://turkunlp.org/finnish_nlp.html mC4多语种巨大、清理后的Common Crawl https://huggingface.co/datasets/mc4
- Common Crawl芬兰语 https://TODO
- Finnish Wikipedia https://fi.wikipedia.org/wiki
- Lönnrot Projekti Lönnrot http://www.lonnrot.net/
- ePub图书馆国家图书馆“epub”收藏
- 国家图书馆“lehdet”收藏
- Finnish Suomi24语料库2001-2020 http://urn.fi/urn:nbn:fi:lb-2021101527
- Reddit r/Suomi提交和评论 https://www.reddit.com/r/Suomi
- STT芬兰新闻社档案1992-2018 http://urn.fi/urn:nbn:fi:lb-2019041501
- Yle芬兰新闻档案2011-2018 http://urn.fi/urn:nbn:fi:lb-2017070501
- Yle芬兰新闻档案2019-2020 http://urn.fi/urn:nbn:fi:lb-2021050401
- Yle易读芬兰新闻档案2011-2018 http://urn.fi/urn:nbn:fi:lb-2019050901
- Yle易读芬兰新闻档案2019-2020 http://urn.fi/urn:nbn:fi:lb-2021050701
- ROOTS TODO
采样比率
| Dataset | Chars | Ratio | Weight | W.Ratio |
|---|---|---|---|---|
| Parsebank | 35.0B | 16.9% | 1.5 | 22.7% |
| mC4-Fi | 46.3B | 22.4% | 1.0 | 20.0% |
| CC-Fi | 79.6B | 38.5% | 1.0 | 34.4% |
| Fiwiki | 0.8B | 0.4% | 3.0 | 1.0% |
| Lönnrot | 0.8B | 0.4% | 3.0 | 1.0% |
| Yle | 1.6B | 0.8% | 2.0 | 1.4% |
| STT | 2.2B | 1.1% | 2.0 | 1.9% |
| ePub | 13.5B | 6.5% | 1.0 | 5.8% |
| Lehdet | 5.8B | 2.8% | 1.0 | 2.5% |
| Suomi24 | 20.6B | 9.9% | 1.0 | 8.9% |
| Reddit-Fi | 0.7B | 0.4% | 1.0 | 0.3% |
| TOTAL | 207.0B | 100.0% | N/A | 100.0% |
更多文档和论文即将发布。