DistilBERT基础多语言模型西班牙子集（大小写敏感）

此模型是distilbert-base-multilingual-cased（ https://huggingface.co/distilbert-base-multilingual-cased ）的西班牙语提取版本，是BERT基础多语言模型的精简版。此模型是大小写敏感的：它区分英语和English。

它使用Geotrend提出的提取方法（ https://github.com/Geotrend-research/smaller-transformers ）。

与DistilmBERT相同，该模型具有6层、768维和12个头，总共有6300万个参数（DistilmBERT有1.34亿个参数）。

该模型的目标是通过仅选择西班牙语中最常见的标记来进一步减小distilbert-base-multilingual多语言模型的大小，从而减小嵌入层的大小。要了解更多详细信息，请访问Geotrend团队的论文：Load What You Need: Smaller Versions of Multilingual BERT。