hebert-finetuned-hebrew-squad

该模型在自动翻译成希伯来语的SQuAD数据集上对avichr/heBERT模型进行了微调。

使用目的和限制

希伯来语SQuAD

训练和评估数据

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批量大小：8
• 评估批量大小：8
• 种子：42
• 优化器：Adam，其betas=(0.9,0.999)，epsilon=1e-08
• lr_scheduler_type：linear
• 训练轮数：15

训练过程大约耗时9.5小时。

框架版本

• Transformers 4.17.0
• Pytorch 1.10.0+cu111
• Datasets 1.18.4
• Tokenizers 0.11.6

结果

模型大小：415M

示例用法

from transformers import pipeline

model_checkpoint = "tdklab/hebert-finetuned-hebrew-squad"
qa_pipeline = pipeline(
    "question-answering",
    model=model_checkpoint, 
    )

predictions = qa_pipeline({
    'context': "ירושלים היא עיר הבירה של מדינת ישראל , והעיר הגדולה ביותר בישראל בגודל האוכלוסייה. נכון לשנת 2021, מתגוררים בה כ-957 אלף תושבים. בירושלים שוכנים מוסדות הממשל של ישראל: הכנסת, בית המשפט העליון, משכן הנשיא, בית ראש הממשלה ורוב משרדי הממשלה. ירושלים שוכנת בהרי יהודה, על קו פרשת המים הארצי של ארץ ישראל, בין הים התיכון וים המלח, ברום של 570 עד 857 מטרים מעל פני הים.",
    'question': "מהי עיר הבירה של מדינת ישראל?"
})

print(predictions)
# output:
# {'score': 0.9999890327453613, 'start': 0, 'end': 7, 'answer': 'ירושלים'}

关于我们

由Matan Ben-chorin、May Flaster创建，由Oren Mishali博士指导。这是我们在以色列理工学院电气工程与计算机科学学院进行计算机工程学士学位研究的最终项目。如需合作，请联系以下邮箱：Matan Ben-chorin: matan.bh1@gmail.com May Flaster: mayflaster96@gmail.com