这是一个gpt2-large模型，是在Wikitext-103数据集上进行微调的。

使用"滑动窗口"上下文，在 https://github.com/neulab/knn-transformers 的run_clm.py脚本中，它达到了10.56的困惑度。

此模型是作为 "Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval" （ICML'2022）论文的一部分发布的。

更多信息请参阅： https://github.com/neulab/knn-transformers

如果您使用了此模型，请引用：

@inproceedings{alon2022neuro,
  title={Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval},
  author={Alon, Uri and Xu, Frank and He, Junxian and Sengupta, Sudipta and Roth, Dan and Neubig, Graham},
  booktitle={International Conference on Machine Learning},
  pages={468--485},
  year={2022},
  organization={PMLR}
}