ChemGPT 1.2B

ChemGPT是基于GPT-Neo模型的，该模型在论文 Neural Scaling of Deep Chemical Models 中介绍。

模型描述

ChemGPT是一个用于生成分子模型的transformers模型，它是在PubChem10M数据集上进行预训练的。

预期用途和限制

如何使用

您可以直接使用?/transformers库中的这个模型。

限制和偏见

该模型是在PubChem的一部分分子上进行训练的。您可以使用这个模型生成分子，但它主要用于研究预训练和微调对下游数据集的影响。

训练数据

PubChem10M，一个包含来自PubChem的SMILES字符串的数据集，可通过 DeepChem 获取。

训练过程

预处理

使用SELFIES库的1.0.4版本将SMILES字符串转换为SELFIES。

预训练

请参考 LitMatter repository 中的代码。

BibTeX条目和引文信息

@article{frey_soklaski_axelrod_samsi_gomez-bombarelli_coley_gadepally_2022, 
place={Cambridge}, title={Neural Scaling of Deep Chemical Models}, 
DOI={10.26434/chemrxiv-2022-3s512}, journal={ChemRxiv}, publisher={Cambridge Open Engage}, 
author={Frey, Nathan and Soklaski, Ryan and Axelrod, Simon and Samsi, Siddharth and Gomez-Bombarelli, Rafael and Coley, Connor and Gadepally, Vijay}, 
year={2022}} This content is a preprint and has not been peer-reviewed.

Frey, Nathan, Ryan Soklaski, Simon Axelrod, Siddharth Samsi, Rafael Gomez-Bombarelli, Connor Coley, and Vijay Gadepally. 
"Neural Scaling of Deep Chemical Models." ChemRxiv (2022). Print. This content is a preprint and has not been peer-reviewed.