ChemGPT 4.7M

ChemGPT是基于GPT-Neo模型的，该模型在 Neural Scaling of Deep Chemical Models 中进行了介绍。

模型描述

ChemGPT是一种基于transformers的生成型分子建模模型，它是在PubChem10M数据集上进行预训练的。

预期用途和限制

如何使用

您可以直接从?/transformers库中使用该模型。

限制和偏见

该模型是在PubChem的一部分分子子集上进行训练的。您可以使用该模型生成分子，但它主要用于研究预训练和微调对下游数据集的影响。

训练数据

PubChem10M是一个包含有来自PubChem的SMILES字符串的数据集，可以通过 DeepChem 获得。

训练过程

预处理

使用SELFIES库的1.0.4版本将SMILES字符串转换为SELFIES。

预训练

请参考 LitMatter repository 中的代码。

BibTeX引用和引文信息

@article{frey_soklaski_axelrod_samsi_gomez-bombarelli_coley_gadepally_2022, 
place={Cambridge}, title={Neural Scaling of Deep Chemical Models}, 
DOI={10.26434/chemrxiv-2022-3s512}, journal={ChemRxiv}, publisher={Cambridge Open Engage}, 
author={Frey, Nathan and Soklaski, Ryan and Axelrod, Simon and Samsi, Siddharth and Gomez-Bombarelli, Rafael and Coley, Connor and Gadepally, Vijay}, 
year={2022}} This content is a preprint and has not been peer-reviewed.

Frey, Nathan, Ryan Soklaski, Simon Axelrod, Siddharth Samsi, Rafael Gomez-Bombarelli, Connor Coley, and Vijay Gadepally. 
"Neural Scaling of Deep Chemical Models." ChemRxiv (2022). Print. This content is a preprint and has not been peer-reviewed.