ChemGPT 19M

ChemGPT基于GPT-Neo模型，并在论文《 Neural Scaling of Deep Chemical Models 》中进行了介绍。

模型描述

ChemGPT是一个用于生成分子模型的transformers模型，它在PubChem10M数据集上进行了预训练。

使用方法和限制

如何使用

您可以直接从?/transformers库中使用此模型。

限制和偏差

该模型是在PubChem的一部分分子上进行训练的。您可以使用此模型生成分子，但它主要用于研究预训练和微调对下游数据集的影响。

训练数据

PubChem10M，这是一个来自PubChem的SMILES字符串数据集，可通过 DeepChem 获取。

训练过程

预处理

使用SELFIES库的1.0.4版本将SMILES字符串转换为SELFIES。

预训练

请参阅 LitMatter repository 中的代码。

BibTeX条目和引用信息

@article{frey_soklaski_axelrod_samsi_gomez-bombarelli_coley_gadepally_2022, 
place={Cambridge}, title={Neural Scaling of Deep Chemical Models}, 
DOI={10.26434/chemrxiv-2022-3s512}, journal={ChemRxiv}, publisher={Cambridge Open Engage}, 
author={Frey, Nathan and Soklaski, Ryan and Axelrod, Simon and Samsi, Siddharth and Gomez-Bombarelli, Rafael and Coley, Connor and Gadepally, Vijay}, 
year={2022}} This content is a preprint and has not been peer-reviewed.

Frey, Nathan, Ryan Soklaski, Simon Axelrod, Siddharth Samsi, Rafael Gomez-Bombarelli, Connor Coley, and Vijay Gadepally. 
"Neural Scaling of Deep Chemical Models." ChemRxiv (2022). Print. This content is a preprint and has not been peer-reviewed.