大型语言模型（LLM）是高级深度学习算法，能够处理书面或口头提示，并针对这些提示生成文本。这些模型最近变得越来越受欢迎，现在正在帮助许多用户创建长文档的摘要、获得品牌名称灵感、快速回答简单查询以及生成各种其他类型的文本。

佐治亚大学和秒佑医疗国际的研究人员最近开始评估不同LLM的生物学知识和推理技能。他们的论文已预发表在arXiv服务器上，表明OpenAI的GPT-4模型在推理生物学问题方面表现优于市场上其他主要的LLM。

“我们的最新出版物证明了AI对生物学研究的显著影响，”这篇近期论文的合著者Zhengliang Liu对Tech Xplore说。“这项研究源于LLM的快速采纳和演进，尤其是在2022年11月ChatGPT引人注目的推出之后。这些进步被视为朝通用人工智能（AGI）迈进的关键步骤，标志着从传统生物技术方法到以AI为中心的方法在生物学领域的转变。"

在他们最近的研究中，Zhengliang Liu及其同事们旨在更好地理解LLM作为进行生物学研究的工具的潜在价值。尽管许多过去的研究强调了这些模型在广泛领域的实用性，但它们关于生物数据和概念的推理能力尚未进行深入评估。

“这篇论文的主要目的是评估并比较领先LLM（如GPT-4、GPT-3.5、PaLM2、Claude2和SenseNova）在理解和推理生物相关问题方面的能力，”Zhengliang Liu说。"这是通过一个包含108个选择题的考试细致评估的，涵盖了分子生物学、生物技术、代谢工程和合成生物学等多个领域。"

Zhengliang Liu及其同事计划确定今天一些最著名的LLM是如何处理和分析生物信息的，同时也评估它们产生相关生物假设和解决生物相关逻辑推理任务的能力。研究人员使用选择性考试比较了五种不同LLM的表现。

“选择题考试是评估LLM常用的方法，因为考试结果可以很容易地被评分/评估/比较，"论文的合著者Jason Holmes解释道。"对于这项研究，生物学专家设计了一个包含108个问题的选择题考试，并包含一些子类别。"

Jason Holmes和他的同事们向LLM提出了他们编制的测试中的每个问题五次。但是，每次提问时，他们都改变了问题的措辞。

“对于每个LLM重复提问同一问题的目的是为了确定平均表现和答案的平均变化，"Holmes解释。"我们改变措辞是为了不误以最优或最差的指令措辞为基础，这可能导致表现的变化。这种方法也让我们了解到实际使用中性能的变化情况，在实际使用中用户不会以相同的方式提问。"

Zhengliang Liu、Holmes及其同事们进行的测试收集了关于不同LLM对协助生物学研究者的潜在效用的洞察。总体上，他们的结果表明LLM对各种生物相关问题反应良好，同时也准确地关联了基础分子生物学、常见分子生物学、代谢工程和合成生物学中的概念。

“值得注意的是，GPT-4在检验的LLM中表现出色，在我们的多项选择考试中五次尝试使用不同提示平均得分为90，”论文的合著者Xinyu Gong说。

"除了总体上获得最高的测试分数，GPT-4在试验中也表现出了很高的一致性，突显其在生物学推理中相比同行模型的可靠性。这些发现强调了GPT-4在协助生物学研究和教育方面的巨大能力。"

这支研究人员团队的近期研究很快可能激发其他工作的进一步探索，这些工作将进一步探索LLM在生物学领域的可用性。到目前为止收集的结果表明LLM可能是研究和教育的有用工具，例如支持在生物学上辅导学生、创建互动学习工具和创建可测试的生物假设。

“本质上，我们的论文是在高级AI，尤其是LLM的能力与错综复杂且快速发展的生物学领域合并的开创性努力，”Zhengliang Liu说。"它在生物学研究中开启了新的篇章，将AI定位为不仅仅是一个支持工具，而是在导航和解释广阔复杂的生物学景观中的一个中心元素。"

LLM的未来发展及其对生物数据的进一步培训可能为重要的科学发现铺平道路，同时也使得创建更高级的教育工具成为可能。Zhengliang Liu、Holmes、Xinyu Gong及其同事现在正计划在这一领域进行进一步的研究。

在他们的下一个作品中，他们首先计划制定策略来克服使用GPT-4（支持ChatGPT的LLM）所涉及的计算需求以及与隐私相关的问题。这可以通过开发开源LLM来实现，自动完成诸如基因注解和表型-基因型配对等任务。

“我们将从GPT-4那里提炼知识，创建遵循指令的数据来微调本地模型，比如LLaMA基础模型，”这篇论文的合著者Zihao Wu对Tech Xplore说。

"这个策略将利用GPT-4的能力，同时解决隐私和成本问题，使得先进工具更容易为生物学社区所接触。此外，随着GPT-4V视觉能力的发展，我们将把我们的研究延伸到多模态分析上，专注于天然药物分子，比如抗癌剂或疫苗佐剂，特别是那些未知生物合成途径的分子。"

"我们将研究它们的化学和生物合成途径及潜在应用。GPT-4V识别分子结构的能力将增强我们对复杂多模态数据的分析，促进我们在药物发现和发展合成生物学中的理解和应用。"