之前的“提示工程师”,现在的“AI工程师”
2023年07月05日 由 Camellia 发表
530492
0
提示工程其实正在成为一份全职工作,它不仅仅涉及对ChatGPT进行提示,还需要进行全栈开发。
生成式人工智能的繁荣为人们带来了许多新的机会。过去一年里,生成式人工智能岗位的数量几乎增加了两倍。对开发人员来说,这创造了一个全新的抽象层和专业层,是一个完全的维度转换。人们通常把提示工程师称为给ChatGPT或类似软件提供提示的人。
然而,这实际上正在成为一份全职工作。在一篇最近热门的博客中,有人提出,与其将新开发人员称为“提示工程师”,我们应该称其为“AI工程师”。不过,这倒不是要与机器学习工程师混淆,机器学习工程师从头开始处理系统繁重的工作负载,构建模型。与这些机器学习或语言模型工程师相比,我们肯定会看到更多AI工程师的兴起。
Andrej Karpathy也对这个问题表达了类似的观点。他说,“提示工程师”这个术语可能会误导人,甚至让人感到尴尬,因为这个角色需要的远不止提示。
AI工程师的两面性
AI工程师这个角色预计会发展,这可能是好事,也可能是坏事。该领域的许多专家认为,随着语言模型的改进,在从这些工具生成代码后,甚至不需要进行当前需要做的事情。幻觉只是暂时的。
另一方面,随着领域的发展,也需要更多的专业知识。这在每个领域都是如此。将会有AI工程师,然后将会有全栈提示工程师。就像存在开发运维工程师、分析工程师、数据工程师等子学科一样,将会有处理AI任务中不同方面的角色。
以前,传统的机器学习通常涉及查找数据、构建模型,然后推出产品。现在,有了AI工程师,他们在试用产品之后进入这个行业,这个过程发生了逆转。他们在获得类似于ChatGPT的API之后,构建了一个名为Jasper或任何其他基于GPT的工具的产品。然后之后,他们着手使用数据进行微调,扩展模型。后两个步骤需要更多的技术知识,而不仅仅是提示工程。因此,这就是AI工程师的崛起。
随着API的可用性,AI工程师可以转向更多基于应用的角色,或通过回到基础知识深入研究。我们可以称之为MLops到LLMops的转变。
考虑到工作性质,这些AI工程师需要了解LLM应用堆栈的每一个步骤。这要求他们在提示工程之外扩展自己的知识。因此,虽然成为开发人员变得更容易了,但在进入这个领域后,成为最好的挑战是巨大而广泛的。
这是软件3.0吗?
往往情况是,公司更需要知道如何使用和推出产品或工具的人,而不是知道如何构建它的人。例如,HackerNews上的一名用户争论称,“如果我们有React工程师,为什么我们不能有AI工程师?”这是真的,这只是对不同技能的需求。
LLM/AI工程师还需要一个系统化的实验和可观察性工作流程,特别是在提示创建和系统开发方面。在LLM中,幻觉和推理间隙等挑战已经普遍存在,导致一致的认识是这些代理商是不可靠的。
传统模型和LLM系统都需要进行一些调整以实现最佳性能。传统模型可以通过训练和超参数选择进行改进,而LLM系统可以通过修改提示和链接LLM进行微调。现在,这不仅可以由LLM研究人员完成,还可以由提示工程师完成。
在过去,软件开发依赖于手动编写编程语言的指令。机器学习和神经网络使系统能够根据训练数据学习模式并进行预测。这被视为软件2.0,其中模型受过训练以执行特定任务。
微软表示每个人都是开发人员。Karpathy说,我们最热门的编程语言是我们自己的英语。软件1.0是经典编码,过渡到机器学习和神经网络,即软件2.0。提示为基础的开发人员的下一个转变应该是软件3.0。但是Karpathy表示,我们仍然处于抽象的第二层次,因为“我们仍然在人为设计的代码上进行提示,只是用英语进行提示”,这仍然是软件2.0的产物,而不是软件3.0。
来源:https://analyticsindiamag.com/prompt-engineers-then-ai-engineers-now/