您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
OpenAI推出“预测输出”功能，加速GPT语言模型文本处理
2024年11月07日 由 neo 发表
75
0
OpenAI近期为其GPT-4o和GPT-4o-mini语言模型推出了一个名为“预测输出”（Predicted Outputs）的新功能，这一创新使得AI辅助的文本处理速度得到了显著提升。
初步测试结果显示，这一新功能在速度上带来了显著的提升。与现有的模型相比，代码编辑的响应时间快了两到四倍。以往需要大约70秒才能完成的大型文件修改，现在仅需约20秒即可轻松搞定。OpenAI特别指出了几个关键的应用领域，如更新博客文章、在先前响应的基础上进行迭代，以及在现有文件中重写代码等。
该系统的运行原理相对简单明了：开发者可以提前输入预期输出的部分内容。这种方法在处理重复任务或小文档更改时表现得尤为出色，因为模型需要生成的新标记大大减少。OpenAI还指出，作为一条一般性准则，当能够保存50%的输出标记时，处理时间大约可以减少50%。
然而，值得注意的是，“预测输出”功能并非万能钥匙。它主要适用于预测与模型响应密切一致的情况，而在生成完全新的内容，特别是无法进行有意义预测的情况下，其效果可能并不理想。OpenAI已经成功测试了该功能在多种编程语言中的应用，涵盖了Python、JavaScript、Go和C++等热门语言。
当然，这一新功能也存在一定的限制。它目前仅适用于GPT-4o和GPT-4o-mini模型，并且无法与多个输出或函数调用等高级API参数一起使用。因此，OpenAI建议开发者在尝试该功能时，先从控制和可预测的任务入手，以实现最大的效率提升。
文章来源：https://the-decoder.com/openais-gpt-4o-can-now-predict-its-own-outputs/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消