研究亮点:LLM可以处理比我们想象的更多的文本
2023年06月19日 由 Susan 发表
493613
0
AI21 Labs的研究团队负责开发生成文本的人工智能平台Human or Not、Wordtune和Jurassic 2。该团队已经找到了一种新方法,可以克服大规模语言模型面临的挑战,即在处理大量文本之前成本过高且不切实际的问题。
这些研究结果是来自一项研究,研究人员发现通过对注意力机制进行两个简单的改变,大规模语言模型(LLMs)能够同时阅读多个文本,从而规避了一开始就会面临的成本问题。通过广泛的测试,该团队证明了这些模型具有内置的并行阅读能力,使得处理多个文本更加高效和准确。
假设您拥有一家酒店,并希望根据各种参数(如清洁度、办理入住以及设施等)对其评论进行分类。以往,大规模语言模型(LLM)在尝试将评论完整地扫描并放入多个分类时可能会遇到问题。但是,通过允许LLM在不同间隔时间内同时扫描文本,LLM可以提高对现有和未来评论进行分类的能力。
来源:https://insidebigdata.com/2023/06/16/research-highlights-llms-can-process-a-lot-more-text-than-we-thought/