您尚未登录账户
您的企业账号申请正在审核中
字节跳动推出新一代GUI代理模型UI-TARS
近日，字节跳动公司正式推出了其研发的新一代原生图形用户界面（GUI）代理模型——UI-TARS。该模型旨在通过自然语言实现对桌面、移动设备和网页界面的自动化交互，为用户提供更为便捷和高效的操作体验。
UI-TARS具备强大的感知、推理、行动和记忆能力。它能够实时理解动态界面内容，支持文本、图像等多种输入形式，并能跨平台（桌面、移动、网页）进行交互。用户可以通过自然语言指令与UI-TARS进行对话，完成复杂的任务规划、操作执行等。同时，UI-TARS还支持多步推理和错误纠正，能够像人类一样处理复杂的交互场景。
在跨平台操作方面，UI-TARS提供了标准化的行动定义，并兼容平台特定的操作，如快捷键、手势等。此外，它还具备视觉识别与交互功能，能够通过截图精准定位界面元素，并执行鼠标点击、键盘输入等操作，适用于复杂的视觉任务。
UI-TARS的记忆与上下文管理能力也是其一大亮点。它能够捕捉任务上下文信息，保留历史交互记录，从而更好地支持连续任务和复杂场景。这意味着，当用户在进行一系列操作时，UI-TARS能够记住之前的步骤和结果，为用户提供更为连贯和流畅的操作体验。
在自动化任务执行方面，UI-TARS能够自动化完成一系列任务，如打开应用、搜索信息、填写表单等，从而提高用户的工作效率。此外，它还支持灵活部署，既可以在云端部署，也可以在本地部署，满足不同用户的需求。
从技术原理上看，UI-TARS使用了大规模的GUI截图数据集进行训练，能够对界面元素进行上下文感知和精准描述。同时，它还通过视觉编码器实时抽取视觉特征，实现对界面的多态理解。在行动建模方面，UI-TARS将跨平台操作标准化，定义了一个统一的行动空间，并通过大规模行动轨迹数据训练，实现了精准的界面元素定位和交互。
此外，UI-TARS还引入了系统化推理机制，支持多步任务分解、反思思维和里程碑识别等推理模式。这使得它能够在复杂任务中进行高层次规划和决策。为了不断提升模型的性能，UI-TARS还采用了迭代训练与在线反思的方法，通过自动收集、筛选和反思新的交互轨迹进行迭代训练，从而适应未预见的情况并减少人工干预。
总的来说，UI-TARS作为字节跳动公司推出的一款新一代GUI代理模型，在感知、推理、行动和记忆能力等方面都表现出色。它的推出将为用户带来更为便捷和高效的操作体验，并有望在未来的自动化交互领域发挥重要作用。
