Bard是Google的AI聊天机器人，基于LaMDA和后来的PaLM模型，在2023年3月推出并取得了适度的成功，随后在5月扩展到全球。它是一个生成式AI，可以接受提示并执行基于文本的任务，如提供答案、摘要和创建各种形式的文本内容。

2023年7月13日，Google的Bard宣布了一项重大更新，允许将图像作为输入与文本提示一起使用。据称，Bard可以通过分析视觉内容来提供描述（例如图像标题）或使用视觉信息回答问题。

值得注意的是，虽然其他模型（如GPT4）声称具有接受和理解视觉输入提示的能力，但它们并不对公众进行实验。访问Bard为计算机视觉社区提供了第一个机会来评估其健全性和稳健性，以了解现有的优势和局限性。在这项研究中，研究人员的目标是分析Bard在解决图像理解中一些长期存在的计算机视觉问题的能力。

这项发表在《机器智能研究》上的研究确定了几个基于计算机视觉问题的有趣场景，用于对Bard进行定性评估。由于Bard的基于API的访问仍然不可用，研究人员的评估不包括大规模基准测试的定量结果。

相反，目标是确定一些具有深刻见解的场景和相应的视觉-文本提示，以评估Bard和未来的大型多模态模型（如GPT4）的视觉理解能力。研究人员特别关注Bard的动力是其在所有开源和闭源多模态对话模型中（包括于2023年7月18日推出的Bing-Chat）表现最佳，正如LLaVA-Bench所证明的那样。

为了评估Bard的能力，如视觉感知和上下文理解，基于给定的文本提示，研究人员设计了一系列视觉语言任务场景。

随后，他们深入研究了从这些实证研究中得出的几个示例，总共涵盖了15个视觉问答（VQA）场景，包括对象检测和定位、分析对象属性、计数、适应性和自然图像中的细粒度识别等任务。他们还尝试了一些具有挑战性的案例，如识别伪装的物体以及医学、水下和遥感图像等不同领域。他们在下面解释了这些场景。

第一个场景是对象属性。它表明Bard在识别需要对每个对象及其属性有深入理解的属性方面存在挑战。

第二个场景是对象存在。这表明Bard对视觉内容的基本理解仍然有限。研究人员进一步指出，Bard目前专为不包含任何人类的图像进行了优化，并删除包含人脸或人物的视觉输入。

第三个场景是对象位置。它表明Bard对视觉上下文的定位能力可以进一步提高。

第四个场景是关系推理。这表明Bard在推理关系方面还有改进的空间。

第五个场景是适应性。它暗示Bard仍然需要更好地根据文本指导严格捕捉视觉语义，并更有效地将这些语义与识别的场景中的对象相关联。

第六个场景是对抗样本。Bard的所有输出都表明它无法理解对抗样本。

第七个场景是多雨条件。结果表明，Bard在图像中存在多雨条件时表现不佳。

第八个场景是情感理解。研究人员查询Bard时，它的回答是不正确的。

第九个场景是细粒度识别。这个任务涉及识别给定对象类别中的特定子类别，由于类内变异增加、类间差异微细和需要专业领域知识的必要性，这比一般对象识别更复杂。Bard给出了正确和错误的答案。

第十个场景是识别伪装物体。这表明Bard进一步提高解析伪装模式和相似纹理的能力。

第十一个场景是对象计数。研究人员注意到，Bard擅长描述场景，但在理解具有挑战性场景中的高级内容方面似乎不太擅长。

第十二个场景是检测工业缺陷。研究人员观察到Bard在识别这些不容易察觉的缺陷的挑战性场景中存在困难，因此向用户提供了错误的响应。

第十三个场景是识别光学字符。Bard在各种文本识别场景中遇到困难，该模型很难理解自然图像中的文本。

第十四个场景是分析医学数据。实验中没有输出有意义的内容。

第十五个场景是解释遥感数据。研究人员的发现表明，Bard有一种倾向性，即在整体理解视觉场景方面表现出色，但在区分细粒度视觉模式方面面临挑战，特别是在准确确定商业建筑物等对象的精确计数时。

Google的Bard在对话式AI领域的出现引起了广泛关注，因为它取得了显著的成功。基于这一势头，本研究旨在全面评估Bard在各种任务场景中的性能，包括普通、伪装、医学、水下和遥感图像。调查结果显示，尽管Bard在许多领域表现出色，但在某些以视觉为基础的场景中仍面临挑战。

这一发现突显了Bard在各种应用中的巨大潜力，并强调了在视觉相关任务中增长和改进的充足空间。这项研究的实证见解预计对未来模型的发展非常有价值，特别是在弥合视觉性能差距方面。通过解决观察到的视觉场景限制，研究人员预计后续模型将具有更强的视觉理解能力，最终推动对话式AI的进一步发展。