admin管理员组

文章数量:1130349

本文是LLM系列文章，针对《Mementos: A Comprehensive Benchmark for Multimodal Large
Language Model Reasoning over Image Sequences》的翻译。

Mementos：基于图像序列的多模态大型语言模型推理的综合基准

  • 摘要
  • 1 引言
  • 2 Mementos
  • 3 实验
  • 4 相关工作
  • 5 结论和未来工作

摘要

多模态大型语言模型（MLLMs）已经证明能够熟练处理各种视觉语言任务。然而，目前的MLLM基准主要用于评估基于单个图像的静态信息的推理，而现代MLLM从图像序列中推断的能力，这对理解我们不断变化的世界至关重要，但研究较少。为了应对这一挑战，本文介绍了Mementos，这是一种旨在评估MLLMs序列图像推理能力的新基准。Mementos以4761个不同长度的不同图像序列为特征。我们还使用GPT-4辅助的方法来评估MLLM的推理性能。通过仔细评估Mementos上最近的九种MLLMs，包括GPT4V和Gemini，我们发现它们很难准确描述给定图像序列的动态信息，经常导致对象及其相应行为的幻觉/误传。我们的定量分析和案例研究确定了影响MLLMs序列图像推理的三个关键因素：对象和行为幻觉之间的相关性、共现行为的影响以及行为幻觉的复合影响。我们的数据集在https://github/umd-huanglab/Mementos上可用。

1 引言

2 Mementos

3 实验

4 相关工

本文是LLM系列文章，针对《Mementos: A Comprehensive Benchmark for Multimodal Large
Language Model Reasoning over Image Sequences》的翻译。

Mementos：基于图像序列的多模态大型语言模型推理的综合基准

  • 摘要
  • 1 引言
  • 2 Mementos
  • 3 实验
  • 4 相关工作
  • 5 结论和未来工作

摘要

多模态大型语言模型（MLLMs）已经证明能够熟练处理各种视觉语言任务。然而，目前的MLLM基准主要用于评估基于单个图像的静态信息的推理，而现代MLLM从图像序列中推断的能力，这对理解我们不断变化的世界至关重要，但研究较少。为了应对这一挑战，本文介绍了Mementos，这是一种旨在评估MLLMs序列图像推理能力的新基准。Mementos以4761个不同长度的不同图像序列为特征。我们还使用GPT-4辅助的方法来评估MLLM的推理性能。通过仔细评估Mementos上最近的九种MLLMs，包括GPT4V和Gemini，我们发现它们很难准确描述给定图像序列的动态信息，经常导致对象及其相应行为的幻觉/误传。我们的定量分析和案例研究确定了影响MLLMs序列图像推理的三个关键因素：对象和行为幻觉之间的相关性、共现行为的影响以及行为幻觉的复合影响。我们的数据集在https://github/umd-huanglab/Mementos上可用。

1 引言

2 Mementos

3 实验

4 相关工

本文标签： MultimodalLARGEComprehensiveBenchmarklanguage

版权声明：本文标题：A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1758729264a2783420.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。