万字长文韩国全色网，对多模态 LLM 中对都算法进行全面系统性追溯！

从现存对都算法涵盖的应用场景，到构建对都数据集的中枢成分，再到用于评估对都算法的基准，还有对都算法曩昔潜在发展主义，透彻梳理了一遍。

大谈话模子（LLMs）大概通过浅显的领导完成多种任务，且无需进行任务特定的熟习。然则，这些模子主要处理文本数据，关于多模态数据的处理存在局限。

由于全国骨子上是多模态的，包括视觉、听觉和文本等数据，研究者启动在 LLM 的基础上成就多模态大谈话模子（MLLMs），以处理更复杂的数据方式。

然则，现存的 MLLMs 仍濒临一系列挑战，尤其是在果然性、安全性、推理才气和与东说念主类偏好对都方面，这些问题尚未得到充分贬责。

因此，针对这些问题的对都算法应时而生，成为贬责这些挑战的灵验路线。

本文这项研究的主要孝敬是对多模态大型谈话模子（MLLMs）中的对都算法进行全面的系统性追溯。

具体而言，探讨了以下四个枢纽问题：

现存对都算法的应用场景：著作通过分类现时的对都算法，明白地展示了它们在不同应用鸿沟的适用性，并为研究者提供了一个斡旋的符号系统，匡助交融各算法之间的区别与磋商。

对都数据集的构建：对都数据集的构建波及数据源、模子反映和偏好详细三个中枢成分。著作对这些成分进行了系统分析与分类，并总结了公开数据集的上风与不及，为曩昔的修订提供参考。

对都算法的评估样式：鉴于大多数对都算法针对特定任务，如减少幻觉、确保安全性和改善推理才气，著作整理了常用的评估基准，冷漠了明白的评估框架。

曩昔发展主义：著作冷漠了对都算法发展的潜在曩昔主义，稀奇是视觉信息的整合、LLM 对都样式的资格启示，以及 MLLM 四肢智能体濒临的挑战与机遇。

这项研究由来自中国科学院自动化研究所、南京大学、中国科学时代大学、南洋理工大学、清华大学深圳海外研究生院、腾讯优图实验室、新加坡国立大学、理海大学、香港科技大学、松鼠 Ai 学习等机构的研究东说念主员共同完成。

中国科学院院士谭铁牛、中国野心境学会会士王亮领衔。

以下是更多细节。

应用场景与代表性样式应用场景

著作先容了多模态大谈话模子（MLLM）对都算法的应用场景，分为三大脉络：

通用图像交融：主要鸠合在减少幻觉（模子生成不准确或无关的输出），并提高模子在其他功能（如对话、推理才气）方面的发扬。

多图像、视频和音频：针对复杂多模态数据，如多图像和视频，冷漠了不同的架构和熟习样式来处理这些任务，尤其是如安在这些任务中减少幻觉并提高模子的才气。

膨胀应用：探讨了将 MLLM 应用于鸿沟特定任务，如医学、数学推理、安全系统等，先容了若何证明这些特定鸿沟的需求对模子进行优化。

通用图像交融与多模态 o1

一般图像交融

MLLM 对都算法的初志是贬责多模态系统中的幻觉问题。最近的研究标明，这些算法不仅能提高幻觉的处理，还能增强模子的安全性、对话才气、推理才气等多个功能属性。

本节将系统地先容几种翻新的样式，按其主要应用场景分类：减少幻觉和提高其他才气。

减少幻觉

MLLM 对都算法的首先联想指标是减少幻觉时势。

举例，Fact-RLHF 是第一个多模态的 RLHF 算法，使用了 10K 个东说念主工标注的样原本熟习奖励模子，并引入了每个 token 的 KL 刑事职守、事实信息校准、以及正确性和长度刑事职守等机制。

DDPO 通过提高更正数据的权重，进一步优化了尺度的 DPO。

HA-DPO 则愚弄 MLLM 生成图像描述，通过 GPT-4 考据幻觉并对正负样本进行重写，加入了赞助的因果谈话建模赔本以减少幻觉。

mDPO 通过引入视觉赔本函数来贬责视觉信息忽视问题，并加多锚定机制来幸免采选反映的概率着落。

提高空洞才气

除了减少幻觉，一些算法还专注于提高模子的多方面才气。

举例，Silkie 通过收罗种种的指示数据集，并使用 GPT-4V 评估生成的反映，从而为应用 DPO 提供偏好数据。CLIP-DPO 愚弄 CLIP 分数对数据进行标注，并应用 DPO 赔本，从而同期提高幻觉减放肆零样天职类任务的发扬。

SIMA 通过让模子自我评估其生成的反映来构建偏好对，进一步提高了多图像任务的发扬。

近期，MM-RLHF 等样式通过更种种性的数据和算法，将 alignment 的后果进一步提高。

多模态 o1 发展

DeepSeek-R1 的流行给 MLLM 社区带来了新的启示。

LMM-R1 使用纯文本数学数据集，通过 RLOO 熟习，并在多模态数学基准上取得了修订。

Open-R1-Video 则愚弄 GRPO 样式提高了模子在视频鸿沟的发扬。

VLM-R1 应用 R1 样式处理指代抒发理罢职务，进一步膨胀了多模态推理的才气。

多图像、视频和音频

在这一部分，著作盘考了多图像、视频和音频任务中的挑战和贬责样式。

多图像任务：现存的 MLLM 在多图像交融方面往往遭遇繁重，MIA-DPO 通过构建多图像偏好数据来贬责这一问题，取得了较好的后果。

视频任务：视频理罢职务比单图像任务愈加复杂，DPO 和交错视觉指示的都集，大概灵验提高视频任务的处理才气，如 LLaVA-NeXT-Interleave 样式。

音频任务：音频 - 视觉交融存在音频盲视问题，Video-SALMONN 2 通过引入音频 - 视觉对都机制，收效贬责了这一问题。

膨胀多模态应用

著作还先容了在特定鸿沟的膨胀应用，冷漠了针对性更强的对都样式。

医学应用：3D-CT-GPT++ 通过对医学影像分析进行优化，收效减少了会诊中的错误，达到了临床级别的准确性。

数学应用：MAVIS 样式通过修订视觉数学问题贬责框架，提高了 MLLM 在数学推理中的发扬。

安全性：为搪塞多模态大谈话模子的招架性波折，著作先容了 AdPO 和 VLGuard 等样式，它们通过优化熟习数据和模子结构来提高模子的鲁棒性。

代理和智能系统：INTERACTIVECOT 和 EMMOE 样式通过动态优化推理进程和分罢职务，提高了多模态大谈话模子在镶嵌式智能中的发扬，尤其是在复杂决策过程中。

作家分析多模态大谈话模子的不同应用场景，详备先容了多种算法和样式，涵盖了从通用图像交融到特定鸿沟应用的各个方面。

主要孝敬在于展示了若何通过优化对都算法来减少幻觉时势并提高模子在不同任务中的空洞才气，尤其在视频、音频、医学、数学等复杂鸿沟的应用。

跟着这些样式的不绝优化，MLLM 将在更多鸿沟展现其庞杂的处理才气。

下表总结了当今 alignment 计策常见的赔本函数方式：

MLLM 对都数据构造与现存数据总结主要内容总结

在多模态大型谈话模子（MLLM）的研究中，对都数据集是枢纽构成部分。由于多模态数据集的构建波及到多数的数据开首、生成样式和详细时代，研究者们对不同构建样式进行了分类。

这些数据集约莫不错分为两类：引入外部知识的数据集和依赖自我标注的数据集。

通过这些分类，研究者不错更明白地了解不同数据集的脾气，进而为多模态系统的优化提供赈济。

作家对现存 MLLM 对都数据集进行了全面的分类与分析，详备先容了不同构建样式的优流毒以及应用场景。研究主要暖热以下几个方面：

引入外部知识的数据集：盘考了通过东说念主类详细和闭源模子（如 GPT-4 系列）构建的数据集，这些样式提高了数据的质料，但也濒临高资本和主不雅性等挑战。

自我标注的数据集：探讨了愚弄模子本人生成偏好对进行数据集构建的样式，包括单一文本模态、单一图像模态和图像 - 文本搀杂模态三种类型的数据构建样式。

数据质料和限制的均衡：著作还盘考了若何均衡数据质料、限制与资本的关系，并预测了曩昔自动化数据增强时代的后劲，稀奇是若何愚弄自我标注样式提高数据质料。

通过这项使命，研究者们不错愈加明晰地交融多模态数据集的构建计策，为曩昔的研究提供有劲的赈济。

引入外部知识的数据集

东说念主工详细：通过东说念主工标注，收罗了不同鸿沟的高质料数据。

举例，LLaVA-RLHF 通过东说念主工采纳正负反映收罗了 10k 个样本，RLHF-V 通过东说念主工修正幻觉反映收罗了 1.4k 个样本。

闭源 LLM/MLLM：愚弄 GPT-4 系列模子生成的偏好数据，通过这种样式不错大限制构建数据集，同期减少资本。

像 LRV-Instruction 通过 GPT-4 生成了 400k 个视觉指示，涵盖 16 个视觉谈话任务。

开源 LLM/MLLM：使用开源模子（如 CLIP-DPO）来构建偏好数据，减少资本但可能葬送数据质料。

举例，INTERACTIVECOT 通过预界说分数构建了具身智能的偏好数据集。

自我标注的数据集

单一文本模态：

SQuBa 使用微调后的模子生成负样本，并将其与正样本进行 DPO 对比。SymDPO 通过将 VQA/ 分类数据调动为 ICL 样式，以增强视觉学习。

单一图像模态：

Image DPO 通过对图像进行扰动（如高斯污秽或像素化），而保抓文本不变，构建 DPO 偏好对。

图像 - 文本搀杂模态：

AdPO 通过构建原始 / 招架图像过甚模子反映的偏好对，在优化过程中，两者的图像和文本内容在正负样本中有所不同。

实验发现

在实验部分，研究发现：

数据集限制与质料的均衡：通过引入外部知识的数据集，大概提高数据的质料，但这也加多了构建资本。而自我标注的样式天然大概大限制生成数据，但由于 MLLM 的性能摈弃，现时的自我标注数据集质料仍较低，且存在一定的分散偏移问题。

自动化增强的后劲：跟着自动化数据增强时代的发展，曩昔的自我标注样式将可能贬责现时数据质料低的问题，并提高数据的种种性和实在度。

总的来说，数据集的构建样式和质料适度是影响 MLLM 对都后果的枢纽成分，曩昔的研究应暖热如安在保证数据质料的同期，裁减资本并提高数据集的限制。

模子评估

现存的 MLLM 对都评估基准被分为六个枢纽维度：

通用知识（评估基础才气）、幻觉（臆想生成内容与事实的一致性）、安全性（评估反映中裁减风险的才气）、对话（测试模子是否能输出用户条件的内容）、奖励模子（评估奖励模子的发扬）和与东说念主类偏好的对都。

通用知识

大多数基准优先斟酌高质料、东说念主工详细的数据集，这些数据集故意为施行应用场景量身定制。

举例，MME-RealWorld 包含来自 13K 张图像的 29K 个问答对，MMMU 包含来自学术开首的 11.5K 个问题。MMStar 通过减少数据露馅和强调视觉依赖性来增强可靠性。

很多基准引入了翻新样式，如 MMBench 的双语评估与 CircularEval，MMT-Bench 的任务图用于域表里分析，以及 BLINK 专注于视觉感知任务。这些框架提高了评估精度，揭示了模子的局限性。

任务时常需要高等的多模态推理才气，举例 MathVista 的数学视觉整合、SQA3D 的 3D 情境问答以及 MMMU 对图表和舆图的掩饰。

这些基准鼓励模子贬责跨学科的挑战，通过经营具有挑战性的、细粒度的任务（如 MVBench 中的时代交融、Mantis-Instruct 中的多图像处理），旨在提高模子贬责现实全国问题的才气，稀奇是在细腻感知和推理方面。

幻觉

这些基准系统地识别并分类多模态模子中的幻觉问题，包括对象幻觉（Object HalBench）、内在和外皮幻觉（VideoHallucer）以及关联偏差（VALOR-Eval）。它们强调在视觉、文本和序列高下文中的细粒度评估。

很多基准冷漠了翻新的框架，举例基于投票的查询（POPE）、LLM 驱动的评分（HaELM、RefoMB）、通达词汇检测（OpenCHAIR）、无详细评估（GAVIE）、无 LLM 管说念（AMBER）和 GPT-4 赞助的推理分析（Mementos）。

这些样式强调自动化、可膨胀的评估，同期贬责数据露馅媾和话先验等问题。

数据集优先经受细粒度的东说念主类详细（M-HalDetect、HallusionBench）和合成数据生成（VHTest、MHaluBench），它们均衡了现实全国的复杂性（PhD 的反学问图像、ActivityNet-QA 的 58K 问答对）和受控挑战（R-Bench 的鲁棒性分析）。

一些基准专注于特定任务，如多谈话赈济（MHumanEval），而另一些则处理更平方的问题，如偏见和侵略（Bingo）。通盘这些都旨在提高模子在施行场景中的鲁棒性。

通过冷漠对都计策（如 RLAIF-V 的开源反馈）并冷漠斡旋框架（HQH），这些基准为成就更可靠的多模态系统提供了领导。

安全性

一些研究引入了新颖的时代，举例基于扩散的招架性波折（AdvDiffVLM）、红队框架（RTVLM）和后期微调计策（VLGuard）。

这些样式通过模拟现实全国威迫或提高模子的抗侵略才气来增强评估的严谨性。

像 MultiTrust 和 RTVLM 这么的基准通过多个维度斡旋了实在度评估（如果然性、刚正性），而另一些基准则专注于特定挑战，如超出分散（OOD）泛化（VLLM-safety-bench）或过度明锐性（MOSSBench）。这些基准为模子的摈弃提供了合座的见地。

MM-RLHF-SafetyBench 从现存数据鸠合进行采样，进一步涵盖了如招架性波折、秘密、红队波折和无益内容检测等鸿沟。

对话

这些基准优先评估基础的视觉手段，如初级感知才气（Q-Bench、LLVisionQA）、初级信息的描述才气（LLDescribe）和质料评估。

它们强调模子解释和抒发细粒度视觉信息的才气。

几个基准测试了模子在具有挑战性场景中的泛化才气，包括终点规图像（LLaVA Bench-Wilder）、跨鸿沟任务（LiveBench 的数学 / 新闻整合）和招架性领导（Vibe-Eval 的高难度问题）。这些基准揭示了模子在尺度数据集除外的顺应才气。

奖励模子

每个基准都针对特定的评估维度，举例多谈话才气（M-RewardBench 中的 23 种谈话）、对都 / 安全性 / 偏见（MJ-Bench）、通过东说念主类详细增强可解释性和最终模子评分才气（MM-RLHF-RewardBench）以及 MLLM 在赞助评判者跨多种模态中的才气（MLLM-as-a-Judge 的评分与成对比较）。

这些框架揭示了模子在结构化和 OOD 场景中的优流毒。

高质料的数据集通过东说念主类与 AI 合作（如 VL-RewardBench 的详细管说念）或结构化三元组联想（RewardBench）经营而成，任务简约单的偏好排序到复杂的推理，鼓励模子处理如幻觉和伦理对都等细腻挑战。

对都

麻豆 艾鲤

一些基准研究了模子与东说念主类偏好的对都才气。

Arena-Hard 是一个全面的多维度基准，旨在评估华文 LLM 的对都才气。AlpacaEval-V2 冷漠了一种浅显的追溯分析样式，用于适度自评中的长度偏差。Arena-Hard 通过加多模子性能的分离度三倍，达到了 98.6% 的与东说念主类偏好名次的关联性。MM-AlignBench 是一个故意联想的手工详细基准，旨在评估与东说念主类价值不雅的对都。

总体而言，很多现时的 MLLM 对都算法侧重于驻扎模子生成幻觉，同期探索若何愚弄对都算法提高 MLLM 的通用知识和对话才气，这是曩昔的进军主义。

一些研究者将不安全的反映视为与东说念主类偏好不合都，因此应用 MLLM 对都算法来贬责安全问题。这些框架中奖励模子的灵验性，尤其是在指示对都方面的发扬，值得进一步研究。

此外，针对与东说念主类偏好的对都，基准也从 LLM 鸿沟发展到了 MLLM 鸿沟。

曩昔使命与挑战

跟着多模态大型谈话模子（MLLM）的马上发展，将它们与东说念主类偏好对都依然成为研究的重心。然则，仍然存在几许挑战。

首先，高质料和种种化数据集的稀缺问题仍然未得到灵验贬责。其次，很多样式未能灵验愚弄视觉信息，往往主要依赖文原本构建正负样本，忽略了多模态数据的沿途后劲。此外，穷乏全面的评估尺度，现时的样式时常仅在幻觉或对话任务等特定类型的基准上进行考据，这使得它们的普适性难以评估。

通过模仿 LLM 后期熟习计策和智能体研究的进展，不错揭示现存 MLLM 对都样式中的局限性。克服这些挑战关于成就更庞杂和全面的对都样式至关进军。

数据挑战

MLLM 对都濒临两个枢纽的数据关联挑战：数据质料和掩饰范围。

首先，高质料的 MLLM 对都数据的可用性有限。与 LLM 比拟，获取和详细多模态数据要复杂得多，因为它波及多个模态的处理。

其次，现存数据集在涵盖种种化多模态任务方面存在不及，举例光学字符识别、数学问题和图表交融等任务。构建一个涵盖平方任务的空洞数据集是一项极具挑战的使命。

据作家所知，当今莫得一个公开的、完全东说念主工详细的多模态数据集样本量高出 200，000 个。

这些在数据质料和掩饰范围方面的摈弃，成为灵验对都 MLLM 的枢纽阻碍。

愚弄视觉信息进行对都

当今的对都数据不错示意为：偏好数据 D= ( x， I， yw， yl ) ，其中 x 是问题，I 是图像，yw、yl 远隔示意正确和造作的反映。

在现时的研究中，主要有三种样式用于愚弄视觉信息来增强对都性能，但每种样式都有其局限性：

使用阻止或无关图像四肢对都阶段的负样本。

研究东说念主员创建新的图像 Ineg，并使用 ( yw｜X， Ineg ) 四肢负样本。此样式通过减少幻觉和提高 MLLM 对不同图像的鲁棒性来改善对都后果。然则，视觉负样本时常依赖于扩散算法或图像修改，这些样式穷乏强有劲的质料度量，况兼野心资本较高。

基于阻止图像生成新的问题和谜底。

在这种样式中，研究东说念主员创建一个新的图像 Ineg，使用该图像生成非常的反映 yneg，然后将 ( yneg｜X， I ) 视为负样本。此样式加多了文本比较的种种性，但生成非常负样本的过程加多了野心支拨。

使用像 CLIP 这么的余弦相似度度量来评估文本 - 图像匹配。

该样式通过野心文本与图像之间的相似度分数来筛选数据，或将其四肢强化学习奖励函数的一部分。天然这种样式有助于减少数据噪声，但评分的质料依赖于评估模子的质料，可能受到模子偏见的影响。

每种样式在愚弄视觉数据增强 MLLM 对都方面都有一定的作用，但在效用、资本和潜在偏见方面存在衡量。

空洞评估

大多数 MLLM 对都研究主要评估其算法在幻觉、对话才气或安全性等几个枢纽鸿沟的发扬。

然则，曩昔的研究应经受更全面的评估样式，跨更平方的任务评估对都样式，以更好地展示其普适性和灵验性。

全模态对都

Align-anything 始创了通过多模态数据集" align-anything-200k "落幕全模态对都的研究，涵盖了文本、图像、音频和视频。这项研究展示了不同模态之间的互补效应。

然则，他们的使命仍处于初期阶段，每种模态的数据集相对较小，摈弃了其任务掩饰范围。

此外，冷漠的算法仅是 DPO 样式的初步修订，未能充分愚弄每种模态固有的独有结构信息。

曩昔，超过图像 / 文才气域的对都算法联想，尤其是针对其他模态的对都，将是一个枢纽的趋势。

MLLM 推理

最近，由 OpenAI（o1）和 DeepSeek-R1 代表的推理 LLM 依然证明注解，强化学习算法和偏好数据关于提高 LLM 在复杂问题求解、永劫高下文交融和生成任务中的发扬至关进军。

本文将探讨从 LLM 推理增强研究中得到的知悉过甚对对都 MLLM 的影响，主要从数据和优化框架两个维度进行分析。

( 1 ) 数据。

限制与质料。对应的样式渐渐从小模子重采样（如 OpenMathInstruct）发展到高质料合成数据（如 AceMath），并缓缓经受顶端模子（如 OpenAI o1）和通过鸿沟专用模子合成数据落幕可膨胀的知识搬动（如 DeepSeek-V3）。

当今，用于推理增强的数据集广阔达到百万样本限制（如 Qwen-2.5-MATH）。

效用。经受"少便是多"的对都（如 LIMA 的 1k 样本用于 65B Llama）证明注解了最少的高质料数据大概最优地激活预熟习才气，同期减少对数据限制的依赖。

( 2 ) 优化框架。

采样计策。最近的进展标明，在线强化学习（RL）渐渐成为主流样式，DeepSeek-V3 和 Qwen-2.5-MATH 的在线采样样式灵验地缓解了分散偏移。

此外，Mini-Max 经受了离线 + 在线采样计策，进一步提高了模子性能。

熟习范式。多阶段、合作优化已成为主流样式。

举例，Llama 3 包含了六轮 DPO 迭代，而 DeepSeek 通过温度变化的采样和反射 / 考据领导来优化推理深度（长链式推理）和粗略性。

算法。强化学习算法从早期的计策梯度样式发展到更复杂的 PPO，最近基于 PPO 的修订主要有两个主义：

一个是去除评估模子并用疏淡奖励熟习计策，从而减少一半的参数目（如 DPO 和 GRPO）；另一个是精采评估模子的联想，举例引入比率四肢上风函数的 PRIME 和通过重塑正负样本奖励的 OREAL。

通过优先斟酌高质料数据和翻新的优化框架，MLLM 鸿沟正朝着更灵验、可膨胀的模子发展，这些模子也能更好地解锁 MLLM 的推理后劲。

LLM 对都的启示

对 LLM 的对都依然成为最近研究的一个枢纽焦点，提供了很多有价值的见地，不错为 MLLM 的成就提供领导。通过凝视现存 LLM 对都计策的资格教化，不错揭示出有助于提高 MLLM 研究的枢纽原则：

( 1 ) 提高熟习效用。

现时 MLLM 的对都样式依赖于 DPO 赔本函数。然则，由于 DPO 需要同期加载计策模子和参考模子，熟习速率会权贵着落。是否不错愚弄肖似 SimPO 的无参考样式进一步提高熟习效用？

这雷同式可能加快熟习过程，同期减少对参考模子的依赖。进一步研究参考模子在 MLLM 对都中的具体作用和影响，关于提高效用和优化模子联想至关进军。

( 2 ) 收缩过度优化 / 奖励黑客问题。

在使用 DPO 或 RLHF 进行 LLM 对都时，过度优化仍然是一个枢纽挑战，即通过学习到的代理奖励模子来提高性能，但真确的质料可能停滞或退化。

为搪塞这一挑战，贬责计策包括：

使用均衡的熟习数据集确保种种性和代表性，驻扎过于短促的优化；

在考据性能安然时践诺早停；

引入正则化时代，减少对熟习数据的过度依赖，提高模子的泛化才气。

MLLM 四肢智能体

MLLM 都集了 LLM 庞杂的推理才气和处理来自多种模态（如图像、文本和音频）数据的才气。这使得它们大概从多种信息源中索求学识并进行空洞分析，在处理复杂的现实任务中具有很大上风。

然则，要将 MLLM 养息为高效的智能体，仍然需要贬责几个待处理的问题。

多智能体合作。

当今，针对基于文本的智能体的多智能体合作框架已取得权贵进展，但基于 MLLM 的多智能体系统仍穷乏老练的贬责决策。

鲁棒性。

MLLM 智能体在通达环境中的鲁棒性尚未得到系统考据，需引入招架性鲁棒性测试和保险时代。

安全性。

MLLM 智能体中引入更多复杂组件加多了安全风险，曩昔的研究应探索多种安全保护机制，以收缩这些风险。

论文承接：https://arxiv.org/pdf/2503.14504

GitHub 承接：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Alignment

一键三连「点赞」「转发」「留意心」

见谅在挑剔区留住你的思法！

—  完  —

学术投稿请于使命日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 容颜主页承接，以及磋商方式哦

咱们会（尽量）实时陈诉你

� �   点亮星标 � �

科技前沿进展逐日见韩国全色网