AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
Diagram-MMU：面向科学图表的多模态基准测试
机构 * Nanjing University of Science and Technology（南京理工大学） ； Baidu Inc（百度公司） ； AIML, Adelaide University（阿德莱德大学AIML） ； SUTD（新加坡科技设计大学） ； Southeast University（东南大学） ； East China Normal University（华东师范大学） ； University of Oxford（牛津大学）
专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文构建了多模态基准测试Diagram-MMU，评估MLLMs的科学图表解析与理解能力，发现图表转代码任务更具挑战，Claude-4.6 Opus在智能体场景下表现最优。
ArtiFact: 大规模多模态文化遗产数据集
机构 * BIFOLD & TU Berlin（BIFOLD与柏林技术大学）
专题命中 多模态评测 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出包含65万条博物馆记录的多模态文化遗产数据集ArtiFact，用于跨模态错误检测和语义查询处理，揭示现有系统在领域特定错误和文化语义查询上的挑战。
Comments NOVAS Workshop at VLDB 2026
你能看到你所绘制的内容吗？面向统一多模态模型整体评估的语义闭环框架
机构 * Hangzhou Institute for Advanced Study（杭州高等研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Computer Network Information Center（计算机网络信息中心） ； Chinese Academy of Sciences（中国科学院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本研究针对统一多模态模型的系统级评估缺口，提出无标注的SGU语义闭环框架，通过感知-生成-推理流程评估模型综合能力，发现高性能模型存在自生成上下文推理局限，为下一代模型开发提供基准基础。
Comments 21 pages, 8 figures, 12 tables
VLMs在帮助人类推断从多模态简答中获得的思维模型质量的有效性如何？
机构 * Department of Computer Science and Engineering, IIT Bombay（印度理工学院班加罗尔分校计算机科学与工程系） ； Center for Educational Technology, IIT Bombay（印度理工学院班加罗尔分校教育技术中心） ； School of Management, Mahindra University（马恒达大学管理学院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 本文提出MMGrader方法，通过概念图框架从多模态回答推断学生思维模型质量，发现最佳模型在人类水平上表现不足，但能有效辅助教师改进教学。
P2MFDS：面向浴室环境老年人的隐私保护多模态跌倒检测系统
机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） ； Department of Computer Science and Software Engineering, The University of Western Australia（西澳大学计算机科学与软件工程系）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 针对浴室环境老年人跌倒检测的单模态系统准确率受限问题，本文提出P2MFDS多模态系统，融合毫米波雷达与3D振动传感，构建大规模隐私保护数据集，双流网络结合多尺度特征，提升了跌倒检测的准确率与召回率。
Comments Accepted to appear in the 2025 IEEE International Workshop on AIoT and Smart Systems (AIoTSys'25)
多模态QUD：来自科学图表的探究性问题
机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Ithaca College（伊萨卡学院） ； UC Berkeley, BespokeLabs.ai（伯克利大学，BespokeLabs.ai）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL
AI总结 本文提出多模态QUD数据集，通过结合图表与文本上下文生成探究性问题，提升多模态推理能力，实现更高质量的视觉 grounding。
LoDA：一种面向目标级变化检测的检测级别感知方法及多模态感知基准
机构 * Western Australia Machine Intelligence Group Pty Ltd（西澳大利亚机器智能集团有限公司） ； The University of Western Australia（西澳大利亚大学） ； Curtin University（科廷大学）
专题命中 多模态评测 ：multimodal(title)；分类 cs.CV
AI总结 该研究针对自动驾驶等领域的目标级变化检测问题，提出LoDA检测级别感知方法，构建LoDA基准，在Subiaco和Urb3DCD-V2基准上均超越现有最佳基线，提升了变化检测性能。
LakeQuest：用于跨数据湖的有基础问答的三领域基准测试
机构 * University of Waterloo（滑铁卢大学）
专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 介绍LakeQuest基准测试，用于评估跨数据湖的有基础问答。它跨越三个领域，含9846个QA对及证据指针，能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理，凸显未来智能QA系统需强大发现和跨文件组合机制。
Comments 24 pages, 4 figures, 18 tables. Accepted at the Conference on Language Modeling (COLM) 2026
360度图像感知与MLLMs：一个全面的基准和无需训练的方法
机构 * GSIS, Tohoku University（东大GSIS研究所，东京东大大学） ； RIKEN AIP, Japan（日本RIKEN AIP）
专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出360Bench基准和Free360方法，评估MLLMs在360度图像感知中的能力，揭示其不足，并提出基于场景图的无需训练框架提升VQA性能。
Journal ref ECCV2026 (Link: https://tranhuyen1191.github.io/360Bench-Free360/)
DPO中的上下文盲区：通过上下文校准的偏好优化缓解多模态大语言模型（MLLMs）中的物体幻觉
机构 * Korea University（高丽大学） ； KAIST（韩国科学技术院）
专题命中 多模态评测 ：multimodal(abstract,abstract_cn)；分类 cs.CV
AI总结 本研究针对MLLMs的物体幻觉问题，提出C²-DPO方法，通过最大化上下文偏好增益降低幻觉率，使Qwen2-VL-Instruct-2B的幻觉率相对降低36%且不损害通用推理能力。
Comments Accepted at ECCV2026
Omni-Persona：系统性基准测试与改进多模态个性化
机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目） ； Department of Artificial Intelligence, University of Seoul（首尔大学人工智能系）
专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 Omni-Persona提出首个多模态个性化基准，通过Persona Modality Graph任务组和细粒度任务，系统分析多模态个性化中的接地行为，提出Calibrated Accuracy评估方法，揭示开源模型在音频与视觉接地上的差距及SFT与RLVR的局限性。
Comments Project Page: https://github.com/oyt9306/Omni-Persona
JieZi：用于古文字训诂的大规模专家审核数据集与基准
机构 * South China University of Technology（华南理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文针对古文字训诂研究缺乏结构化数据与基准的问题，提出ACCE任务，构建JieZi-Dataset与JieZi-Bench，实验发现多模态大模型在古文字训诂的高阶任务上表现不佳，微调后性能显著提升。
Comments 19 pages, 13 figures. Accepted to the Dataset Track of ACM Multimedia 2026 for oral presentation
基于基准的公开基准印度基础模型对比评估：能力与评估成熟度框架
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出能力与评估成熟度框架，对公开基准的印度基础模型与全球同类模型对比评估，发现其在传统基准表现尚可但参与新评估不足，还提出基准成熟度指数，指出能力差距或源于评估生态问题。
Comments 18 pages, 11 tables
利用地球观测数据对齐优化边缘冰区的冰标记
机构 * British Antarctic Survey（英国南极调查局）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 该研究提出基于互信息对齐的架构，对齐Sentinel-1与MODIS的多模态卫星场景，构建稀疏专家标注数据集，提升海冰分类准确率，实现从稀疏监督的精确密集海冰分割。
Comments ECCV Workshop paper; BEAM 2
自演进的代码-图像推理
机构 * Nokia（诺基亚） ； University of Georgia（佐治亚大学） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 该研究提出代码-图像推理范式，通过无训练反思循环让模型自我演进技能，在CwI-Bench上显著提升多模态模型视觉任务准确率，技能可跨规模与任务家族迁移。
Comments 37 pages
面向随机预测函数的聚类随机平滑方法
机构 * Delft University of Technology（代尔夫特理工大学） ； University of Stuttgart（斯图加特大学） ； AI4I
专题命中 多模态评测 ：multi-modal(abstract)
AI总结 本文针对随机多模态回归中随机平滑的模式崩溃问题，提出聚类α-平滑框架，在两个基准实验中较现有方法显著降低了Wasserstein距离与碰撞率。
日常训练中下肢肌肉活动的同步AMG与EMG数据集
专题命中 多模态评测 ：multimodal(abstract)
AI总结 该研究构建了健康成人下肢活动的同步AMG与EMG多模态数据集，通过基准测试评估其用于关节角估计的性能，为下肢肌肉协调相关研究提供了可重复的资源。
ForgeryVCR: 通过高效的取证工具在MLLMs中实现视觉中心推理用于图像伪造检测与定位
机构 * Shenzhen University（深圳大学） ； Tencent Youtu Lab（腾讯优图实验室）
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV
AI总结 ForgeryVCR通过高效的取证工具实现视觉中心推理，提升图像伪造检测与定位的性能。
多智能体目标存在性验证与学习型掩码几何优化：2026年第8届LSVOS挑战赛MeViS-Text赛道获胜报告
机构 * Soongsil University（崇实大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 本研究提出SSUPER方案，通过多智能体审计解耦存在性验证、StyleRefiner优化掩码几何，获2026年LSVOS挑战赛MeViS-Text赛道冠军，最终得分0.9081339614。
理解异构多模态大语言模型（MLLM）融合中的知识迁移机制：一种简单线性方法
专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV
AI总结 该研究针对异构MLLM跨规模知识迁移机制，提出CDPI线性探针，经多组模型与基准测试发现，融合增益集中于高层推理，且正向迁移多发生在小比率区间。
Comments 17 pages, 6 figures; includes supplementary material. Revised presentation and terminology; results unchanged
GeoBridge：用于生成式图像地理定位的解耦语义条件机制
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； School of Advanced Interdisciplinary Sciences（先进交叉科学学院） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 GeoBridge是一种解耦语义条件机制，通过连接冻结语义MLLM与黎曼流匹配头，在IM2GPS3K数据集上25/200/750公里阈值下准确率达38.67/52.89/70.37，提升了生成式图像地理定位性能，属解码侧算法贡献。
多语言OCR感知微调和提示引导的链式思维推理用于多模态大语言模型
机构 * Meta AI ； UT Austin（德克萨斯大学奥斯汀分校）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL
AI总结 提出一种多语言OCR感知的多模态训练框架，通过合成数据生成、OCR感知微调和结构化视觉链式思维提示，提升多模态大语言模型在复杂视觉条件下的OCR完整性和多语言翻译准确性。
EGM-Det：面向无人机RGB-IR目标检测的熵引导多模态自适应融合
机构 * School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院） ； School of Automation and Software Engineering, Shanxi University（山西大学自动化与软件学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出EGM-Det框架，通过熵引导多模态自适应融合解决无人机RGB-IR目标检测中模态可靠性被忽略的问题，在三个数据集上实现最优性能，VEDAI上较现有方法提升超10个百分点。
Comments 14 pages, 7 figures, 6 tables
运动即提示：通过运动引导的跨帧视觉提示增强多模态大语言模型的运动推理能力
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题，提出Motion-as-Prompt框架，通过标记轨迹增强视觉提示，在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解
用于临床文本引导的医学图像分割的双域跨模态解码
机构 * Texas A&M University（德克萨斯农工大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文针对临床文本引导医学图像分割忽略频率内容的问题，提出双域跨模态解码（DD-CMD）方法，在两个公开数据集上均优于现有最强基线。
Comments Accepted at MICCAI 2026 (Main). Final version to appear in the MICCAI 2026 proceedings
LEMUR：基于视觉锚定推理重定向的潜在熵感知多模态遗忘
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL
AI总结 针对原生RL训练多模态模型的隐私泄漏问题，提出基于熵动态的无训练推理时遗忘框架LEMUR，可更有效地抑制敏感信息在推理轨迹和答案中的泄漏，同时保留模型非敏感效用。
GeoUniPR：用于跨模态地点识别的几何一致性统一框架
机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Research Institute for Intelligent Autonomous System, Tongji University（同济大学上海智能自主系统研究院） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 本研究提出GeoUniPR框架，通过构建几何一致性深度图像视图并引入SC-InfoNCE损失，在无需复杂对齐模块的情况下，实现了跨模态地点识别的最优性能与良好泛化能力。
Comments 17 pages, 10 figures
RankByGene: 通过跨模态排序一致性实现基因引导的组织病理学表示学习
机构 * Stony Brook University（石英溪大学） ； Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital and Harvard Medical School（阿提诺拉A.马丁努斯生物医学影像中心，麻省总医院和哈佛医学院） ； Department of Biomedical Data Science, Stanford University（生物医学数据科学系，斯坦福大学） ； Department of Pathology and Cell Biology, Columbia University（病理学与细胞生物学系，哥伦比亚大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 提出基于排序对齐损失的框架，利用教师-学生网络自监督知识蒸馏，解决空间转录组学与组织学图像的对齐问题，在基因表达预测、切片分类和生存分析任务中表现优异。
Comments 12 pages, 8 figures, accepted by TMI'26
用于多模态IPMN风险分层的堆叠集成的高斯元空间增强
机构 * Northwestern University（西北大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Istanbul University（伊斯坦布尔大学） ； Mayo Clinic Florida（佛罗里达州梅奥诊所）
专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV
AI总结 该研究针对IPMN风险分层问题，提出cUPMI方法并结合多模态信息融合，构建RF堆叠模型，在多中心分析中取得优于基线的性能。
Comments Accepted at the International Workshop on Machine Learning in Medical Imaging (MLMI 2026), held in conjunction with MICCAI 2026. This is the authors' accepted manuscript; the final version will appear in Springer Lecture Notes in Computer Science (LNCS). 11 pages, 3 figures
AWARe：基于激活加权的自适应保留缓解灾难性遗忘
机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院） ； Graduate School of Information Science, Hokkaido University（北海道大学信息科学研究院）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL
AI总结 针对多模态大语言模型微调时的灾难性遗忘问题，提出无需修改架构的AWARe方法，通过激活加权控制参数更新，在保留上游能力的同时提升下游性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈