多模态大模型

Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation

学习多模态伪标签以实现鲁棒的开放词汇实例和全景分割

Duy Tran Thanh, Yeejin Lee, Byeongkeun Kang

机构 * Seoul National University of Science and Technology（首尔科技大学） ； Chung-Ang University（中央大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究针对开放词汇实例分割与开放集全景分割的痛点，提出多模态框架，结合预训练视觉语言模型生成伪标签并优化训练目标，在COCO数据集上取得优于现有SOTA的性能。

Comments 14 pages

Journal ref Neurocomputing, 2026

How China-Origin Vision-Language Models Move from Refusal to Reframing in State Alignment

中国起源的多模态视觉语言模型如何在状态对齐中从拒绝转向重构

Guang Yang, Fengchen Liu, Alex Wang, Homa Hosseinmardi, Amir Ghasemian

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建基准测试9个视觉语言模型，发现中国起源模型更易进行状态对齐重构，且审查从可见的拒绝转向不可见的重构，这对人机交互存在影响。

Comments 41 pages, 31 figures, 9 tables. Preprint

Dual Anchors, Do It Better: Hierarchical Group Merging for Zero-Shot Anomaly Detection

双锚点，效果更佳：用于零样本异常检测的分层分组合并方法

Jimin Roh, DongKyu Kim, Suk-Ju Kang

机构 * Sogang University（西江大学） ； LG Electronics（LG电子） ； NAVER Cloud（NAVER云） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 针对现有CLIP-based零样本异常检测方法的局限，提出Dual-Anchor框架，结合分层图像锚点与文本锚点，在8个工业和6个医疗基准上实现了优异泛化性能。

Comments 10 pages, 5 figures, 4 tables. Accepted to CVPR 2026 Findings

Test-Time Hallucination Control in Large Vision-Language Models

大型视觉语言模型的测试时幻觉控制

Mehran Tamjidi, Hamidreza Dastmalchi, Ali Cheraghian, Mohammadreza Alimoradijazi, Aijun An, Hossein Rahmani

机构 * Australian National University（澳大利亚国立大学） ； The University of New South Wales（新南威尔士大学） ； University of Technology Sydney（悉尼科技大学） ； York University（约克大学） ； Lancaster University（兰卡斯特大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型的物体幻觉问题，提出无训练的测试时幻觉缓解（TTH）方法，通过令牌验证器模块等技术提升模型准确性与稳健性，通用性和实用性良好。

Comments Accepted at ECCV 2026 MUCG

Qwen-MusicAVQA-7B: A Multimodal Model for Music Audio-Visual QA

Qwen-MusicAVQA-7B：一种用于音乐音频-视觉问答的多模态模型

Maryam Dehdashti

机构 * Inference Matter Labs（推理物质实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(title)；omni-modal(abstract)；分类 cs.CV、cs.MM

AI总结 该研究提出轻量级多模态模型Qwen-MusicAVQA-7B，通过连接冻结的Whisper编码器与Qwen2-VL-7B-Instruct，在MUSIC-AVQA等基准上实现高准确率，训练成本低，且发现音频时间信息保留程度影响下游问答准确率。

Comments 24 pages, 1 figure, 8 tables. Code: https://github.com/MKDehdashti/Qwen2-vl-audio Checkpoints: https://huggingface.co/MayaKD/qwen2-vl-audio

The SLT 2026 SmartGlasses Challenge: Benchmarking Egocentric Multi-Talker Speech Recognition and Understanding with Audio-Language Models

2026 IEEE SLT智能眼镜挑战赛：基于音频-语言模型的自我中心多说话人语音识别与理解基准测试

Dehui Gao, Zhixian Zhao, Zhennan Lin, Yujie Liao, Yuhang Dai, Yike Zhu, Longshuai Xiao, Hui Bu, Xin Xu, Xie Chen, Shuai Wang, Liumeng Xue, Zhonghua Fu, Jun Du, Eng-Siong Chng, Jun Zhou, Lei Xie

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 本文介绍IEEE SLT 2026智能眼镜挑战赛，构建含714个真实场景会话的106小时四通道自我中心语音数据集，评估TSA-ASR与SLU，发现说话人重叠影响TSA-ASR性能、音频-语言模型难理解副语言声学。

Comments 7 pages, 7 figures

MiDashengLM-Gen: Unified Audio Scene Generation via LLM-Driven Autoregressive Flow Matching

MiDashengLM-Gen：基于大语言模型驱动的自回归流匹配的统一音频场景生成

Xingwei Sun, Heinrich Dinkel, Gang Li, Jiahao Mei, Yadong Niu, Zerui Han, Yuepeng Jiang, Jiahao Zhou, Lichun Fan, Jian Luan

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 MiDashengLM-Gen是首个端到端训练的通用文本到音频生成模型，通过结合LLM与每token条件流匹配，在Seed-TTS等基准上大幅提升语音可懂度，且支持多语言场景。

Discrete Linear Ensemble Logic

Manfred Droste, Guo-Qiang Zhang

专题命中 音频语音多模态 ：multimodal(abstract)

Semantic Error Control Coding with Foundation Models for Future Communications

面向未来通信的、基于基础模型的语义差错控制编码

Chentao Yue, Gaoyang Pang, Branka Vucetic, Yonghui Li

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本文提出基于基础模型的语义差错控制编码（SECC）框架，将信源语义结构融入编解码，在AWGN信道上较传统解码获数分贝编码增益，错误率低于正态近似界，同时指出相关开放挑战。

Comments This work has been submitted to the IEEE for possible publication

Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence

超越试错：面向图像到视频一致性的智能体优化

Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson

机构 * Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对图像到视频模型试错效率低的问题，提出Agentic Self-Improvement框架，通过两阶段优化提升视频与文本一致性，生成视频胜率达69%，为视频生成模型提供实用可控的优化方法。

Glance, Scrutinize, and Think: Advancing Video Anomaly Detection from Training-Free to Agentic Reasoning

扫视、审视与思考：将视频异常检测从无训练推进到智能体推理

Shibo Gao, Peipei Yang, Xu-Yao Zhang, Linlin Huang

机构 * Beijing Jiaotong University（北京交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视频异常检测的“何时-何事”脱节问题，提出无训练框架GtS及工具增强型智能体方法，扩展基准并引入联合评估指标，实现了更高的异常检测准确性与推理速度。

Comments 34 pages, 8 figures, 8 tables. Journal extension of our AAAI 2026 paper (arXiv:2507.21507)

Inverse Theory of Mind Modeling for Content Recommendation: From Web Browsing to Dynamic Intelligent Interfaces

用于内容推荐的反向心智理论建模：从网页浏览到动态智能界面

Mengyu Chen, Feiyu Lu, Chun-Fu Chen, Lucas Vinh Tran, Jay Katukuri

机构 * JPMorganChase（摩根大通） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 本研究提出反向心智理论（IToM）流程，从用户交互反向推理推断信念与偏好，在OPeRA数据集上验证其画像推断效果，并通过VisionOS应用展示跨模态迁移能力，提升内容推荐的用户理解精度。

Comments Preprint for conference full paper at 20th ACM Conference on Recommender Systems (RecSys '26), Minneapolis, MN, USA

Socioduality: A Relational Process Framework for Human-AI Interaction

社会对偶性：用于人机交互的关系过程框架

Mehmed Zahid Çögenli

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出社会对偶性这一关系过程框架，通过嵌套单元定义人机交互过程，经实验验证其可用于分析人机交互中贡献的形成及路径信息。

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

前沿大语言模型能否媲美原生多模态嵌入？在难负例文本到图像检索上的对比

Archan Dutta, Vyanktesh Kanungo

机构 * Westcliff University（韦克利夫大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究在Flickr30k数据集上对比Gemini Embedding 2等原生多模态嵌入与GPT-4.1、Claude Sonnet 4.6等前沿LLM的难负例文本到图像检索性能，发现二者表现相当，且多模态嵌入更适配低延迟应用

BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model

BEST-KAG：通过多模态知识图谱建模与大语言模型增强建筑工程标准的问答能力

Jia-Rui Lin, Junxi Guo, Keyin Chen, Peng Pan

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出BEST-KAG框架，通过多模态知识图谱建模与大语言模型，解决建筑工程标准问答的现有局限，在相关评估指标上优于主流大语言模型。

Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

作为辅助监督的生成：通过解耦嵌入预测以零推理开销增强视觉理解

Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

机构 * ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV

AI总结 本研究提出GAS框架，将视觉生成作为辅助监督，通过解耦MoT架构的NEP实现零推理开销，提升了多模态理解尤其是感知与空间理解能力。

GUIDE: Governed Unified Intelligence for Document-to-Artifact Generation in Enterprise Settings

GUIDE：企业场景下从文档到制品生成的受控统一智能

Shivali Dalmia, Sumukha Thoppanahalli, Mohammadreza Sediqin, Abhishek Mukherji

机构 * Centific Research（森蒂菲克研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对企业指南文档手动处理效率低的问题，提出基于共享版本化规则库的多智能体框架GUIDE，在120份真实文档上实现96%成功率，大幅提升文档到制品的生成效率。

Advancing MLLM-based UAV Image Understanding and Reasoning: A Benchmark and a Training-Free Multi-Agent System

推进基于多模态大语言模型（MLLM）的无人机（UAV）图像理解与推理：基准测试及无训练多智能体系统

Haoyu Zhang, Shuoxun Zhang, Peng Ye, Lin Zhang, Jiakang Yuan, Shenghong Yi, Yuening Wang, Tao Chen

机构 * Fudan University（复旦大学） ； College of Future Information Technology（未来信息技术学院） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究构建UAVQA-Bench基准，识别MLLM用于无人机图像理解的三类失效模式，提出含DSPE、CAIR、DAAS的无训练多智能体系统UAV-MAS，其32B版本在基准上准确率超Gemini 3 Pro 4.0个百分点

Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams

Diagram-MMU：面向科学图表的多模态基准测试

Weihao Bo, Shan Zhang, Yanpeng Sun, Jie Liu, Yongke Yao, Jinhao Du, Wei He, Kai Zou, Zechao Li, Jingdong Wang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Baidu Inc（百度公司） ； AIML, Adelaide University（阿德莱德大学AIML） ； SUTD（新加坡科技设计大学） ； Southeast University（东南大学） ； East China Normal University（华东师范大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文构建了多模态基准测试Diagram-MMU，评估MLLMs的科学图表解析与理解能力，发现图表转代码任务更具挑战，Claude-4.6 Opus在智能体场景下表现最优。

Do You See What You Draw? A Semantic Closed-Loop Framework for Holistic Evaluation of Unified Multimodal Models

你能看到你所绘制的内容吗？面向统一多模态模型整体评估的语义闭环框架

Hao Zhang, Jiaxin Qi, Zhijiang Tang, Jianqiang Huang

机构 * Hangzhou Institute for Advanced Study（杭州高等研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Computer Network Information Center（计算机网络信息中心） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对统一多模态模型的系统级评估缺口，提出无标注的SGU语义闭环框架，通过感知-生成-推理流程评估模型综合能力，发现高性能模型存在自生成上下文推理局限，为下一代模型开发提供基准基础。

Comments 21 pages, 8 figures, 12 tables

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

DPO中的上下文盲区：通过上下文校准的偏好优化缓解多模态大语言模型（MLLMs）中的物体幻觉

Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

机构 * Korea University（高丽大学） ； KAIST（韩国科学技术院） 纠错

专题命中 多模态评测 ：multimodal(abstract,abstract_cn)；分类 cs.CV

AI总结 本研究针对MLLMs的物体幻觉问题，提出C²-DPO方法，通过最大化上下文偏好增益降低幻觉率，使Qwen2-VL-Instruct-2B的幻觉率相对降低36%且不损害通用推理能力。

Comments Accepted at ECCV2026

JieZi: A Large-Scale Expert-Audited Dataset and Benchmark for Ancient Chinese Character Exegesis

JieZi：用于古文字训诂的大规模专家审核数据集与基准

Ran Li, Huiguo He, Jiahuan Cao, Junle Liu, Hiuyi Cheng, Lianwen Jin

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文针对古文字训诂研究缺乏结构化数据与基准的问题，提出ACCE任务，构建JieZi-Dataset与JieZi-Bench，实验发现多模态大模型在古文字训诂的高阶任务上表现不佳，微调后性能显著提升。

Comments 19 pages, 13 figures. Accepted to the Dataset Track of ACM Multimedia 2026 for oral presentation

Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

基于基准的公开基准印度基础模型对比评估：能力与评估成熟度框架

Avinash Agarwal, Vridhi Jain

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出能力与评估成熟度框架，对公开基准的印度基础模型与全球同类模型对比评估，发现其在传统基准表现尚可但参与新评估不足，还提出基准成熟度指数，指出能力差距或源于评估生态问题。

Comments 18 pages, 11 tables

Warping Earth Observations for better ice labeling in the Marginal Marginal Ice Zone

利用地球观测数据对齐优化边缘冰区的冰标记

Tom Kelly, Martin S. J. Rogers

机构 * British Antarctic Survey（英国南极调查局） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究提出基于互信息对齐的架构，对齐Sentinel-1与MODIS的多模态卫星场景，构建稀疏专家标注数据集，提升海冰分类准确率，实现从稀疏监督的精确密集海冰分割。

Comments ECCV Workshop paper; BEAM 2

Self-Evolving Code-with-Image Reasoning

自演进的代码-图像推理

Tianze Yang, Liang Wu, Ruitong Sun, Yucheng Shi, Yanqiao Wang, Mayank Darbari, Ninghao Liu, Jin Sun, Liangjie Hong

机构 * Nokia（诺基亚） ； University of Georgia（佐治亚大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究提出代码-图像推理范式，通过无训练反思循环让模型自我演进技能，在CwI-Bench上显著提升多模态模型视觉任务准确率，技能可跨规模与任务家族迁移。

Comments 37 pages

Clustered Randomized Smoothing for Stochastic Prediction Functions

面向随机预测函数的聚类随机平滑方法

Eduardo Figueiredo, Frederik Mathiesen, Julian Schumann, Jens Kober, Arkady Zgonnikov, Luca Laurenti

机构 * Delft University of Technology（代尔夫特理工大学） ； University of Stuttgart（斯图加特大学） ； AI4I 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文针对随机多模态回归中随机平滑的模式崩溃问题，提出聚类α-平滑框架，在两个基准实验中较现有方法显著降低了Wasserstein距离与碰撞率。

Synchronized AMG and EMG Dataset of Lower-limb Muscle Activities in Everyday Training

日常训练中下肢肌肉活动的同步AMG与EMG数据集

Dongxu Tang, Shih Ying-Lei, Zhuoyi Ren, Jianting Liao, Yitian Shao

专题命中 多模态评测 ：multimodal(abstract)

AI总结 该研究构建了健康成人下肢活动的同步AMG与EMG多模态数据集，通过基准测试评估其用于关节角估计的性能，为下肢肌肉协调相关研究提供了可重复的资源。

Multi-Agent Target-Existence Verification and Learned Mask Geometry Refinement: Winning Report of the MeViS-Text Track at the 8th LSVOS Challenge 2026

多智能体目标存在性验证与学习型掩码几何优化：2026年第8届LSVOS挑战赛MeViS-Text赛道获胜报告

Jungyoon Lee, Gyuil Lim, Doeon Kim, Seong-heum Kim

机构 * Soongsil University（崇实大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出SSUPER方案，通过多智能体审计解耦存在性验证、StyleRefiner优化掩码几何，获2026年LSVOS挑战赛MeViS-Text赛道冠军，最终得分0.9081339614。

GeoBridge: Decoupled Semantic Conditioning for Generative Image Geolocalization

GeoBridge：用于生成式图像地理定位的解耦语义条件机制

Zhiyang Dou, Xumeng Han, Fengde Peng, Zipeng Wang, Moxuan Zhao, Zhipei Huang, Zhenjun Han

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； School of Advanced Interdisciplinary Sciences（先进交叉科学学院） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 GeoBridge是一种解耦语义条件机制，通过连接冻结语义MLLM与黎曼流匹配头，在IM2GPS3K数据集上25/200/750公里阈值下准确率达38.67/52.89/70.37，提升了生成式图像地理定位性能，属解码侧算法贡献。

EGM-Det: Entropy-Guided Multimodal Adaptive Fusion for UAV RGB-IR Object Detection

EGM-Det：面向无人机RGB-IR目标检测的熵引导多模态自适应融合

Cunzheng Fan, Dawei Yan, Guanlin Wang, Xingshuo Yang, Yupeng Jia, Jing Yang, Haokui Zhang

机构 * School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院） ； School of Automation and Software Engineering, Shanxi University（山西大学自动化与软件学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出EGM-Det框架，通过熵引导多模态自适应融合解决无人机RGB-IR目标检测中模态可靠性被忽略的问题，在三个数据集上实现最优性能，VEDAI上较现有方法提升超10个百分点。

Comments 14 pages, 7 figures, 6 tables