多模态大模型

CASHEW: Stabilizing Multimodal Reasoning via Iterative Trajectory Aggregation

CASHEW: 通过迭代轨迹聚合稳定多模态推理

Chaoyu Li, Fei Tao, Pooyan Fazli

机构 * Arizona State University（亚利桑那州立大学） ； NewsBreak 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出CASHEW框架，通过迭代聚合多候选推理轨迹并利用视觉验证过滤幻觉步骤，以及其强化学习变体CASHEW-RL，显著提升多模态推理的稳定性和准确性。

Navigating the Mirage: A Dual-Path Agentic Framework for Robust Misleading Chart Question Answering

穿越幻象：一种双路径代理框架用于鲁棒的误导图表问答

Yanjie Zhang, Yafei Li, Rui Sheng, Zixin Chen, Yanna Lin, Huamin Qu, Lei Chen, Yushi Sun

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本文提出ChartCynics双路径框架，通过分离感知与验证，利用诊断视觉路径和OCR驱动数据路径解决图表误导问题，提升模型鲁棒性。

Comments 10pages, 4 figures

Egocentric Bias in Vision-Language Models

视觉语言模型中的自我中心偏差

Maijunxian Wang, Yijiang Li, Bingyang Wang, Tianwei Zhao, Ran Ji, Qingying Gao, Emmy Liu, Hokin Deng, Dezhi Luo

机构 * Cognitive Science Program, University of California, Berkeley（加州大学伯克利分校认知科学项目） ； Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； School of Computer Science, Georgia Institute of Technology & Emory University（佐治亚理工学院计算机科学学院及埃默里大学） ； Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系） ； Equal Advising Department of Computer Science & Wilmer Eye Institute, Johns Hopkins University（约翰霍普金斯大学计算机科学系及威尔默眼科研究所） ； Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Weinberg Institute for Cognitive Science, University of Michigan（密歇根大学韦恩伯格认知科学研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FlipSet基准，揭示视觉语言模型在第二级视觉视角推理中存在系统性自我中心偏差，表明模型在整合社会认知与空间操作方面存在根本性不足。

Comments Accepted at CogSci 2026 (Best Undergraduate Student Paper)

Post-Training in End-to-End Autonomous Driving

端到端自动驾驶中的训练后处理

Ruining Yang, Muxing Wang, Yixiao Chen, Tongfei Guo, Yi Xu, Can Cui, Zichong Yang, Yitian Zhang, Ziran Wang, Yun Fu, Lili Su

机构 * Northeastern University（东北大学） ； Purdue University（普渡大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 探讨端到端自动驾驶中训练后处理技术，针对传统方法不足，将现有文献按监督形式分四类，阐述各分类的能力、局限与挑战，助力系统理解该领域并推动相关研究。

CrochetBench: Can Vision-Language Models Move from Describing to Doing in Crochet Domain?

CrochetBench：视觉语言模型能否在钩针领域从描述转向实践？

Peiyu Li, Xiaobao Huang, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 探讨视觉语言模型在钩针领域从描述到实践的转变，采用CrochetPARADE DSL进行评估，涵盖多种任务，发现评估转变时性能下降，揭示模型局限性，为评估多模态模型过程能力提供新视角。

Comments ACL2026 main-long

Journal ref Proceedings of ACL 2026, Vol. 1, pp. 13229-13251

MAR3: Multi-Agent Recognition, Reasoning, and Reflection for Reference Audio-Visual Segmentation

MAR3：多智能体识别、推理与反思用于参考音频视觉分割

Yuan Zhao, Zhenqi Jia, Yongqiang Zhang

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.MM

AI总结 本文提出MAR3框架，通过多智能体机制解决参考音频视觉分割中的表达难度识别、模态主导性分析及反思学习问题，提升分割精度。

Comments Accepted by ACM MM 2026

ReflectWorld-MM: An Entity-Oriented Multimodal Memory System for Open-Ended Video Streams

ReflectWorld-MM：一种面向实体的开放式视频流多媒体存储系统

Xiaokang Ma, Yifan Sun, Zhihong Jin, Jie Gu, Yudong Luo, Shenyi Shao, Chu Tang, Jingmin Chen, Li Pu

机构 * Rightly Robotics（Rightly机器人公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对开放式视频流存储问题，提出面向实体的多媒体存储系统ReflectWorld-MM，由感知前端、分层长期记忆和实际应用实现三部分构成，在六个相关基准测试中取得最佳准确率，优于其他模型。

ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

ABot-3DWorld 0：一个用于探索任意 3D 空间的通用世界模型

Mingchao Sun, Luyang Tang, Yu Liu, Xu Yan, Zhan Li, Yunwei Zhang, Fei Yu, Zengye Ge, Yumin Liu, Jiacheng Zhang, Yongchang Zhang, Jiawei Zhang, Zhicheng Liu, Zhongxu Sun, Tianjian Ouyang, Wenzheng Chen, Shixing Yang, Nianfei Fan, Guodong Sun, Huan Li, Zheng Zhou, Yongze Li, Yingliang Peng, Mengmeng Du, Yuan Liu, Haozhe Shi, Chunnuo Gong, Chengzhen Yu, Chunxue Jia, Yang Liu, Shiying Zeng, Junnan Lai, Hang Zhang, Ning Guo, Baoquan Chen, Mu Xu, Hongyu Pan

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 介绍 ABot-3DWorld 0 通用多模态 3D 世界模型，核心是 SGP，通过特定流程将多模态输入转换为 3D 世界，用于通用 3D 内容创建，在开源方法中领先，多模态输入下场景保真度更高。

Comments Official Page: https://abot-world.amap.com/plaza

From Hindsight to Foresight: Self-Encouraged Hindsight Distillation for Knowledge-based Visual Question Answering

从回顾到前瞻：面向知识驱动视觉问答的自我鼓励回顾蒸馏

Yu Zhao, Ying Zhang, Xuhui Sui, Baohang Zhou, Xinying Qian, Li Shen, Dacheng Tao

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HinD框架，通过知识鼓励偏好优化提升多模态大语言模型的知识推理能力，实验表明其在OK-VQA和A-OKVQA上表现优异。

PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition

PLGSA-Transformer：用于跨模态蒙面和非蒙面人脸识别的眼周地标引导注意力与遮挡自适应余弦阈值

Dana A Abdullah

机构 * Faculty of Engineering and Computer Science, Qaiwan International University（工程与计算机科学学院，卡伊万国际大学） ； Department of Information and Communication Technology Center (ICTC)-System Information, Ministry of Higher Education and Scientific Research（信息与通信技术中心（ICTC）-系统信息，高等教育与科学研究部） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对传统人脸识别系统在面部遮挡时的局限，提出PLGSA-Transformer框架。利用眼周地标引导注意力、混合CNN-Transformer分支建模及遮挡自适应余弦阈值，提升跨模态蒙面人脸识别性能。

Xray-Visual Models: Scaling Vision models on Industry Scale Data

Xray-Visual模型：在产业级数据上扩展视觉模型

Shlok Mishra, Tsung-Yu Lin, Linda Wang, Hongli Xu, Yimin Liu, Michael Hsu, Chaitanya Ahuja, Hao Yuan, Jianpeng Cheng, Hong-You Chen, Haoyuan Xu, Chao Li, Sreya Dutta Roy, Abhijeet Awasthi, Jihye Moon, Don Husa, Michael Ge, Sumedha Singla, Arkabandhu Chowdhury, Phong Dingh, Satya Narayan Shukla, Yonghuan Yang, David Jacobs, Qi Guo, Jun Xiao, Xiangjun Fan, Aashu Singh

机构 * Meta-AI ； MIT（麻省理工学院） ； University of Maryland（马里兰大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 Xray-Visual通过三阶段训练流程和LLM2CLIP技术，在产业级数据上实现高效多模态视觉模型，取得最佳性能并提升鲁棒性与泛化能力。

Beyond Logit Adjustment: A Residual Decomposition Framework for Long-Tailed Reranking

超越Logit调整：一种用于长尾重排的残差分解框架

Zhanliang Wang, Hongzhuo Chen, Quan Minh Nguyen, Mian Umair Ahsan, Kai Wang

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Children’s Hospital of Philadelphia（费城儿童医院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出残差分解框架，用于解决长尾分类中频繁类与稀有类的排序问题，通过分析残差分解的类内和类间组件，提出REPAIR方法以提升重排性能。

Comments Accepted into COLM 2026

Journal ref CONFERENCE ON LANGUAGE MODELING CONFERENCE ON LANGUAGE MODELING Third Conference on Language Modeling (COLM 2026)

Sat2RealCity: Geometry-Aware and Appearance-Controllable 3D Urban Generation from Satellite Imagery

Sat2RealCity：基于卫星图像的几何感知与外观可控的3D城市生成

Xinliang Wang, Yijie Kang, Zhenyu Wu, Yifeng Shi

机构 * KE Holdings Inc.（KE控股公司） ； Beijing, China（中国北京） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对卫星图像3D城市生成问题，Sat2RealCity框架利用对象级3D生成先验，通过分解城市为地理定位建筑实体，结合构建的数据集，引入空间定位策略、设计外观引导机制及构建语义管道，实现良好的地理对齐、风格一致和资产合成。

Comments The first two authors contributed equally. The fourth author is the corresponding author

Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

层次化合成表格数据生成：一种自上而下与自下而上混合框架

Junfeng Nie, Alvin Jin, Xiaohui Chen

机构 * University of Southern California（南加州大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)

AI总结 提出一种层次化混合自上而下和自下而上（H-TDBU）框架，通过解耦语义结构与随机纹理，结合结构驱动的逻辑约束和轻量级表格生成器，在弱多模态金融基准上提升合成数据的语义一致性和统计保真度。

Comments Accepted as a poster at FMSD @ ICML 2026. 9 pages, 6 figures

RFM-Editing 2: Text-Guided Audio Editing with Rectified Flow Matching and Coarse-to-Fine Diffusion Transformers

基于整流流的混合扩散变压器用于指令引导音频编辑

Liting Gao, Yonggang Zhu, Yaru Chen, Dongyu Wang, Shubin Zhang, Zhenbo Li, Jean-Yves Guillemaut, Wenwu Wang

机构 * Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Fisheries College, Ocean University of China（中国海洋大学水产学院） ； College of Information and Electrical Engineering, China Agricultural University（中国农业大学信息与电气工程学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 提出混合两阶段扩散变压器架构，通过粗到细策略平衡全局语义对齐与局部细节编辑，在重叠音频事件和复杂指令任务上提升性能与效率。

World Narrative Model for Highly Controllable Video Generation: A Paradigm Shift from Pixel Sampling to Physical World Orchestration

世界叙事模型：从像素采样到物理世界编排的高度可控视频生成范式转变

Ye Chen, Xuanhong Chen, Yupeng Zhu, Liming Tan, Zhewen Wan, Yuxuan Xiong, Tielong Wang, Jinfan Liu, Wuze Zhang, Xiongzhen Zhang, Feifei Li, Xianglin Luo, Zhehan Zhao, Zhifan Zhang, Laisheng Kou, Zhujin Liang, Yugang Chen, Muchun Chen, Xu Miao, Yijing Zhang, Xiaojie Sheng, Qiang Hu, Jialiang Chen, Weimin Zhang, Wenjun Zhang, Bingbing Ni

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出世界叙事模型（WNM），将视频生成解耦为结构化物理叙事与像素渲染，通过协同代理将多模态输入转化为可编辑的4D世界表示，驱动基础模型生成符合创作者意图的视频，大幅提升可控性。

Spectral Diffusion Processes

谱扩散过程

Angus Phillips, Thomas Seror, Michael Hutchinson, Valentin De Bortoli, Arnaud Doucet, Emile Mathieu

机构 * University of Oxford（牛津大学） ； ENS, CNRS, PSL University Paris（巴黎高等师范学院、国家科学研究中心、巴黎大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 研究将扩散模型应用于函数空间上的随机过程，通过谱表示分离随机部分与时空结构，用有限维扩散模型建模谱系数，经截断确保模型有效性，投影回原空间对应相关噪声扩散模型，还展示了方法在多模态数据建模及条件采样上的有效性。

Comments This version (v3) extends the previous workshop version (v2) with conditional sampling and theoretical results. Work carried out in 2022/23. V2 appeared in Score-based Methods Workshop at the 36th Conference on Neural Information Processing Systems (NeurIPS 2022)

Benchmarking Nighttime Traffic Sign Recognition with Illumination-Adaptive Detection and Semantic Attribute Reasoning

在低光照条件下学习：用于交通标志识别的数据集和算法

Aditya Mishra, Akshay Agarwal, Haroon Lone

机构 * IISER Bhopal（印度比哈尔州国际研究学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出INTSD数据集和LENS-Net算法，解决夜间交通标志识别中的低光照和干扰问题，通过大规模数据和先进模型验证了夜间识别的挑战与方法。

Imputation-free transformer learning enables robust Alzheimer's disease prediction and calibrated uncertainty quantification across heterogeneous clinical cohorts

无插补变压器学习实现跨异构临床队列的稳健阿尔茨海默病预测和校准不确定性量化

Christelle Schneuwly Diaz, Narmina Baghirova, Duy-Thanh Vu, Duy-Cat Can, Gilles Allali, Philippe Ryvlin, Oliver Y. Chén

机构 * Platform of Bioinformatics（生物信息平台） ； Lausanne University Hospital（洛桑大学医院） ； Faculty of Biology and Medicine（生物学与医学学院） ； University of Lausanne（洛桑大学） ； Leenaards Memory Centre（Leenaards记忆中心） ； Department of Clinical Neurosciences（临床神经科学系） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 针对阿尔茨海默病临床数据问题，提出无插补变压器NITROGEN，通过特定注意力联合建模。经训练和评估，在跨队列任务中优势明显，还引入调整方法。证明无插补学习在队列转移下的区分能力，强调多方面评估模型对临床部署的重要性。

On the spherical cardioid distribution and its goodness-of-fit

关于球形心脏线分布及其拟合优度

Eduardo García-Portugués

专题命中 多模态评测 ：multimodal(abstract)

AI总结 研究球形心脏线分布，确定其易于处理的特性，推导矩估计法和最大似然估计法的相关内容及自举拟合优度检验机制，通过对长周期彗星轨道建模展示该分布在实际数据分析中的作用。

Comments 26 pages, 5 figures, 3 tables. Supplementary material: 34 pages, 4 figures, 4 tables

RoboDesign1M: A Large-scale Dataset for Robot Design Understanding

RoboDesign1M：用于机器人设计理解的大规模数据集

Tri Le, Toan Nguyen, Quang Tran, Quang Nguyen, Baoru Huang, Hoan Nguyen, Minh Nhat Vu, Tung D. Ta, Anh Nguyen

机构 * FPT Software AI Center（FPT软件人工智能中心） ； University of Liverpool（利物浦大学） ； University of Information Technology（信息技术大学） ； Automation & Control Institute（自动化与控制研究所） ； Department of Creative Informatics（创意信息系） ； Faculty of Environment and Information Studies（环境与信息科学系） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 针对机器人设计领域缺乏大规模数据集的问题，介绍了含100万个样本的RoboDesign1M数据集，提出半自动数据收集管道，经多项实验评估，该数据集可推动机器人设计理解研究及相关自动化发展。

Comments 8 pages, accepted to IROS 2026

MCP Pitfall Lab: Exposing Developer Pitfalls in MCP Tool Server Security under Multi-Vector Attacks

MCP陷阱实验室：在多向攻击下暴露MCP工具服务器安全漏洞的开发人员陷阱

Run Hao, Zhuoran Tan

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文提出MCP Pitfall Lab框架，通过可复现的场景验证开发人员陷阱，评估MCP工具服务器在多向攻击下的安全性和修复效果。

Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment

注意力忽视视觉风险：多模态安全对齐的风险适应性转向

Jonghyun Park, Minhyuk Seo, Chaewon Yeo, Jonghyun Choi

机构 * Seoul National University（首尔大学） ； KU Leuven（鲁汶大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出MoRAS，通过简洁的视觉上下文增强关键安全区域的视觉注意力，以实现多模态安全对齐，减少推理开销并提升泛化能力。

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

ReLope：KL正则化的LoRA探针用于多模态大语言模型路由

Yaopei Zeng, Congchao Wang, Blake JianHang Chen, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon AGI（亚马逊AGI） ； Google（谷歌） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 针对多模态大语言模型路由中探针性能下降问题，提出Attention Probe和KL正则化的LoRA探针ReLope，通过改进隐藏状态质量提升路由效果。

M2I2HA: Multi-modal Object Detection Based on Intra- and Inter-Modal Hypergraph Attention

M2I2HA：基于模态内和模态间超图注意力的多模态目标检测

Xiaofan Yang, Yubin Liu, Wei Pan, Guoqing Chu, Junming Zhang, Jie Zhao, Zhuoqi Man, Xuanming Cao

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态目标检测中模态内和模态间信息提取及跨模态对齐的挑战，提出基于超图理论的M2I2HA网络，通过多个模块实现多模态特征的有效处理，在多模态目标检测任务中取得了最优性能。

Comments 43 pages, 13 figures, The theoretical derivation was refined, some data was updated, and experiments were added

Together, Then Apart: Balancing Alignment and Distinctiveness for Multimodal Survival Analysis

在一起，然后分开：平衡多模态生存分析中的对齐与独特性

Wenjing Liu, Qin Ren, Wen Zhang, Yuewei Lin, Chenyu You

机构 * Stony Brook University（石溪大学） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Brookhaven National Laboratory（布鲁赫林国家实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态生存分析，提出TTA框架，先基于原型对齐捕获跨模态共享结构，再通过锚定引导对比目标鼓励模态特定独特性，用不平衡最优传输处理模态不平衡和噪声对应，在多个癌症队列上评估，提升了生存预测并揭示可解释模式。

Visual Species Recognition with Large Multimodal Models as Post-Hoc Correctors

以大型多模态模型作为事后校正器的视觉物种识别

Tian Liu, Anwesha Basu, James Caverlee, Shu Kong

机构 * Texas A&M University（德克萨斯A&M大学） ； University of Macau（澳门大学） ； Institute of Collaborative Innovation（协同创新研究院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究视觉物种识别问题，比较少样本学习专家模型与大型多模态模型后发现后者虽有不足但有互补优势，进而提出事后校正框架，利用多模态提示策略提升少样本学习专家模型准确率，该框架具有通用性和有效性。

Comments website and code: https://tian1327.github.io/POC

Tilt-Ropter: A Fully Actuated Hybrid Aerial-Terrestrial Vehicle with Tilt Rotors and Passive Wheels

Tilt-Ropter: 一种带有倾转旋翼和被动轮的全驱动混合空中-地面车辆

Ruoyu Wang, Xuchen Liu, Zongzhou Wu, Zixuan Guo, Wendi Ding, Ben M. Chen

机构 * Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong（机械与自动化工程系，香港中文大学） ； Faculty of Engineering, The University of Hong Kong（工程学院，香港大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 提出全驱动混合空中-地面车辆Tilt-Ropter，通过倾转旋翼和被动轮实现高效多模态运动，并设计统一非线性模型预测控制器实现低跟踪误差和地面运动功耗降低92.8%。

Comments 8 pages, 10 figures. Accepted by the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)