多模态大模型

Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence

Spatial-MLLM: 提升基于视觉的空域智能的MLLM能力

Diankun Wu, Fangfu Liu, Yi-Hsin Hung, Yueqi Duan

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Spatial-MLLM，一种基于纯2D观测的视觉空域推理框架，通过双编码器架构和空间感知帧采样策略提升空域理解能力，实验表明其在多种视觉空域任务中达到SOTA性能。

Comments 22 pages

Stage-adaptive Token Selection for Efficient Omni-modal LLMs

面向高效多模态大语言模型的阶段自适应令牌选择

Zijie Xin, Jie Yang, Ruixiang Zhao, Tianyi Wang, Fengyun Rao, Jing Lyu, Xirong Li

机构 * Renmin University of China（中国人民大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室） 纠错

专题命中 多模态训练与对齐 ：omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出SEATS方法，通过阶段自适应的令牌选择技术，有效提升多模态大语言模型的推理效率，在保留96.3%原始性能的同时，实现9.3倍的FLOPs减少和4.8倍的prefill加速。

Comments Code Link: https://github.com/xxayt/SEATS

DMN: A Compositional Framework for Jailbreaking Multimodal LLMs with Multi-Image Inputs

DMN: 一种用于多图像输入多模态大语言模型的组合框架

Wenzhuo Xu, Zhipeng Wei, Zonghao Ying, Deyue Zhang, Dongdong Yang, Xiangzheng Zhang, Quanchen Zou

机构 * AI Security Lab（360人工智能安全实验室） ； International Computer Science Institute（国际计算机科学研究所） ； UC Berkeley（加州大学伯克利分校） ； Beihang University（北航大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出DMN框架，通过分布式指令、多模态证据和数字链任务，提升多图像输入多模态大语言模型的 jailbreak 性能，实验表明其在GPT-4o、Gemini-2.5-pro和Claude Sonnet 4上的攻击成功率超过90%。

Comments ACL 2026 main conference

Surviving the Unseen: Predictive Defense for Novel Multi-Turn Multimodal Attacks

在不可见中存活：面向新颖多轮多模态攻击的预测防御

Doohee You

机构 * Trust and Safety, Google（谷歌信任与安全部） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种预测性防御方法，用于应对新颖多轮多模态攻击，通过动态生存预测和轨迹动态问题来解决静态防御机制的不足，建立了一个计算高效且可解释的安全保障框架。

Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing

部分潜在变量共享下的可识别多模态因果表示学习

Manal Benhamza, Marianne Clausel, Myriam Tami

机构 * Paris-Saclay University, CentraleSupélec, MICS Lab（巴黎-萨克雷大学，中央理工-巴黎高等电力学院，MICS实验室） ； Lorraine University, CRAN（洛林大学，CRAN） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文研究了在部分潜在变量共享设定下多模态因果表示学习的可识别性问题，通过非线性混合函数生成各模态数据，并在不假设潜在变量分布的情况下，建立了因果潜在表示的组件可识别性保证，进一步验证了在欠定情况下方法的有效性。

StrLoRA: Towards Streaming Continual Visual Instruction Tuning for MLLMs

StrLoRA: 向流式连续视觉指令微调迈进以适应大规模多模态语言模型

Chang Che, Ziqi Wang, Hui Ma, Cheems Wang, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出StrLoRA，一种流式连续视觉指令微调方法，旨在解决动态任务流中模型持续学习的问题，通过任务感知的专家路由框架提升模型在不断变化的数据流中的表现。

OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond

OScaR：LLMs及更广泛场景中的极压缩KV缓存量化之奥卡姆之刀

Zunhai Su, Rui Yang, Chao Zhang, Yaxiu Liu, Yifan Zhang, Wei Wu, Jing Xiong, Dayou Du, Xialie Zhuang, Yulei Qian, Yuchen Xie, Yik-Chung Wu, Hongxia Yang, Ngai Wong

机构 * Tsinghua University（清华大学） ； Meituan LongCat Team（美团LongCat团队） ； The University of Hong Kong（香港大学） ； The University of Edinburgh（爱丁堡大学） ； UCAS（中国科学技术大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；omni-modal(abstract)；分类 cs.CL

AI总结 本文针对LLMs中KV缓存极压缩时的量化保真问题，提出OScaR框架，通过Canalized Rotation和Omni-Token Scaling有效缓解Token Norm Imbalance，实现近无损的INT2量化性能，同时提升解码速度和吞吐量。

Comments Under review

Feature-Space Smoothing: Certified Robustness of Deep Representations

特征空间平滑：深度表示的认证鲁棒性

Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（快速-丰富目标搜索实验室，电气电子工程学院，南洋理工大学，新加坡） ； Pengcheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种特征空间平滑（FS）框架，通过在特征表示层面提供认证鲁棒性，以解决深度学习模型对恶意输入的脆弱性问题，核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界，并引入高斯平滑增强器（GSB）提升编码器的高斯鲁棒性得分，从而提升模型的鲁棒性并保持下游任务性能。

Comments Under review

Tango3D: Towards Alignment for Global and Local 2D-3D Correspondence

Tango3D: 向全局和局部2D-3D对应关系对齐迈进

Zebin He, Mingxin Yang, Shuhui Yang, Hanxiao Sun, Xintong Han, Chunchao Guo, Wenhan Luo

机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Tango3D，一种统一密集对应和全局检索的3D基础模型，通过几何感知的2D视觉骨干网络和预训练的3D VAE将图像编码为2D片段，点云编码为3D标记，并映射到共享空间以实现局部像素-点对齐和全局语义对齐。

DynaTok: Temporally Adaptive and Positional Bias-Aware Token Compression for Video-LLMs

DynaTok: 时序自适应和位置偏见感知的视频大语言模型token压缩

Minyoung Park, Taehun Kong, Sangjun Ahn

机构 * LG Electronics, Seoul, South Korea（LG电子，首尔，韩国） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出DynaTok，一种无需训练的时序自适应和位置偏见感知的token压缩框架，通过在时序和空间维度上分配token预算，有效减少冗余的时空覆盖，提升视频大语言模型的效率和鲁棒性。

Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models

逐token被入侵：统一自回归模型中的后门漏洞

Tobias Braun, Jonas Henry Grebe, Hossein Shakibania, Anna Rohrbach, Marcus Rohrbach

机构 * TU Darmstadt（图宾根大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文研究了统一自回归模型中的后门漏洞问题，提出了一种名为Token by Token Backdoor Attack (ToBAC)的攻击方法，展示了如何通过数据和模型污染策略在多模态生成中引发有害行为。

3D Modeling and Automated Measurement of Concrete Cracks via Segment Anything Refinement and Visual Inertial LiDAR Fusion

通过段落任何精修和视觉惯性LiDAR融合进行混凝土裂缝的3D建模与自动测量

Pengru Deng, Jiapeng Yao, Chun Li, Su Wang, Xinrun Li, Varun Ojha, Xuhui He

机构 * School of Civil Engineering（土木工程学院） ； Central South University（中南大学） ； Hunan Provincial Key Laboratory for Disaster Prevention and Mitigation of Rail Transit Engineering Structures（湖南省铁路工程结构灾害预防与 mitigation 工程结构重点实验室） ； Nvidia ； School of Computing（计算学院） ； Newcastle University（新castle大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种结合计算机视觉技术和多模态同时定位与建图（SLAM）的创新框架，用于二维裂缝检测、三维重建和三维自动裂缝测量，解决了现有方法在适应性和鲁棒性方面的不足，特别是在处理曲线或复杂几何形状时的挑战。

Comments Title and author list updated

Journal ref Computer-Aided Civil and Infrastructure Engineering, Volume 45, 2026, 100019, ISSN 1093-9687

VCR: Learning Valid Contextual Representation for Incomplete Wearable Signals

VCR：学习不完整可穿戴信号的有效上下文表示

Yuxuan Weng, Wenhan Luo, Qijia Shao

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出VCR框架，通过学习鲁棒于模态缺失的表示，解决可穿戴信号不完整问题，提升在多种健康监测任务中的性能和鲁棒性。

Beyond Waypoints: Dual-Heatmap Grounding for Cross-Embodiment Semantic Navigation

超越航点：双热图接地用于跨具身语义导航

Kaijie Yun, Yue Chen

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； JD AI Research（京东人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出一种统一的视觉-语言框架，通过双热图表示替代单点回归，以解决语义指令与物理可达性之间的差距，从而提升跨具身语义导航的鲁棒性和性能。