多模态大模型

Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models

超越注意力分数：基于SVD的视觉令牌修剪用于高效视觉-语言模型

Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

机构 * anoncvlab（匿名计算机视觉实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SVD-Prune方法，通过SVD分解视觉令牌特征矩阵并利用统计杠杆分数选择顶级令牌，以在极端视觉令牌预算下保持高性能，优于现有修剪方法。

Concept-as-Tree: A Controllable Synthetic Data Framework Makes Stronger Personalized VLMs

概念树：一个可控的合成数据框架助力更强的个性化视觉语言模型

Ruichuan An, Kai Zeng, Ming Lu, Sihan Yang, Renrui Zhang, Huitong Ji, Hao Liang, Wentao Zhang

机构 * Peking University（北京大学） ； CUHK MMLab（香港中文大学MMLab） ； Zhongguancun Academy（中关村学院） ； Beijing Key Laboratory of Data Intelligence and Security（北京数据智能与安全重点实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究提升VLM个性化能力问题，提出概念树（CaT）框架，以树结构表示概念生成多样正负样本，经数据过滤策略确保质量，实验证明该框架显著增强VLM在个性化基准测试中的能力，是首个可控合成数据管道。

Comments ECCV26 Camera Ready

Open-Vocabulary Object-Goal Navigation by Generalizing Semantic Mapping with Dense CLIP

通过用密集CLIP泛化语义映射实现开放词汇目标导航

Meng Wei, Chenyang Wan, Tai Wang, Yuqiang Yang, Wenzhe Cai, Yilun Chen, Hanqing Wang, Jiangmiao Pang, Xihui Liu

机构 * Shanghai AI Lab（上海人工智能实验室） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 研究面向对象的实体导航任务，提出OVExp框架，利用密集CLIP模型展示基于语义地图的目标预测网络泛化能力，设计跨模态转移策略解决训练成本高问题，在ObjectNav基准上对未知目标有强大泛化能力。

Comments Accepted by ICRA 2026

Perceptually Lossless Tactile Texture Synthesis with Compact Spectral Envelope Models

基于紧凑频谱包络模型的感知无损触觉纹理合成

Jagan K. Balasubramanian, Yasemin Vardar

专题命中 音频语音多模态 ：audio-visual(abstract)

AI总结 提出两种紧凑频谱表示（频谱β和频谱斜率）来捕获手指-表面摩擦信号的时间频谱结构，通过感知实验验证其能实现与高保真再现相当的感知真实感，为触觉压缩、通信和合成纹理生成提供高效框架。

Comments 16 pages and 8 figures

Generative Action Tell-Tales: Assessing Human Motion in Synthesized Videos

生成式动作叙事：评估合成视频中的人体运动

Xavier Thomas, Youngsun Lim, Ananya Srinivasan, Audrey Zheng, Deepti Ghadiyaram

机构 * Boston University（波士顿大学） ； Belmont High School（贝利蒙高中） ； Canyon Crest Academy（坎波尔峡谷学院） ； Runway 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究视频生成模型中评估复杂人类动作指标难的问题，提出融合骨骼与外观特征的评估指标，经多方面基准验证，该指标相比现有方法有显著改进，与人类感知相关性强，揭示了当前模型局限性并建立新标准。

StreamVLN: Streaming Vision-and-Language Navigation via SlowFast Context Modeling

StreamVLN：通过快慢上下文建模实现流式视觉与语言导航

Meng Wei, Chenyang Wan, Xiqian Yu, Tai Wang, Yuqiang Yang, Xiaohan Mao, Chenming Zhu, Wenzhe Cai, Hanqing Wang, Yilun Chen, Xihui Liu, Jiangmiao Pang

机构 * Shanghai AI Lab（上海人工智能实验室） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究现实世界中视觉与语言导航问题，提出StreamVLN框架，采用混合快慢上下文建模策略，通过快速流式对话上下文与缓慢更新内存上下文配合，实现实时对话，在VLN-CE基准实验中展现低延迟最优性能。

Comments Accepted to ICRA 2026

XOV-Action: Towards Generalizable Open-Vocabulary Action Recognition

XOV-Action：迈向可泛化的开放词汇动作识别

Kun-Yu Lin, Henghui Ding, Jia-Run Du, Jiaming Zhou, Yi-Xing Peng, Yu-Ming Tang, Zhilin Zhao, Chen Change Loy, Wei-Shi Zheng

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Institute of Big Data, Fudan University（复旦大学大数据研究院） ； AI Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）人工智能方向） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） 纠错

专题命中 视频多模态 ：image-text(abstract)；分类 cs.CV

AI总结 研究针对开放词汇动作识别模型泛化性不足的问题，提出XOV-Action模型，通过学习多样化表示和场景无关表示克服两大挑战，还构建XOVABench基准，实验证明该模型能有效提升跨视频领域的动作识别性能。

Comments Accepted by TPAMI

GateSID: Adaptive Gating for Balancing Semantic and Collaborative Signals in Recommendation

GateSID: 语义协作对齐中的冷启动推荐自适应门控

Hai Zhu, Yantao Yu, Lei Shen, Bing Wang, Xiaoyi Zeng

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出GateSID框架，通过自适应门控网络动态平衡语义与协同信号，提升冷启动推荐性能，实验显示其在GMV、CTR和订单量上均有显著提升。

Compiling Large Multi-Modal Requirement Documents into Runnable Software Systems: From an Agentic Test-Driven Perspective

ARC：将大型多模态需求文档编译为可运行软件系统

Weiyu Kong, Yun Lin, Xiwen Teoh, Duc-Minh Nguyen, Ruofei Ren, Jiaxin Chang, Haoxu Hu, Haoyu Chen

专题命中 多模态Agent ：multi-modal(title,abstract)

AI总结 提出Agentic需求编译（ARC）技术，通过双向测试驱动智能体循环，将多模态DSL文档直接编译为可运行Web系统，在GUI测试通过率上平均提升50.6%。

Comments This work is accepted at issta'26 (SIGSOFT International Symposium on Software Testing and Analysis)

ToDMA: Large Model-Driven Massive Token Communications for Semantic Multiple Access

ToDMA：用于语义多址接入的大模型驱动海量令牌通信

Li Qiao, Mahdi Boloursaz Mashhadi, Zhen Gao, Robert Schober, Deniz Gündüz

机构 * The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） ； University of Surrey（Surrey大学） ； Friedrich-Alexander-University Erlangen-Nurnberg（埃森哲-亚琛工业大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出ToDMA，一种大模型驱动的语义多址接入方案，将无源随机接入与上下文感知令牌处理结合，用于海量令牌通信。通过压缩感知检测令牌及估计信道状态信息，利用上下文模型恢复冲突令牌，能降低接入延迟并保持令牌恢复与语义重建质量。

Comments Submitted to IEEE journals

MultiFair: Multimodal Balanced Fairness-Aware Medical Classification with Dual-Level Gradient Modulation

MultiFair：具有双级梯度调制的多模态平衡公平感知医学分类

Md Zubair, Hao Zheng, Grayson W. Armstrong, Lucy Q. Shen, Gabriela Wilson, Yu Tian, Xingquan Zhu

机构 * School of Computing and Informatics, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校计算机与信息学学院） ； Louisiana Center for Health Innovation and College of Nursing & Health Sciences, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校健康创新中心及护理与健康科学学院） ； Massachusetts Eye and Ear, Harvard Medical School（哈佛医学院马萨诸塞眼耳医院） ； Department of Computer Science, University of Central Florida（佛罗里达州立大学计算机科学系） ； Department of Electrical Engineering and Computer Science, Florida Atlantic University（佛罗里达Atlantic大学电子工程与计算机科学系） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态医学分类中数据模态学习不均衡和模型对特定群体不公平的问题，提出MultiFair方法，通过双级梯度调制过程动态调整训练梯度，在多数据集上评估，有效解决了上述挑战。

Comments This work has been accepted for publication in IEEE Transactions on Medical Imaging

A Vision Toward Energy-Efficient Domain-Specific Artificial Intelligence Models and Agents

迈向节能领域特定人工智能模型和智能体的愿景

Abhijit Chatterjee, Niraj K. Jha, Jonathan D. Cohen, Thomas L. Griffiths, Hongjing Lu, Diana Marculescu, Ashiqur Rasul, Wenrui Xu, Keshab K. Parhi

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究提出下一代人工智能应是轻量级领域特定多模态模型，能在动态环境中推理决策并持续进化。核心方法是重新设计硬件提升能源效率。主要贡献是为未来人工智能系统发展提供新愿景，推动从大数据训练的大模型向节能领域特定智能体转变。

Unravelling the mechanisms underlying crack initiation in additively manufactured steel

揭示增材制造钢中裂纹萌生的潜在机制

KenHee Ryou, Yaozhong Zhang, James A. D. Ball, Dan Rubio-Ejchel, Dillon Jobes, Buhari Ibrahim, Charles Romain, Minh-Son Pham, Henry Proudhon, Jerard V. Gordon

专题命中 其他多模态 ：multimodal(abstract)

AI总结 研究增材制造钢裂纹萌生机制，结合多模态技术观察裂纹尖端塑性三维演变，发现锻造钢与增材制造合金在裂纹尖端塑性表现不同，揭示抗断裂能力受其空间演变控制，为提高损伤容限提供机理框架。