视觉大模型 / VLM

Zero-Effort Image-to-Music Generation: An Interpretable RAG-based VLM Approach

零努力图像到音乐生成：一种可解释的基于RAG的视觉语言模型方法

Zijian Zhao, Dian Jin, Zijing Zhou

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science（香港科学大学） ； The Hong Kong Polytechnic University Hong Kong China（香港理工大学香港中国） ； The University of Hong Kong Hong Kong China（香港大学香港中国） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.AI

AI总结 本文提出一种基于RAG的视觉语言模型方法，实现图像到音乐生成，通过ABC记谱法连接文本与音乐模态，并利用多模态检索增强生成和自反思技术，提供高可解释性且低计算成本的音乐生成方案。

On the Efficiency of LoRA Fine-Tuning for Vision-Language-Action Models in Industrial Robotic Manipulation

工业机器人操作中视觉语言动作模型的LoRA微调效率研究

Finn Ferchau, Daniel Pommer, Cristian Axenie

机构 * Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学） ； Siemens AG（西门子股份公司） ； Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.LG

AI总结 研究工业机器人操作中VLA模型的LoRA微调效率，通过在四个精密装配任务上评估，发现特定LoRA配置不比FFT差，r = 32时性能饱和，均匀分配即可，冻结VLM等会降性能，该方法可减少VRAM且无性能损失。

Comments 12 pages, 5 figures, 3 tables. Accepted at the International Conference on Artificial Neural Networks (ICANN 2026); to appear in Springer LNCS

AutoV: Loss-Oriented Ranking for Visual Prompt Retrieval in LVLMs

AutoV：面向视觉提示检索的损失导向排名用于大视觉-语言模型

Yuan Zhang, Chun-Kai Fan, Sicheng Yu, Junwen Pan, Tao Huang, Ming Lu, Kuan Cheng, Qi She, Shanghang Zhang

机构 * School of Computer Science, Peking University（北京大学计算机学院） ； ByteDance Inc.（字节跳动公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 AutoV通过损失导向的提示检索提升大视觉-语言模型在图像理解等任务中的性能。

Comments Accepted by ECCV 2026

Compositional Context Fine-Tuning Vision-Language Model for Complex Assembly Action Understanding from Videos

用于从视频理解复杂装配动作的组合上下文微调视觉语言模型

Hao Zheng, Jinyi Huang, Tiantian Zheng, Xun Xu, Tuka Alhanai

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） ； The University of Auckland（奥克兰大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV；vision language model(comments)

AI总结 针对装配动作理解难题，提出组合上下文微调方法及层划分交替训练方法，将动作分解为语义元素并微调视觉语言模型，创建相关数据集，实验证明该方法优于基线且能提供可解释预测，助力人机协作装配。

Comments Accepted by ICRA 2026. Video Understanding; Vision Language Model; Multi-modal LLM; Action Recognition; Assembly

Answer-Conditioned Chain-of-Thought Distillation for Few-Shot Industrial Vision with Small VLMs

用于少样本工业视觉的小视觉语言模型的答案条件思维链蒸馏

Shubham Rao

机构 * Entropy AI Research Labs Private Limited（熵人工智能研究实验室私人有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对制造业视觉检测难题，提出答案条件思维链蒸馏法，利用最少标注数据让小型视觉语言模型适应新工业任务，经实验验证该方法在多任务中优于直接微调，提升了推理质量和模型性能。

Comments 11 pages, 5 figures, 8 tables

Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models

Embodied-R1.5：通过具身基础模型演化物理智能

Yifu Yuan, Yaoting Huang, Xianze Yao, Yutong Li, Shuoheng Zhang, Linqi Han, Pengyi Li, Jiangeng Sun, Wenting Jia, Zhao Zhang, Yuhao Liu, Ruihao Liao, Yucheng Hu, Qiyu Wu, Yuxiao Li, Zibin Dong, Fei Ni, Yan Zheng, Shuyang Gu, Yi Ma, Hongyao Tang, Han Hu, Jianye Hao

机构 * Tianjin University（天津大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出统一具身基础模型Embodied-R1.5，通过自动化数据管道和多任务平衡强化学习，在8B参数下实现24项基准中16项最优，并支持微调为VLA模型。

Comments Embodied R1.5 technical report. Project page: https://embodied-r.github.io/

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

MMRM：一种用于电子商务搜索中产品排名的多重多模态表示模型

Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.LG

AI总结 针对电子商务搜索排名中多模态信息利用的局限，提出MMRM框架，通过共享主干从多信号学习生成多重商品表示，引入多重用户表示策略，并经实验验证其有效性，已成功应用于京东搜索引擎提升性能。

Comments Accepted by SIGIR2026

PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging

PivotMerge: 通过后对齐模型融合弥合异构多模态预训练

Zibo Shao, Baochen Xiong, Xiaoshan Yang, Yaguang Song, Qimeng Zhang, Haifeng Chen, Changsheng Xu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Data Science and Artificial Intelligence Research Institute, China United Network Communications Group Co., Ltd.（中国联合网络通信集团有限公司数据科学与人工智能研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PivotMerge框架，通过后对齐模型融合技术，解决多模态预训练中跨模态对齐能力整合问题，提升模型统一语义空间的构建效果。

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

EmoStyle：用于情感图像生成的风格专家情感调节

Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI

AI总结 针对情感感知艺术图像生成中训练与测试时属性不一致造成的控制差距问题，提出EmoStyle框架，利用语言模型推理器预测情感线索，编码情感字段指导生成，训练专用LoRA适配器结合风格表达情感，经视觉语言模型引导排序，在挑战赛中获佳绩。

Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval

所有视觉令牌都同等重要吗？用于视觉语言检索的对象证据保留令牌合并

Suhyeong Park, Junha Jung, Jungwoo Park, Jaewoo Kang

机构 * The Catholic University of Korea（韩国天主教大学） ； Korea University（韩国大学） ； AIGEN Sciences Inc.（AIGEN科技公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言检索中多向量方法存储和评分成本高的问题，提出对象感知令牌合并框架SaMer，压缩图像侧令牌同时保留交互接口，实验证明其能降成本且提升性能。

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

读回：预训练的多模态语言模型是文本到图像生成的零样本奖励模型

Runhui Huang, Qihui Zhang, Zhe Liu, Yu Gao, Jie Wu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； ByteDance Seed（字节跳动Seed） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

AI总结 研究提出SpectraReward将预训练多模态语言模型转为图像生成强化学习奖励模型，用图像条件提示对数似然作奖励，还引入Self-SpectraReward形成闭环框架。经广泛实验验证，二者能提升生成性能，表明奖励-策略对齐是关键。

DynEval: Holistic Evaluations of T2I Generative Models in the Wild

DynEval：对自然环境下的文本到图像生成模型进行全面评估

Shyam Marjit, Dheeraj Baiju, Anuj Shikarkhane, Akhil Sakthieswaran, Sayak Paul, Anirban Chakraborty

机构 * Indian Institute of Science（印度科学研究所） ； Hugging Face（拥抱脸） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对文本到图像生成模型评估难题，提出DynEval动态评估框架，通过构建两个数据集，利用课程学习策略微调评估器，在多基准测试中与人类判断相关性更高，可对多个T2I模型进行细粒度分析。

Comments Accepted at ECCV 2026. Project page: https://vcl-iisc.github.io/dyneval/

AU-Guided Synthetic Video Generation for Micro-Expression Recognition

用于微表情识别的基于动作单元引导的合成视频生成

Pei-Sze Tan, Sailaja Rajanala, Yee-Fan Tan, Raphael C. -W. Phan, Huey-Fang Ong

机构 * CyPhi AI Lab, Monash University Malaysia（马来西亚莫纳什大学CyPhi人工智能实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 针对现有微表情识别数据集的局限，提出基于动作单元引导生成合成微表情数据集EquiME的方法，经实验其在跨数据集微表情识别任务中性能有竞争力，且在不同架构中变化低，为微表情识别研究提供了新资源。

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

TextGaze：利用文本场景线索提示注视目标估计

Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Anhui University（安徽大学） ； United Arab Emirates University（阿联酋大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究注视目标估计问题，提出TextGaze统一跨模态架构，利用大型视觉语言模型平衡多分支与简化设计范式，通过冻结编码器提取视觉特征、设计融合模块等进行联合预测，在多数据集上评估有竞争力，为传统设计提供简化替代。

Comments Accepted by IJCAI 2026. All contents are available at: https://github.com/idremo/TextGaze-IJCAI2026

More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning

更多结构，而非更多容量：用于视觉运动模仿学习的以对象为中心的表示

Yi Li, Alexandre Chapin, Liming Chen, Jan Peters, Alap Kshirsagar

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 研究视觉运动模仿学习，对比全局场景嵌入等传统视觉模型，测试以对象为中心的插槽表示，发现其结构优势，如更高成功率，还通过故障分类法分析故障类型，指出遮挡是主要瓶颈，为视觉运动模仿学习提供新方法和见解。

SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval

SOLAR：用于对称多模态检索的自监督联合学习

Wenjie Yang, Hang Yu, Yuyu Guo, Peng Di

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出SOLAR框架，通过自监督学习解决对称多模态检索问题，利用未标记数据提升模型性能，实验显示其在基准测试中优于现有方法。

Comments Accepted by ICML 2026. Code, model and benchmark are available at https://github.com/codefuse-ai/SOLAR

Artificial Foveated Perception for Mitigating Shortcut Learning in Robotic Foundation Models

用于减轻机器人基础模型中捷径学习的人工中央凹感知

Xiatao Sun, Yuan Zhuang, Mateo Sanchez Lopez Negrete, Matei-Victor Coldea, Chen Liang, Haoyang Zhang, Che Liu, Ziyao Zeng, Shawn Li, Qian Wang, Fei Miao, Daniel Rakita

机构 * Yale University（耶鲁大学） ； University of Connecticut（康涅狄格大学） ； Peking University（北京大学） ； Imperial College London（帝国理工学院） ； Digients 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究机器人基础模型因捷径学习难以稳健部署的问题，提出人工中央凹感知模块AFP，通过预测任务条件掩码辅助微调，使策略关注任务相关区域，实验证明其能减少微调时间、抑制过拟合并提升泛化能力。

Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues

突破15%的障碍：一个由用户非语言线索触发的、用于主动社交机器人的真实世界数据驱动系统

Yuga Yano, Yuki Okafuji, Ryo Miyoshi, Sanae Yamashita, Yoshiki Ohira

机构 * Kyushu Institute of Technology（九州工业大学） ； CyberAgent（CyberAgent公司） ； The University of Osaka（大阪大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)

AI总结 研究零售商店中服务机器人交互，发现非语言行为触发机器人话语占比15.3%。通过分析客户行为定义非语言线索，开发识别器和对话框架，能基于非语言线索实现主动机器人响应，还进行了离线评估和展示在线原型。

Comments 8 pages, accepted as a conference paper for IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2026)

Calf-Integrated Arms for Bimanual Quadruped Loco-Manipulation

用于双足四足运动操纵的小腿集成手臂

Yan Pan, Yuanchuan Ren, Chipui Chan, Jingcheng Sun, Chengxu Zhou

机构 * University College London（伦敦大学学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)

AI总结 研究双足四足运动操纵设计权衡问题，核心方法是将特定操纵器集成到前小腿，实现双手地面操纵且四足着地、基座可行走，借助视觉语言模型排序技能，模拟中完成三项双手任务。

Comments 6 pages, 6 figures