AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
视觉-语言模型中物体定位的机制
机构 * Goethe University Frankfurt, Germany（法兰克福歌德大学，德国） ； The Hessian Center for AI, Germany（黑森人工智能中心，德国）
专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；InternVL(summary_cn,abstract)；vision-language model(title)；grounding(abstract)
AI总结 本文研究了视觉-语言模型中物体定位的核心机制，通过分析LLaVA-1.5和InternVL-3.5等模型，揭示了定位依赖于容器化机制，并发现只有少量注意力头参与分类和定位任务，为未来模型设计提供了指导。
Comments Accepted at CVPR 2026
Spatial-MLLM: 提升基于视觉的空域智能的MLLM能力
机构 * Tsinghua University（清华大学）
专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出Spatial-MLLM，一种基于纯2D观测的视觉空域推理框架，通过双编码器架构和空间感知帧采样策略提升空域理解能力，实验表明其在多种视觉空域任务中达到SOTA性能。
Comments 22 pages
Slot-MLLM: 多模态大语言模型中的面向对象视觉标记化
机构 * Department of Artificial Intelligence, Korea University（韩国大学人工智能系） ； Kakao Corp（Kakao公司） ； School of Computing, KAIST（韩国科学技术院计算机学院）
专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种面向对象的视觉标记化方法Slot-MLLM，通过基于Slot Attention的标记器，有效编码局部视觉细节并保持高层语义，从而提升多模态大语言模型在视觉内容理解和生成中的性能。
SimGym：一种用于电子商务A/B测试模拟的框架，使用基于流量的VLM代理
机构 * Shopify
专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 本文提出SimGym框架，通过基于流量的VLM代理模拟电子商务A/B测试，解决真实测试周期长、风险高等问题，验证结果显示其能快速准确预测用户行为变化。
旋转对齐的关键通道剪枝用于高效的视觉-语言模型推理
机构 * Seoul National University（首尔国立大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出旋转对齐的关键通道剪枝方法，通过压缩通道维度在固定KV缓存预算下保留更多视觉token，解决传统token剪枝在细粒度感知任务中的性能下降问题，同时提升解码效率。
FAGER：基于事实的文本到图像模型评估与改进
机构 * Boston University（波士顿大学） ； Adobe（Adobe公司） ； IBM Research（IBM研究院）
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出FAGER框架，用于评估和改进文本到图像模型的事实准确性，通过结合LLM生成事实和参考引导的视觉事实提取与验证，构建结构化事实评估标准，并通过VLM进行评估，验证FAGER在事实性测试中优于现有方法，并能无训练改进T2I输出。
Comments It was accepted for an oral presentation at the 2nd Workshop on the Evaluation of Generative Foundation Models (EVGENFM2026) at CVPR 2026. Total 8 pages (1 page for references). 5 figures
iGSP：隐式梯度子空间投影用于高效视觉-语言模型的持续学习
机构 * School of Geosciences and Info-Physics, Central South University（地质科学与信息物理学院，中南大学） ； School of Earth Sciences and Spatial Information Engineering, Hunan University of Science and Technology（地球科学与空间信息工程学院，湖南科技大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文提出iGSP框架，通过隐式梯度子空间投影实现视觉-语言模型的高效持续学习，解决了传统方法在参数效率和任务间对齐一致性上的不足，显著提升了训练效率和知识重用率。
VL-DPO：基于视觉语言的偏好对齐自动驾驶微调
机构 * Waymo
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VL-DPO，一种基于视觉语言模型的框架，通过零样本推理生成偏好对来微调自动驾驶模型，以提升与人类驾驶偏好的对齐程度，实验表明该方法在RFS和ADE指标上均优于基线模型。
Comments Published in International Conference on Robotics and Automation (ICRA), 2026 8 pages, 6 figures, 4 tables
探究跨模态技能注入：场景、方法与超参数
机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； WeChat AI, Tencent Inc., China（腾讯公司，中国） ； The University of Hong Kong（香港大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文研究了跨模态技能注入在不同场景下的表现，分析了其方法和超参数的影响，发现其在指令遵循和跨语言任务中表现良好，但在数学推理中存在困难，同时指出经典方法如TA和DARE在性能上优于其他融合方法。
在自然主义游戏过程中，视觉语言和动作模型的推理与动作表示的脑部对齐
机构 * Independent（独立） ； Microsoft Research（微软研究院） ； AWS AI Labs（AWS人工智能实验室） ； GE HealthCare（通用电气医疗） ； IIT Delhi（德里理工学院） ； IIIT-Hyderabad（海得拉巴理工学院） ； Microsoft（微软）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文研究了在自然主义游戏过程中，视觉语言模型和大动作模型的推理与动作表示在脑部活动中的对齐情况，发现动作聚焦和推理聚焦的提示影响模型内部表示与fMRI脑活动的对齐程度。
Comments 21 pages, 11 figures
DynaTok: 时序自适应和位置偏见感知的视频大语言模型token压缩
机构 * LG Electronics, Seoul, South Korea（LG电子，首尔，韩国）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出DynaTok，一种无需训练的时序自适应和位置偏见感知的token压缩框架，通过在时序和空间维度上分配token预算，有效减少冗余的时空覆盖，提升视频大语言模型的效率和鲁棒性。
HAVEN：用于统一视频理解的层次对齐多模态基准
机构 * Department of Information and Computer Sciences（信息与计算机科学系）
专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出HAVEN，一个用于统一视频理解的层次对齐多模态基准，旨在解决现有多模态大语言模型在复杂叙事总结和推理方面评估不足的问题，通过引入全粒度和全多模态的数据集架构，提供了一个严谨的标准测试平台。
更长的时间上下文如何增强大脑对多模态叙事视频的处理？
机构 * Technische Universität Berlin（柏林技术大学） ； Microsoft Research（微软研究院） ； IIT Delhi（德里理工学院） ； Microsoft（微软） ； IIIT-Hyderabad（海得拉巴理工学院）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本研究探讨了视频片段时长和叙事任务提示如何影响自然电影观看过程中大脑模型对多模态大语言模型（MLLMs）的对齐情况，发现增加片段持续时间显著提高了大脑对齐程度，而单模态视频模型则无明显提升。
Comments 22 pages, 15 figures
MAM-CLIP：基于乳腺X线图集的视觉-语言预训练用于BI-RADS分类
机构 * Department of Electrical Engineering（电气工程系） ； Biomedical Informatics Research (BMIR)（生物医学信息学研究（BMIR）） ； Stanford University（斯坦福大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出MAM-CLIP模型，通过预训练PubMedBERT和对比学习来提升乳腺X线图像的BI-RADS分类性能，实验表明在标注样本稀缺时，该方法能显著提高F1分数。
StrLoRA: 向流式连续视觉指令微调迈进以适应大规模多模态语言模型
机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出StrLoRA，一种流式连续视觉指令微调方法，旨在解决动态任务流中模型持续学习的问题，通过任务感知的专家路由框架提升模型在不断变化的数据流中的表现。
SpecX：多模态光谱的大规模基准及跨范式评估
机构 * College of Computer Science and Technology, Hunan University（湖南大学计算机科学与技术学院）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出SpecX，一个用于多模态光谱的大规模基准，通过不同层级的数据集支持分子解析、光谱模拟和理解任务，揭示了专用光谱模型和多模态语言模型在光谱智能中的不同优势。
Comments 9 pages,1 figures
PixVerve：通过大规模高质量数据集将原生超高清图像生成推至100MP
机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出PixVerve-95K数据集，通过精心设计的数据管道构建，包含95K张高分辨率图像和七维标注，用于推动超高清图像生成技术，通过三种训练方案将T2I基础模型扩展到100MP生成，并建立PixVerve-Bench评估协议。
Comments Project page is available at https://haojunchen663.github.io/projects/PixVerve/
Mega-ASR: 通过扩大现实世界声学模拟实现野外语音识别
机构 * NTU（国立新加坡大学） ； NUS（新加坡国立大学） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI
AI总结 本文提出Mega-ASR，一种统一的野外语音识别框架，结合可扩展的复合数据构建与渐进的声学到语义优化，通过在7种经典声学现象和54种物理上合理的复合场景上训练，显著提升了在恶劣环境下的语音识别性能。
Comments Project page: https://xzf-thu.github.io/Mega-ASR/. Code, models, and dataset will be released. A robust ASR framework targeting in-the-wild and compositional acoustic scenarios where conventional ASR systems fail
MSAlign: 用于代谢物鉴定的分子和质谱基础模型对齐方法
机构 * LTCI, Télécom Paris & CMAP, Ecole Polytechnique, Institut Polytechnique de Paris（LTCI，巴黎电信学院及巴黎高等技术学院的联合机构，CMAP，巴黎高等理工学院，巴黎高等技术学院） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎高等技术学院） ； CEA, INRAE, MetaboHUB, Université Paris-Saclay（CEA，国家核能研究中心，法国农业研究机构，代谢组学枢纽，巴黎萨克雷大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG
AI总结 本研究提出MSAlign方法，通过多模态对齐技术对齐分子和质谱基础模型，以提高代谢物鉴定的准确性，并解决了数据分割策略中的分布偏移问题。
DFLOP: 一种基于数据的多模态大语言模型训练流水线优化框架
专题命中 VLM训练与架构 ：multimodal large language model(abstract)
AI总结 本文提出DFLOP框架，通过数据驱动的方法优化多模态大语言模型的训练流水线，提升GPU利用率和训练效率，实验证明其比现有框架快3.6倍。
Comments Accepted to Proceedings of the ACM on Management of Data (SIGMOD 2026)
Journal ref Proc. ACM Manag. Data 4, 3, Article 160 (June 2026), 29 pages
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈