AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
RoboJailBench: 对具身体验机器人代理中对抗攻击和防御的基准测试
机构 * Purdue University（普渡大学）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)
AI总结 本文提出RoboJailBench，通过建立安全分类学、引入意图对比数据集管道以及提供一个演进的存储库，为具身体验人工智能中的对抗攻击和防御提供了标准化评估框架，同时构建了一个新的分类平衡数据集并增强了五个现有数据集。
视觉-语言模型中物体定位的机制
机构 * Goethe University Frankfurt, Germany（法兰克福歌德大学，德国） ； The Hessian Center for AI, Germany（黑森人工智能中心，德国）
专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；InternVL(summary_cn,abstract)；vision-language model(title)；grounding(abstract)
AI总结 本文研究了视觉-语言模型中物体定位的核心机制，通过分析LLaVA-1.5和InternVL-3.5等模型，揭示了定位依赖于容器化机制，并发现只有少量注意力头参与分类和定位任务，为未来模型设计提供了指导。
Comments Accepted at CVPR 2026
Spatial-MLLM: 提升基于视觉的空域智能的MLLM能力
机构 * Tsinghua University（清华大学）
专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出Spatial-MLLM，一种基于纯2D观测的视觉空域推理框架，通过双编码器架构和空间感知帧采样策略提升空域理解能力，实验表明其在多种视觉空域任务中达到SOTA性能。
Comments 22 pages
Slot-MLLM: 多模态大语言模型中的面向对象视觉标记化
机构 * Department of Artificial Intelligence, Korea University（韩国大学人工智能系） ； Kakao Corp（Kakao公司） ； School of Computing, KAIST（韩国科学技术院计算机学院）
专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种面向对象的视觉标记化方法Slot-MLLM，通过基于Slot Attention的标记器，有效编码局部视觉细节并保持高层语义，从而提升多模态大语言模型在视觉内容理解和生成中的性能。
SimGym：一种用于电子商务A/B测试模拟的框架，使用基于流量的VLM代理
机构 * Shopify
专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 本文提出SimGym框架，通过基于流量的VLM代理模拟电子商务A/B测试，解决真实测试周期长、风险高等问题，验证结果显示其能快速准确预测用户行为变化。
旋转对齐的关键通道剪枝用于高效的视觉-语言模型推理
机构 * Seoul National University（首尔国立大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出旋转对齐的关键通道剪枝方法，通过压缩通道维度在固定KV缓存预算下保留更多视觉token，解决传统token剪枝在细粒度感知任务中的性能下降问题，同时提升解码效率。
FAGER：基于事实的文本到图像模型评估与改进
机构 * Boston University（波士顿大学） ； Adobe（Adobe公司） ； IBM Research（IBM研究院）
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出FAGER框架，用于评估和改进文本到图像模型的事实准确性，通过结合LLM生成事实和参考引导的视觉事实提取与验证，构建结构化事实评估标准，并通过VLM进行评估，验证FAGER在事实性测试中优于现有方法，并能无训练改进T2I输出。
Comments It was accepted for an oral presentation at the 2nd Workshop on the Evaluation of Generative Foundation Models (EVGENFM2026) at CVPR 2026. Total 8 pages (1 page for references). 5 figures
iGSP：隐式梯度子空间投影用于高效视觉-语言模型的持续学习
机构 * School of Geosciences and Info-Physics, Central South University（地质科学与信息物理学院，中南大学） ； School of Earth Sciences and Spatial Information Engineering, Hunan University of Science and Technology（地球科学与空间信息工程学院，湖南科技大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文提出iGSP框架，通过隐式梯度子空间投影实现视觉-语言模型的高效持续学习，解决了传统方法在参数效率和任务间对齐一致性上的不足，显著提升了训练效率和知识重用率。
VL-DPO：基于视觉语言的偏好对齐自动驾驶微调
机构 * Waymo
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VL-DPO，一种基于视觉语言模型的框架，通过零样本推理生成偏好对来微调自动驾驶模型，以提升与人类驾驶偏好的对齐程度，实验表明该方法在RFS和ADE指标上均优于基线模型。
Comments Published in International Conference on Robotics and Automation (ICRA), 2026 8 pages, 6 figures, 4 tables
探究跨模态技能注入：场景、方法与超参数
机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； WeChat AI, Tencent Inc., China（腾讯公司，中国） ； The University of Hong Kong（香港大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文研究了跨模态技能注入在不同场景下的表现，分析了其方法和超参数的影响，发现其在指令遵循和跨语言任务中表现良好，但在数学推理中存在困难，同时指出经典方法如TA和DARE在性能上优于其他融合方法。
在自然主义游戏过程中，视觉语言和动作模型的推理与动作表示的脑部对齐
机构 * Independent（独立） ； Microsoft Research（微软研究院） ； AWS AI Labs（AWS人工智能实验室） ； GE HealthCare（通用电气医疗） ； IIT Delhi（德里理工学院） ； IIIT-Hyderabad（海得拉巴理工学院） ； Microsoft（微软）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文研究了在自然主义游戏过程中，视觉语言模型和大动作模型的推理与动作表示在脑部活动中的对齐情况，发现动作聚焦和推理聚焦的提示影响模型内部表示与fMRI脑活动的对齐程度。
Comments 21 pages, 11 figures
DynaTok: 时序自适应和位置偏见感知的视频大语言模型token压缩
机构 * LG Electronics, Seoul, South Korea（LG电子，首尔，韩国）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出DynaTok，一种无需训练的时序自适应和位置偏见感知的token压缩框架，通过在时序和空间维度上分配token预算，有效减少冗余的时空覆盖，提升视频大语言模型的效率和鲁棒性。
HAVEN：用于统一视频理解的层次对齐多模态基准
机构 * Department of Information and Computer Sciences（信息与计算机科学系）
专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出HAVEN，一个用于统一视频理解的层次对齐多模态基准，旨在解决现有多模态大语言模型在复杂叙事总结和推理方面评估不足的问题，通过引入全粒度和全多模态的数据集架构，提供了一个严谨的标准测试平台。
更长的时间上下文如何增强大脑对多模态叙事视频的处理？
机构 * Technische Universität Berlin（柏林技术大学） ； Microsoft Research（微软研究院） ； IIT Delhi（德里理工学院） ； Microsoft（微软） ； IIIT-Hyderabad（海得拉巴理工学院）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本研究探讨了视频片段时长和叙事任务提示如何影响自然电影观看过程中大脑模型对多模态大语言模型（MLLMs）的对齐情况，发现增加片段持续时间显著提高了大脑对齐程度，而单模态视频模型则无明显提升。
Comments 22 pages, 15 figures
MAM-CLIP：基于乳腺X线图集的视觉-语言预训练用于BI-RADS分类
机构 * Department of Electrical Engineering（电气工程系） ； Biomedical Informatics Research (BMIR)（生物医学信息学研究（BMIR）） ； Stanford University（斯坦福大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出MAM-CLIP模型，通过预训练PubMedBERT和对比学习来提升乳腺X线图像的BI-RADS分类性能，实验表明在标注样本稀缺时，该方法能显著提高F1分数。
StrLoRA: 向流式连续视觉指令微调迈进以适应大规模多模态语言模型
机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出StrLoRA，一种流式连续视觉指令微调方法，旨在解决动态任务流中模型持续学习的问题，通过任务感知的专家路由框架提升模型在不断变化的数据流中的表现。
SpecX：多模态光谱的大规模基准及跨范式评估
机构 * College of Computer Science and Technology, Hunan University（湖南大学计算机科学与技术学院）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出SpecX，一个用于多模态光谱的大规模基准，通过不同层级的数据集支持分子解析、光谱模拟和理解任务，揭示了专用光谱模型和多模态语言模型在光谱智能中的不同优势。
Comments 9 pages,1 figures
PixVerve：通过大规模高质量数据集将原生超高清图像生成推至100MP
机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出PixVerve-95K数据集，通过精心设计的数据管道构建，包含95K张高分辨率图像和七维标注，用于推动超高清图像生成技术，通过三种训练方案将T2I基础模型扩展到100MP生成，并建立PixVerve-Bench评估协议。
Comments Project page is available at https://haojunchen663.github.io/projects/PixVerve/
Mega-ASR: 通过扩大现实世界声学模拟实现野外语音识别
机构 * NTU（国立新加坡大学） ； NUS（新加坡国立大学） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI
AI总结 本文提出Mega-ASR，一种统一的野外语音识别框架，结合可扩展的复合数据构建与渐进的声学到语义优化，通过在7种经典声学现象和54种物理上合理的复合场景上训练，显著提升了在恶劣环境下的语音识别性能。
Comments Project page: https://xzf-thu.github.io/Mega-ASR/. Code, models, and dataset will be released. A robust ASR framework targeting in-the-wild and compositional acoustic scenarios where conventional ASR systems fail
MSAlign: 用于代谢物鉴定的分子和质谱基础模型对齐方法
机构 * LTCI, Télécom Paris & CMAP, Ecole Polytechnique, Institut Polytechnique de Paris（LTCI，巴黎电信学院及巴黎高等技术学院的联合机构，CMAP，巴黎高等理工学院，巴黎高等技术学院） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎高等技术学院） ； CEA, INRAE, MetaboHUB, Université Paris-Saclay（CEA，国家核能研究中心，法国农业研究机构，代谢组学枢纽，巴黎萨克雷大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG
AI总结 本研究提出MSAlign方法，通过多模态对齐技术对齐分子和质谱基础模型，以提高代谢物鉴定的准确性，并解决了数据分割策略中的分布偏移问题。
DFLOP: 一种基于数据的多模态大语言模型训练流水线优化框架
专题命中 VLM训练与架构 ：multimodal large language model(abstract)
AI总结 本文提出DFLOP框架，通过数据驱动的方法优化多模态大语言模型的训练流水线，提升GPU利用率和训练效率，实验证明其比现有框架快3.6倍。
Comments Accepted to Proceedings of the ACM on Management of Data (SIGMOD 2026)
Journal ref Proc. ACM Manag. Data 4, 3, Article 160 (June 2026), 29 pages
基于上下文的视觉个性化在视觉-语言模型中
机构 * Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea（电气电子工程系，首尔国立大学，首尔，韩国） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University, Seoul, Korea（人工智能交叉学科项目，首尔国立大学，首尔，韩国）
专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文提出了一种基于上下文的视觉个性化方法，通过强化学习和生成增强技术改进视觉-语言模型的个性化图像描述能力，并通过诊断评估验证了模型对视觉上下文的真实利用，展示了CoViP在下游个性化任务中的全面提升。
Comments Accepted at ICML 2026
HyperCap：面向视觉语言模型的超光谱土地覆盖描述数据集
机构 * Department of Computer Science and Engineering, Vellore Institute of Technology（计算机科学与工程系，维洛雷理工学院） ； Department of Information Technology, Siddhartha Academy of Higher Education（信息技术系，斯里达拉塔高等教育学院） ； Department of Computer Science and Engineering, Indian Institute of Technology, Roorkee（计算机科学与工程系，印度理工学院罗尔基分校） ； Department of Computer Science and Engineering, Indraprastha Institute of Information Technology Delhi（计算机科学与工程系，印度信息技术学院德里） ； Department of Computer Science and Engineering, Indian Institute of Technology, Kanpur（计算机科学与工程系，印度理工学院坎浦尔） ； Department of Computer Science and Artificial Intelligence, University of Granada（计算机科学与人工智能系，格拉纳达大学） ； Hyperspectral Computing Laboratory, Department of Computers and Communications, University of Extremadura（超光谱计算实验室，计算机与通信系，埃斯特拉达大学）
专题命中 其他VLM ：vision language model(title)；分类 cs.CV
AI总结 本文提出HyperCap数据集，通过整合光谱数据与像素级文本标注，提升遥感应用中的模型性能，为未来研究提供基础资源。
Comments Accepted for publication in IEEE Geoscience and Remote Sensing Magazine (GRSM), 2026
NGL：自然服装语言用于无训练缝纫图案估计
机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV
AI总结 本研究提出NGL自然服装语言，通过利用视觉语言模型的自然描述能力，实现无训练的缝纫图案估计，解决了传统方法在泛化能力、真实世界关联性和多层服装处理上的不足。
Comments 12 pages, 7 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈