AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
CATCH-ME if you RAG：针对仇恨与虚假信息交流的上下文注释多轮对抗言论数据集
机构 * Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） ； Università Cattolica del Sacro Cuore（圣心天主教大学）
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 提出首个大规模、专家策划的多语言对话数据集，覆盖仇恨与虚假信息重叠问题，包含事实核查锚定和跨度标注，支持RAG系统训练更可信的对抗言论模型。
提示质量与拉取请求结果：基于阶段的LLM辅助开发实证研究
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 通过分析265个开发者与ChatGPT的交互，研究提示结构（上下文、具体性、验证）对LLM辅助开发中代码生成、采纳和集成深度的影响，发现不同维度在不同阶段有不同作用。
Comments 48 pages, 2 figures
TASC：面向关系遥操作的任务感知共享控制
机构 * KU Leuven, Dept. Mechanical Engineering, Research unit Robotics, Automation and Mechatronics（KU莱顿机械工程系，机器人、自动化与机电一体化研究单位） ； KU Leuven, Dept. Electrical Engineering, Research unit Processing Speech and Images（KU莱顿电气工程系，语音与图像处理研究单位）
专题命中 视觉定位与Grounding ：vision-language model(abstract)
AI总结 提出TASC框架，通过视觉构建开放词汇交互图推断任务级用户意图，并基于空间约束提供共享控制辅助，提升关系遥操作效率与泛化能力。
Comments Accepted to IROS 2026
Stellar：面向自然语言查询的可扩展多模态文档检索
专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)
AI总结 提出Stellar框架，通过磁盘存储令牌级文档嵌入并动态加载候选嵌入，结合词汇表示过滤和高效磁盘支持的后交互，在保持检索效果的同时将内存开销和查询延迟降低1-2个数量级。
慢速大脑，快速规划器：延迟鲁棒的VLM增强城市导航
机构 * Amazon FAR（亚马逊 FAR） ； UCLA（加州大学洛杉矶分校） ； Independent（独立） ； Zhejiang University（浙江大学）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)
AI总结 针对移动机器人在人行道导航中轨迹评分差距问题，提出一种无需训练的延迟鲁棒轨迹级融合层，利用VLM选择候选轨迹并与规划器输出融合，在挑战场景下降低ADE 30%。
ROSE：多模态模型中感知到行动差距的基准测试
机构 * Sun Yat-sen University（中山大学） ； Shaanxi Normal University（陕西师范大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出ROSE基准，通过固定视觉场景并变化区域约束与符号输出，测试多模态大模型在不同上下文中将相同视觉证据转化为所需行动的能力，发现模型性能下降高达44.5个百分点，揭示感知到行动的瓶颈。
Comments 29 pages, 11 figures
MemGUI-Agent: 一种具有主动上下文管理的端到端长时移动GUI智能体
专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)
AI总结 提出MemGUI-Agent，通过主动上下文管理机制（ConAct）将上下文管理作为一等动作，解决长时任务中提示膨胀和关键信息稀释问题，在8B模型上达到最佳性能。
Comments 33 pages, 6 figures. Project page: https://memgui-agent.github.io/
See-and-Reach: 视场内的精确视觉语言导航用于无人机
机构 * School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） ； School of Computer Science and Artificial Intelligence, Shandong Normal University（山东师范大学计算机科学与人工智能学院） ； Interdisciplinary Research Center of General Artificial Intelligence, Shandong Normal University（山东师范大学通用人工智能跨学科研究中心）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 针对无人机视觉语言导航中目标可见后精确到达能力评估不足的问题，提出UAV-VLN-FOV任务和3DG-VLN框架，通过动态3D方向线索增强细粒度视觉定位与空间对齐，在基准和真实实验中显著提升成功率。
Comments 12 pages, 7 figures
一对二执行：一种面向单臂智能体动作扩展至双臂的新框架
机构 * Chongqing University（重庆大学） ； Xi’an Jiaotong-Liverpool University（西交利物浦大学） ； Lumos Robotics
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)
AI总结 提出ExS2D层次化动作扩展框架，利用单臂监督实现双臂操作，通过时间优先关系提取、子任务引导动作映射和碰撞避免协调规划，在仿真中减少54.4%执行步骤并保持成功率。
Comments 6 pages, 5 figures, 3 tables
谱查询-键乘积权重引导用于免训练VLM幻觉缓解
机构 * Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔） ； Snap Research（Snap 研究院）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出QK乘积引导，一种无数据、免训练、零推理成本的权重编辑方法，通过抑制中间层主导奇异模式减少对象幻觉，在三个GQA基VLM上平均降低CHAIR$_s$ 4.0%。
Comments Under Review
评判以改进：一种去偏的 VLM-as-3D-Judge 协议用于单图像 3D 生成
机构 * Transformer Lab
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；分类 cs.LG
AI总结 本文提出一种去偏的跨模型 VLM-as-3D-Judge 协议，将评判者从排序扩展到优化，通过训练与评估评判者分离、位置偏差校正及修复三种失效模式，实现轻量级适应下与强基线的匹配。
Fail-RAG：一种基于检索增强生成的机器人故障识别框架
机构 * Hitachi America, Ltd.（日立美国有限公司）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)
AI总结 提出Fail-RAG框架，利用检索增强生成和视觉语言模型，通过嵌入故障图像和上下文信息并查询数据库，实现机器人操作故障的高效检测，在仓库自动化任务中平均检测准确率提升25个百分点。
StylisticBias: 少数人类视觉线索驱动多模态大语言模型中的大部分社会偏见
机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Princeton Center for Information and Technology Policy（普林斯顿信息与技术政策中心）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 提出StylisticBias基准，通过控制单一视觉属性变化，发现年龄和体型主导身份层面偏见，而时尚风格等约15个属性解释近80%的偏见变化，偏见集中于少数视觉线索。
Comments Accepted to the non-archival workshops AI4Good and Culture x AI at ICML 2026
Fisher-几何锐度与SGD对平坦极小值的隐式偏好
机构 * Gauhati University（高哈蒂大学）
专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG
AI总结 针对SGD偏好平坦极小值但欧氏锐度不具重参数化不变性的问题，提出基于Fisher信息矩阵的黎曼锐度，证明其不变性，并导出SGD稳态分布集中于平坦极小值，PAC-Bayes界联系泛化性能。
Comments 18 pages, 5 figures, preprint
智能体能否在零样本设置中区分视觉上难以分离的疾病？一项初步研究
机构 * Department of Diagnostic and Interventional Radiology, University Hospital Aachen, 52074 Aachen, Germany（诊断与介入放射科，亚琛大学医院，德国亚琛，52074）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本研究探索多模态大语言模型智能体在零样本下区分视觉混淆疾病（如黑色素瘤与不典型痣、肺水肿与肺炎）的能力，提出基于对比裁决的多智能体框架，在皮肤镜数据上准确率提升11个百分点，但总体性能仍不足临床部署。
Comments Code available at https://github.com/TruhnLab/Contrastive-Agent-Reasoning. Accepted by MICCAI 2026
TSAssistant: 一种人在回路中的自动化靶点安全性评估智能体框架
机构 * Computational Sciences Center of Excellence（计算科学卓越中心）
专题命中 幻觉与鲁棒性 ：grounding(abstract)
AI总结 提出TSAssistant多智能体框架，通过分层指令架构和交互式优化循环，将靶点安全性评估报告生成分解为专业子任务，实现高可重复性和证据溯源。
Comments Updated with quantitative and expert evaluations
脚手架效应：提示框架如何驱动临床VLM评估中的表面多模态增益
机构 * Technical University of Darmstadt（达姆施塔特技术大学）
专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究发现，在临床VLM评估中，提示中提及MRI可用性即可解释70-80%的性能提升，与图像数据是否存在无关，这种“脚手架效应”揭示了表面评估无法反映真实多模态推理能力。
探索多模态大语言模型与两阶段微调在时尚图像检索中的应用
机构 * University of Science, VNU-HCM（胡志明市国家大学下属理科大学） ； Vietnam National University, Ho Chi Minh（胡志明市国家大学）
专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 提出融合多模态大语言模型（LLaVA）生成属性感知三元组，并采用两阶段微调策略增强对比学习，以解决时尚图像检索中标注数据稀缺和负采样简单的问题。
Comments SOICT 2025
视觉-语言模型是理解3D场景还是仅仅 catalogue 物体？
机构 * Deccan AI（德克南人工智能）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
AI总结 本文通过一个包含3034个样本的人工整理基准，探讨了视觉-语言模型对空间理解的深度有序遮挡、光学几何推断和体积重新安排规划能力，发现模型在重新安排可见布局时表现优异，但在遮挡和反射推断上表现较差。
Timage: 一种用于微调视觉语言模型的文本嵌入图像生成范式
机构 * Fudan University（复旦大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Tencent Jarvis Lab（腾讯贾维斯实验室） ； Southern University of Science and Technology（南方科技大学）
专题命中 VLM训练与架构 ：vision-language model(title)；multimodal large language model(abstract)；分类 cs.CV
AI总结 提出Timage范式，通过约束薛定谔桥将查询文本作为排版覆盖层嵌入图像，以显式空间锚点引导模型关注，在不侵蚀骨干能力前提下提升细粒度空间推理性能。
Comments ECCV
FreeStyle: 从社区LoRA挖掘中实现风格-内容双参考生成的自由控制
机构 * Fudan University（复旦大学） ； StepFun ； Westlake University（西湖大学） ； University of Hong Kong（香港大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出FreeStyle框架，利用社区LoRA作为锚点，通过两阶段课程学习（注意力级约束和频率感知RoPE调制）解决双参考生成中的内容泄露问题，并引入新基准和评估指标，实现风格对齐、内容保持与泄露抑制的平衡。
Comments 35 pages, 26figures. Project page: https://github.com/Blue2Giant/FreeStyle
面向LLM训练的具有形式保证的在线动态批处理
机构 * Tencent（腾讯）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.LG
AI总结 提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。
Comments 29 pages, 3 figures, 21 tables
面向域泛化人脸反欺骗的视觉基础模型基准测试
机构 * Graduate School of Information Sciences, Tohoku University, Japan（东北大学信息科学研究生院，日本）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 本文系统评估15种预训练视觉模型在人脸反欺骗域泛化中的表现，发现自监督ViT（尤其是DINOv2+Registers）结合数据增强和注意力损失在MICO协议上达到最优，且计算高效。
Comments 2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
LaTtE-Flow: 基于层间时间步专家流的Transformer
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Maryland（马里兰大学） ； Nvidia（英伟达） ； Salesforce AI Research（Salesforce AI研究） ； Intuit AI Research（Intuit AI研究）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出LaTtE-Flow，一种基于预训练视觉语言模型的高效统一架构，通过层间时间步专家流和条件残差注意力机制，实现图像理解与生成，生成速度提升约6倍。
Comments Unified multimodal model, Flow-matching
VCG：极端冷启动条件下电商视频流的多模态检索框架
机构 * Zalando Switzerland AG（Zalando瑞士有限公司） ； TU Wien（维也纳技术大学） ； Zalando SE（Zalando德国分公司）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对电商视频流中的极端冷启动和偏差问题，提出基于领域自适应视觉-语言模型（CLIP）的可扩展多模态检索系统VCG，实现零样本检索，在线测试显示深度视频完成率提升50%。
PerceptionDLM：基于多模态扩散语言模型的并行区域感知
机构 * Peking University（北京大学） ； MSALab ； ByteDance（字节跳动）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出PerceptionDLM，利用扩散语言模型的并行解码特性，通过高效提示和结构化注意力掩码实现多区域并行感知，显著提升推理效率，并构建ParaDLC-Bench基准进行评估。
Comments Code available at https://github.com/MSALab-PKU/PerceptionDLM
Co-policy: 响应式人机音乐共创框架
机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Automation, Wuhan University of Technology（武汉理工大学自动化学院） ； School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； School of Robotics, Wuhan University（武汉大学机器人学院）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI
AI总结 提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。
AAPA：用于大型语言模型后训练的对抗锚定偏好对齐
机构 * Southwest University of Finance and Economics（西南财经大学）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI
AI总结 提出AAPA框架，通过固定轻量判别器对策略输出与专家响应进行句子级对抗锚定，增强SFT、GRPO等后训练目标，在指令遵循基准上持续提升性能。
SpatialSV: 通过任务导向的视觉监督在多模态大语言模型中内化可解释的3D空间感知
机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院）
专题命中 其他VLM ：MLLM(summary_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 提出SpatialSV框架，通过任务导向的视觉监督将MLLM的2D特征提升为显式3D表示（深度图、相机姿态、点云），实现可解释的3D空间感知内化，无需外部工具，并在半监督设置中展现强泛化能力。
Comments Accepted by IJCAI 2026
NRITYAM：语言模型遇见舞蹈的艺术与遗产
机构 * Shenzhen Technology University（深圳技术大学） ； New Delhi Institute of Management（新德里管理学院） ； Technische Universität Dresden（德累斯顿工业大学） ； Ramakrishna Mission Vivekananda Educational and Research Institute（罗摩克里希纳传道会维韦卡南达教育与研究学院） ； Indian Institute of Technology（印度理工学院） ； Swami Vivekananda Institute of Technology（斯瓦米·维韦卡南达技术学院） ； GuangDong Engineering Technology Research Center of Edge Intelligence（广东省边缘智能工程技术研究中心）
专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI
AI总结 提出NRITYAM基准，包含9,260个跨12语言的文化问答对，评估语言模型对全球舞蹈传统的文化理解能力，涵盖多种模型类型。
Comments 18 pages, 12 figures, in ECML_PKDD'26
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈