AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
ABot-OCR 技术报告
机构 * AMAP CV Lab（AMAP视觉实验室）
专题命中 文档图表理解 ：vision-language model(abstract)；分类 cs.CV
AI总结 提出端到端视觉语言模型ABot-OCR，通过单次前向传播将页面图像直接转录为干净Markdown，并采用解耦异构文档优化的强化学习方法提升文本准确性和标记格式正确性，在OmniDocBench基准上达到最先进水平。
Comments 21 pages, 11 figures, technical report
Mobile-Aptus: 基于MLLM的手机使用代理中的置信度驱动的主动与鲁棒交互
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； GenAI, Meta（Meta的GenAI）
专题命中 GUI与屏幕智能体 ：MLLM(title,title_cn)；multimodal large language model(abstract)
AI总结 针对手机使用代理中的过度执行和过度请求问题，提出一种置信度驱动的主动与鲁棒交互框架，通过监督微调和置信度偏差校正实现最优性能。
Comments Accepted by TASLP
通过自我批评强化学习增强可信的GUI定位
机构 * Xiaomi Inc（小米公司）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.CV
AI总结 提出HyperClick框架，通过自我批评强化学习联合优化定位准确性和置信度可靠性，实现可信的GUI定位。
DriveWAM: 视频生成先验实现自动驾驶的可扩展世界-动作建模
机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Voyager Research, Didi Chuxing（Voyager Research，滴滴出行）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出DriveWAM，通过将预训练视频扩散Transformer适配为自回归视频-动作策略，并引入场景演化驾驶引导和选择性KV记忆，实现可扩展的世界-动作建模，在NAVSIM和PhysicalAI基准上取得强规划性能。
MIRAGE：通过用户生成内容对移动GUI代理的上下文感知提示注入
机构 * Griffith University（格里菲斯大学） ； Quantstamp ； Nanyang Technological University（南洋理工大学） ； Singapore Management University（新加坡管理学院） ； University of New South Wales（新南威尔士大学） ； Wake Forest University（威克森林大学） ； Independent Researcher（独立研究者）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 提出MIRAGE管道，通过将攻击者控制的文本嵌入用户生成内容区域，在不修改代理、应用或操作系统的情况下，对视觉语言模型驱动的移动GUI代理实现高成功率的提示注入攻击。
Uni-LaViRA：面向统一具身导航的语言-视觉-机器人动作翻译
机构 * Nanjing University（南京大学） ； Beihang University（北京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； BMW (Nanjing) Information Technology Co., Ltd.（宝马（南京）信息技术有限公司） ； University of Rochester（罗切斯特大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV
AI总结 提出Uni-LaViRA统一智能体架构，通过语言-视觉-机器人动作翻译结构，结合待办列表记忆和二次机会回溯机制，在零训练下实现四类导航任务和四种真实机器人的零样本泛化，性能匹配或超越近期训练式导航基础模型。
Comments Project page: https://xetroubadour.github.io/Uni-LaViRA/
CogVLA: 通过指令驱动路由与稀疏化实现认知对齐的视觉-语言-动作模型
机构 * School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区计算机科学与技术学院）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出CogVLA框架，通过指令驱动路由和稀疏化机制，在LIBERO基准和真实机器人任务上以2.5倍训练成本降低和2.8倍推理延迟降低实现97.4%和70.0%的成功率。
Comments Accepted to NeurIPS 2025, Project Page: https://jiutian-vl.github.io/CogVLA-page
CogPortrait: 通过分层智能体规划实现肖像动画中的细粒度眼部区域控制
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； University of New South Wales（新南威尔士大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 提出CogPortrait两阶段框架，利用多模态大语言模型智能体从高层标签生成关键点，再通过DiT视频生成骨干合成动画，实现细粒度眼部控制，并引入EMH基准评估。
GUI-CIDER：通过因果内化和密度感知示例重选进行GUI代理的中期训练
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)
AI总结 提出GUI-CIDER中期训练方法，通过因果内化和密度感知示例重选显式内化GUI世界知识，提升代理对GUI操作的理解和任务成功率。
神经隐式动作场：从离散路点到连续函数的视觉-语言-动作模型
机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳大学计算微电子学院） ； Guangdong Provincial Key Laboratory of Computility Microelectronics（广东省计算微电子重点实验室） ； Amap, Alibaba Group（阿里集团Amap） ； Shenzhen University（深圳大学） ； Xi'an Jiaotong University（西安交通大学） ； Beijing University of Chemical Technology（北京化工大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)
AI总结 针对视觉-语言-动作模型预测离散动作路点与物理运动连续性不匹配的问题，提出神经隐式动作场（NIAF），通过将动作表示从离散路点重构为连续函数，实现任意时间分辨率的连续动作流形合成，支持解析求导和显式速度监督，提升控制平滑性和物理合理性。
Comments Accepted at ICML 2026
重新思考视觉忽视：通过上下文偏好引导缓解MLLM幻觉
机构 * School of Computer and Electronic Information, Nanjing Normal University（计算机与电子信息学院，南京师范大学）
专题命中 幻觉与鲁棒性 ：MLLM(title,title_cn)；multimodal large language model(abstract)
AI总结 针对多模态大语言模型的物体幻觉问题，提出无需训练的上下文偏好激活引导框架（CAS），通过提取上下文偏好向量并在中间早期MLP层注入符号残差来控制信息依赖，有效缓解幻觉且不增加解码延迟。
Comments 15 pages, 5 figures
基于VLM的摩托车安全高级骑手辅助系统
机构 * HRI ； Honda Research Institute（本田研究院） ； University of Maryland（马里兰大学） ； Northeastern University（东北大学）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)
AI总结 提出一种利用视觉语言模型进行语义感知和风险感知规划的摩托车高级骑手辅助系统，通过构建密集风险地图并采用基于采样的规划器，在CARLA模拟器中实现更高的成功率和更低的风险暴露。
Comments Accepted to IEEE IV 2026
JECA^2: 面向取证视觉语言模型的判断-解释一致对抗攻击
机构 * City University of Hong Kong（香港城市大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 针对取证视觉语言模型，提出一种白盒对抗攻击方法JECA^2，通过Grad-CAM引导的视觉扰动和令牌邻近约束的文本嵌入优化，实现判断与解释的一致性，实验表明攻击成功率和一致性优于基线。
Comments 37 pages, 6 figures. Includes supplementary material
MM-PoisonRAG：通过局部和全局投毒攻击破坏多模态RAG
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California Los Angeles（加州大学洛杉矶分校）
专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 提出MM-PoisonRAG框架，通过局部投毒攻击（LPA）和全局投毒攻击（GPA）两种策略，系统研究多模态检索增强生成（RAG）在知识投毒下的脆弱性，实验表明攻击成功率高达56%且能绕过现有防御。
Comments Code is available at https://github.com/HyeonjeongHa/MM-PoisonRAG
面向不完整多模态输入的统一视觉-语言模型
机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） ； Guangzhou University（广州大学） ； Wuhan University（武汉大学） ； Nanjing University（南京大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 针对视频-语言模型在传感器失效导致模态不完整数据下的训练-测试不一致问题，提出首个统一的不完整视频-语言模型作为即插即用模块，提升多模态任务性能。
Comments Published in AAAI 2026
风险感知的选择性提示用于大型视觉-语言模型中的幻觉缓解
机构 * Shanghai Jiao Tong University（上海交通大学） ； iFLYTEK ； Tsinghua University（清华大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；grounding(abstract)
AI总结 本文系统研究提示验证在大型视觉-语言模型中的风险，发现其效果依赖输入难度，并提出基于预生成不确定性信号的选择性提示方法RSP以平衡性能。
Comments 7 pages, 1 figures, submitted to ACL ARR 2026 May (EMNLP)
FedMPT: 视觉语言模型的多标签联邦提示调优
机构 * University of Science and Technology of China（科学技术大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI
AI总结 针对联邦学习中多标签识别任务，提出FedMPT方法，利用因果模型的前门调整和大语言模型驱动的条件解耦，通过最优传输和门控机制抑制虚假标签关联，提升模型鲁棒性。
Comments 16 pages, including 11 pages of main text and 5 pages of appendix; Accepted by CVPR2026
多模态大语言模型在农业图像解释与生成任务中的幻觉行为
机构 * Texas A&M University System（德克萨斯大学系统）
专题命中 幻觉与鲁棒性 ：LLaVA(abstract,abstract_cn)；visual reasoning(abstract)；分类 cs.CV、cs.AI
AI总结 本研究系统评估了多模态大语言模型在农业图像解释（图像到文本）和生成（文本到图像）任务中的幻觉行为，发现模型存在生物不一致、上下文不准确和农学不合理等错误模式，并通过少样本提示等方法分析了幻觉的残留影响。
SoC: 测试时提示调优的语义正交校准
机构 * MICS, CentraleSupélec, Université Paris-Saclay（MICS，CentraleSupélec，巴黎萨克雷大学） ； LIVIA, ILLS, ÉTS Montréal（LIVIA，ILLs，蒙特利尔ÉTS）
专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 针对视觉语言模型测试时提示调优中校准被忽视的问题，提出基于Huber的正则化方法SoC，在保持语义邻近性的同时实现平滑的原型分离，从而改善校准性能并保持判别能力。
Journal ref CVPR 2026
KSAFE-MM：通过本地化语境化实现韩国文化风险的多模态安全基准
机构 * Korea University（韩国大学） ； KT Corporation（KT公司）
专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)
AI总结 针对多模态大语言模型在安全评估中缺乏文化特异性问题，提出KSAFE-MM基准，通过语言和视觉语境化构建通用与韩国文化特有的多模态安全测试集，揭示模型对文化攻击的脆弱性及安全性与过度拒绝之间的权衡。
当图文推理遇上安全：什么决定了多模态越狱鲁棒性？
机构 * Independent Researcher（独立研究者） ； Stanford University（斯坦福大学） ； Harvard University（哈佛大学） ； Purdue University（普渡大学） ； Duke University（杜克大学）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文研究多模态大语言模型中不同图文推理范式对越狱鲁棒性的影响，发现显式图像工具交互能显著降低攻击成功率，并通过引入图像工具安全向量框架从表征层面解释其机制。
Comments 17 pages, 6 figures, 7 tables
AgenticVBench: AI代理能否完成真实的后期制作任务？
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)
AI总结 本文提出AgenticVBench基准，包含100个来自真实后期制作流程的代理任务，评估多模态AI代理的复合能力，发现最佳代理栈性能仅略超30%，远低于人类专家。
Comments 22 pages, 6 figures. Benchmark website: https://agenticvbench.com
SafeMed-R1: 临床医生审计的安全与伦理对齐用于医疗大语言模型
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Joint Laboratory of Biomedical Artificial Intelligence（生物医学人工智能联合实验室） ； Shanghai Institute of Infectious Disease and Biosecurity（上海传染病与生物安全研究院） ； Shanghai Health Development Research Center (Shanghai Medical Information Center)（上海健康发展战略研究中心（上海医疗信息中心）） ； University of Washington（华盛顿大学） ； Department of Eye and Vision Sciences, University of Liverpool（利物浦大学眼科与视觉科学系） ； Liverpool Centre for Cardiovascular Science, University of Liverpool（利物浦大学心血管科学中心） ； School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI
AI总结 提出SafeMed-R1模型，通过可追溯的临床信任信号管道和红队压力测试实现安全与伦理对齐，在临床基准上达到79.6%的宏平均准确率，并将不安全输出减少约3-5%。
相关并不保证：引用RAG的证据力度校准
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Dartmouth College（达特茅斯学院） ； Cornell University（康奈尔大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Glasgow（格拉斯哥大学）
专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI
AI总结 针对引用RAG中证据力度不足的问题，提出FORCEBENCH基准测试，通过对比证据校准声明与力度增强变体，评估模型在五个操作轴上的单调性，发现标准支持提示不足以校准证据力度。
微调视觉语言模型以理解当前损伤并使用质量卫士代理进行优先级评分
专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本文通过微调LLaVA-1.5-7B视觉语言模型，结合规则引擎和质量卫士代理，实现了桥梁损伤自动理解与修复优先级评分，有效降低了评分变异并提升了效率。
Comments 23 pages, 11 figures, 13 tables
面向视觉语言模型的以对象为中心的视觉令牌剪枝
机构 * Aalto University（阿alto大学） ； University of Electronic Science and Technology of China（电子科学与技术大学） ； Delft University of Technology（代尔夫特理工大学）
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出OC-VTP方法，通过轻量预训练以对象为中心的视觉令牌剪枝器，直接选择最具代表性的视觉令牌，在保持高精度的同时提升VLM推理效率。
ICG: 通过基于MLLM的提示和个性化偏好对齐改进封面图像生成
机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Zhejiang University（浙江大学）
专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)
AI总结 提出ICG框架，利用多模态大语言模型和扩散模型，通过元标记提取语义特征、用户嵌入个性化对齐及多奖励学习策略，实现高质量、个性化封面图像生成。
Comments Published in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 12268-12278, EMNLP 2025. Official version: https://doi.org/10.18653/v1/2025.emnlp-main.617
Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (Main Track) EMNLP 2025 12268-12278
超越代理梯度：面向视觉-语言模型的完全可微分令牌剪枝
机构 * Shenzhen University of Advanced Technology（深圳大学先进技术学院） ； CUHK MMLab（香港中文大学MMLab） ； CPII under InnoHK（创新工场CPII）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出DiffPrune方法，通过将剪枝重新表述为令牌信息的连续控制而非离散选择学习，利用信息节流阀调节令牌，实现完全可微分的令牌重要性学习，在保持96.5%全模型精度的同时将LLM预填充加速2.85倍。
哪种预训练范式更有利于空间智能？视觉-语言模型与视频生成模型的实证比较
机构 * Zhejiang University（浙江大学） ； Om AI Research（Om人工智能研究） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院）
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 本文通过冻结特征探测研究，系统比较了视觉-语言模型（VLM）和视频生成模型（VGM）在语义标注、实例分组和3D几何预测三个空间智能维度上的表现，发现两者互补且简单融合可提升整体性能。
Comments Code is here: \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM}
仅文本数据合成用于视觉语言模型训练
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Great Bay University（大湾大学）
专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出一个跨集成的三阶段多模态数据合成框架，仅从文本生成高质量多模态训练数据，用于视觉语言模型的预训练和指令微调。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈