AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
VLM能稳健推理吗？一项神经符号研究
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Edinburgh（爱丁堡大学）
专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 研究视觉语言模型在分布偏移下的推理稳健性，提出结合VLM概念识别与电路符号推理的神经符号方法VLC，在三个视觉演绎推理任务上实现更高的分布外准确率。
Comments TMLR 2026
看见不等于共享：一些视觉-语言模型在非对称对话中高估共同基础
机构 * Utrecht University（乌得勒支大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.AI
AI总结 研究视觉-语言模型在对话中是否混淆潜在共享与已共享信息，发现模型过度依赖地图内容预测对齐，忽视对话历史中的基础建立过程。
Comments 17 pages, 9 figures, 8 tables; accepted to SIGDIAL 2026
简洁是推理效率的灵魂：通过数据策展诱导VLM的简洁性
机构 * DatologyAI
专题命中 VLM训练与架构 ：VLM(title_cn,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出通过预训练数据策展诱导视觉语言模型输出简洁答案，从而降低推理成本，在保持精度的同时实现35倍成本优势。
Comments 36 pages, see https://datologyai.com for more information
惊喜作为可塑性和元认知的信号
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出预测误差信号可作为可塑性门控和元认知基础，在冻结编码器上实现持续学习与视觉语言模型自适应，实验证明其有效性。
InstanceControl: 无需实例标注的可控复杂图像生成
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； HUAWEI Noah’s Ark Lab（华为诺亚方舟实验室）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出InstanceControl方法，利用视觉语言模型自动建立文本与视觉条件间的实例对应，无需人工标注，通过自适应掩码细化策略实现复杂多实例场景的精确可控生成。
SMART: 在什么情况下扩展推测树实际上是有价值的？
机构 * Singapore Management University（新加坡管理大学）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；MLLM(abstract_cn)；分类 cs.AI
AI总结 SMART系统通过运行时树构建优化，提升生成速度，通过边际效益-成本分析，在不同硬件和批量规模下实现平均20%的额外加速。
Comments Accepted by ECCV 2026
ADAPT: 通过偏好调优实现注意力动态对齐以增强多模态大模型的忠实性
机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室）
专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大模型生成中的幻觉问题，提出ADAPT框架，通过跨注意力视觉锚点、注意力监督推理和视觉注意力引导DPO直接干预文本到图像的跨注意力动态，在多个基准上将幻觉率降低40%-60%。
Comments Accepted by ECCV 2026
Goku：百万级通用指令视频编辑数据集与基准
机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent Hunyuan（腾讯混元）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出首个百万级多任务视频编辑数据集Goku，包含200万高质量指令对齐对，并设计高效数据合成流程和渐进过滤系统，基于此提出双分支模型Goku-Edit及包含1000个测试用例的基准Goku-Bench，在指令遵循上提升8%。
Comments Project Page: https://flying-sky999.github.io/Goku.github.io/
Arena-T2I Hard：基于依赖感知清单的忠实性基准测试与改进
机构 * Arena Intelligence Inc ； UCLA（加州大学洛杉矶分校）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对现有忠实性基准在复杂指令上的不足，提出310条压力测试提示集Arena-T2I Hard，并设计依赖感知清单奖励结合美学奖励，显著提升文本到图像模型的忠实性-美学权衡。
ReGRPO: 用于工具使用智能体的反思增强策略优化
机构 * Show Lab, National University of Singapore（新加坡国立大学Show Lab）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI
AI总结 提出ReGRPO框架，通过反思数据引擎和联合优化反射令牌与纠正动作，提升工具使用智能体在故障后的恢复能力，在GTA和GAIA上取得最佳效果。
CoDex: 无需演示学习组合式灵巧功能性操作
机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)
AI总结 提出零演示框架CoDex，结合视觉语言模型与强化学习，自主发现并执行涉及物体内部机制操控的灵巧操作策略，在多种工具任务中验证了其有效性。
Comments IEEE International Conference on Robotics and Automation (ICRA) 2026. Project page: https://robin-lab.cs.utexas.edu/CoDex/
LOPA：通过潜在序数原型对齐增强口语评估
机构 * National Taiwan Normal University（国立台湾师范大学）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)
AI总结 提出LOPA正则化器，在潜在空间施加序数几何先验，结合SALR自适应提取Whisper编码器多层表示，以0.361 RMSE媲美十亿参数系统，无需LLM微调。
ERA：基于熵引导的视觉令牌剪枝与修正注意力机制的高效多模态大语言模型
机构 * School of Future Technology, Dalian University of Technology（大连理工大学未来技术学院） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； OPPO Research Institute（OPPO研究院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 提出ERA框架，通过熵引导的视觉令牌剪枝和修正注意力机制，解决令牌减少导致的注意力对数坍塌问题，实现高效多模态大语言模型推理加速。
Comments 17 pages, 7 figures
UniCoder: 通过符号奖励和参考引导代码优化的统一视觉到代码生成
机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 提出UniCoder框架，通过符号属性对齐实现密集元素级奖励，并利用参考引导代码优化策略克服探索停滞，在多个基准上达到与专有模型相当的性能。
AC3S: 面向3D感知合成数据生成的自适应条件控制
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Johns Hopkins University（约翰霍普金斯大学） ； College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）
专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV
AI总结 提出AC3S框架，通过自适应条件控制模块调节ControlNet强度，结合多智能体视觉语言模型生成3D感知提示，实现高质量、结构对齐的合成图像生成。
Comments Accepted by ECCV 2026. Project page: https://ac3s.cvmlgroup.web.illinois.edu/
重新审视音频-语言预训练以学习通用音频表示
机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tencent AI Lab Seattle（腾讯AI实验室西雅图）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI
AI总结 本文通过构建大规模数据集CaptionStew并系统对比对比学习和字幕生成目标，揭示了音频-语言预训练在数据效率和可扩展性上的权衡，为通用音频表示学习提供了实证指导。
Comments ACL 2026 Main. Code available at https://github.com/AudenAI/Auden
TacGen: 触觉是物理世界表征的必要维度——通过可扩展的视觉到触觉对齐与生成解决触觉数据稀缺问题
机构 * University of Maryland, College Park（马里兰大学帕克分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Alabama（阿拉巴马大学） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学）
专题命中 VLM训练与架构 ：grounding(abstract)
AI总结 针对触觉数据稀缺问题，提出TacGen方法，通过视觉-触觉对比对齐和潜在空间残差MLP生成器合成触觉潜在表示，在质量、密度、硬度等物理属性预测上显著优于纯视觉模型，并大幅提升触觉操作性能。
Comments 49 pages, 29 figures
SysVCoder: 一种LLM驱动的系统级设计系统性生成框架
专题命中 VLM训练与架构 ：grounding(abstract)
AI总结 提出SysVCoder框架，通过两阶段生成流水线、规则对齐机制和领域特定检索增强生成策略，提升Verilog系统级设计的生成质量与效率，在功能正确性上优于现有方法。
Comments This paper is accepted at APPT'26
人工智能用于软件架构：文献综述与未来之路
专题命中 VLM训练与架构 ：grounding(abstract)
AI总结 通过系统文献综述，识别AI在软件架构中应用的14个主题领域和6个AI特有挑战，并基于实证访谈提出五大战略支柱的研究路线图。
Comments 37 pages, accepted for publication in TOSEM
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈