AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
Geo-Embed：面向城市理解的统一多模态嵌入
专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.LG
AI总结 本文针对现有多模态嵌入模型难以支持异构地理空间任务的问题，提出GeoMEB基准与Geo-Embed模型，在GeoMEB上实现15.3%的相对性能提升，为地理空间嵌入器发展提供方向。
FAU参加2026年ImageCLEF多模态推理任务：鲁棒候选评分与简洁多语种视觉问答
机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG
AI总结 FAU提交的多模态推理系统，未做任务特定模型训练，在2026年ImageCLEF竞赛中，获Visual MCQ第三名、Visual OpenQA第一名，凸显推理工程的实用价值。
Comments 16 pages, 3 figures, 7 tables. CLEF 2026 Working Notes, ImageCLEF 2026 Multimodal Reasoning Task
LongChart VQA：面向具备复杂多图表推理能力的多模态大语言模型的综合基准
机构 * The University of Hong Kong（香港大学）
专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 LongChart VQA是面向具备复杂多图表推理能力的MLLMs的综合基准，该基准含平均6.5张图像与31.2个问题，评估10个SOTA MLLMs发现其准确率随计算复杂性提升下降，为多图表推理研究指明方向。
ORCA：面向无需训练的3D CT视觉令牌压缩的器官质心聚合方法
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 针对3D CT视觉令牌压缩的痛点，提出无需训练的即插即用ORCA方法，在多数据集、多任务上实现显著压缩比与速度提升，性能优于现有方法。
PosterHarness：将科学海报生成转变为可审计的指令跟随基准
机构 * School of Physics, Peking University（北京大学物理学院）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 研究针对文本丰富图像模型，缺乏衡量其是否遵循科学传播规范的方法这一问题，提出PosterHarness，将海报生成变为可审计任务，介绍核心方法，展示了相关实验发现及与其他方法的对比结果。
离散扩散语言模型用于交互式放射报告草稿生成
机构 * Stanford University School of Medicine（斯坦福大学医学院） ； Ghent University（根特大学） ； Stanford University（斯坦福大学）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI、cs.LG
AI总结 提出将离散扩散语言模型用于放射报告草稿生成，利用其任意顺序填充能力实现交互式编辑，在医学VQA任务上达到或超越自回归模型，解码速度快3.5-4.4倍。
通过平滑MMD对齐增强LLM中的数值预测
机构 * College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，成都，中国）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 针对LLM在数值预测任务中精度不足的问题，提出平滑最大均值差异（SMMD）方法，通过数值令牌的距离核和图平滑对齐预测分布，在数学推理等任务中显著提升准确率。
你到底有多确定？改进医学视觉问答中的口头不确定性校准
机构 * Politecnico di Milano（米兰理工大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG
AI总结 针对多模态大语言模型在医学VQA中过度自信的问题，提出基于复合损失函数的微调框架，通过校准项、锚定正则化、对比对齐和KL稳定项，将校准误差降低60%以上，判别力提升26%以上。
多模态大语言模型的置信度校准：基于医学视觉问答的实证研究
机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Zhihui Medical Technology (Shanghai) Co., Ltd.（智汇医疗科技（上海）有限公司）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型在医学任务中置信度与准确性不匹配的问题，提出结合多策略融合询问与专家大语言模型评估的方法，在三个医学VQA数据集上将期望校准误差平均降低40%，提升了模型可靠性。
Comments Accepted by MICCAI 2025
KeepLoRA++: 基于层级缩放残差梯度适应的持续学习
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education（东南大学计算机网络和信息集成教育部重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG
AI总结 针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突，提出KeepLoRA++，通过层级缩放残差梯度适应方法，限制LoRA参数更新到残差子空间并采用浅到深层缩放，平衡三者，在图像分类、视觉问答和视频理解任务上优于基线。
MVEB：大规模视频嵌入基准
机构 * Harvard University（哈佛大学） ； SaluteDevices ； MIRAI ； Zendesk ； Shanghai University of Finance and Economics（上海财经大学） ； Google LLC ； Salesforce ； Cornell University（康奈尔大学） ； Astera Institute（Astera研究院） ； Independent Contributor（独立贡献者） ； Indian Institute of Technology, Kharagpur（印度理工学院，克拉格浦分校） ； Barclays（巴克莱银行） ； Aarhus University（奥胡斯大学） ； Stanford University（斯坦福大学）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG
AI总结 提出MVEB基准，包含23个任务评估33种视频嵌入模型，发现无单一模型占优，音频贡献取决于标注来源，并集成到MTEB生态。
通过结构化内联引文生成实现显式证据基础
机构 * University of the Basque Country (UPV/EHU)（巴斯克大学） ； IT University of Copenhagen（哥本哈根IT大学）
专题命中 视觉问答 ：grounding(title)
AI总结 提出FullCite框架，通过提示生成、约束解码和后处理跨度对齐三种策略生成结构化内联引文，在三个QA基准上评估引文质量和忠实性，发现LLMs虽能识别相关文档但难以精确定位支持性证据跨度。
Qwen-MusicAVQA-7B：一种用于音乐音频-视觉问答的多模态模型
机构 * Inference Matter Labs（推理物质实验室）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 该研究提出轻量级多模态模型Qwen-MusicAVQA-7B，通过连接冻结的Whisper编码器与Qwen2-VL-7B-Instruct，在MUSIC-AVQA等基准上实现高准确率，训练成本低，且发现音频时间信息保留程度影响下游问答准确率。
Comments 24 pages, 1 figure, 8 tables. Code: https://github.com/MKDehdashti/Qwen2-vl-audio Checkpoints: https://huggingface.co/MayaKD/qwen2-vl-audio
TrustRoboReward：面向多范式机器人奖励模型的偏好有序保序分数编辑方法
机构 * Peking University（北京大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Southern University of Science and Technology（南方科技大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； Beijing Language and Culture University（北京语言大学） ； Sichuan University（四川大学） ； Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对现有机器人奖励模型的跨范式偏好与分数不一致问题，本文提出 TrustRoboReward 框架，通过 POISE 方法解决反转冲突，训练的 Qwen3-VL-4B 性能接近 GPT-5-mini，优于 RoboReward 基线。
Jako Tako 还是 Fluent？推出 PoVisLE：波兰语视觉-语言评估基准
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 针对现有英语中心视觉-语言模型在文化理解上的不足，推出波兰语单文化视觉-语言基准 PoVisLE，含1117张图像与2366对标注VQA样本，可评估深层文化多模态理解。
Comments 28 pages. Preprint under review
生成式嵌入基准：密集嵌入中保留了多少信息？
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 该研究提出Generative Embedding Benchmark（GEB），通过仅用嵌入和问题文本的解码器评估7种嵌入模型，发现生成式读出能揭示可分性评估未捕捉的信息瓶颈，视觉语言模型嵌入表现更优。
一次思考足矣：面向高分辨率视觉问答的中间层证据路由
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 本文针对高分辨率视觉问答提出无需训练的Thinking-Once证据路由方法，通过利用中间层留存的细粒度证据，在多个基准上提升性能并降低内存与推理时间。
极简RAG的模型：B1ade 335M嵌入模型与1B参数小型语言模型
机构 * Amazon（亚马逊公司）
专题命中 视觉问答 ：grounding(abstract,abstract_cn)；分类 cs.AI
AI总结 该研究提出含B1ade-embed嵌入模型与B1ade-1B小型语言模型的高效极简RAG架构，其在多QA基准及RAG评估中表现优异，还涌现出无明确监督的来源引用能力，验证了资源高效RAG的可行路径。
Comments 28 pages, 3 figures. Submitted to COLM 2026
VIABench：一个从视障人士收集的用于视障辅助的综合视频基准测试
机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 针对视障人士视觉信息获取难及多模态大语言模型在视障辅助中实用价值待探索的问题，引入VIABench视频基准测试，定义三个核心任务，提出严格测试流程，实验表明当前模型对视障人士支持不足，有望推动定制模型开发以改善其体验。
EvoGraph-R1：用于智能检索的自进化多模态知识超图
机构 * Northwestern Polytechnical University（西北工业大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The University of Hong Kong（香港大学） ； Monash University（莫纳什大学） ； The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
专题命中 视觉问答 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 研究针对现有GraphRAG方法将知识图视为静态数据结构的局限，提出EvoGraph-R1自进化框架，把检索建模为MDP，智能体通过多种操作使超图结构进化以支持多跳推理，实验证明该方法在多模态问答基准测试中大幅优于现有基线。
Comments 10 pages main paper, 6 figures. CVPR 2026 accepted paper
ReScene: 基于多视角图像的结构化室内场景重建
机构 * School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身智能研究院）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 提出ReScene框架，通过层级视图选择和关系感知组装，解决多视角场景重建中跨视角关系融合与物理一致性难题，在ScanNet上实现几何、渲染和感知质量的最优性能。
AirGroundBench: 异构多视角具身协作下多模态大模型的空间智能探测
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； QiYuanLab（启元实验室） ； Tsinghua University（清华大学） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 提出AirGroundBench基准，通过异构无人机-无人车协作的多视角任务（10类、约6.2万道视觉问答和115个导航任务），系统评估多模态大模型在空间感知、跨视角对齐、空间变换推理和具身决策中的几何一致性，发现模型在跨视角对齐和变换推理上存在瓶颈。
SingGuard: 一种策略自适应的多模态大语言模型护栏，具有动态推理能力
机构 * AI Security Lab, Ant Group（蚂蚁集团AI安全实验室）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出SingGuard，一种策略自适应的多模态护栏模型，通过将策略作为运行时输入，支持快速、混合和慢速推理模式，实现动态规则下的安全评估，在多个基准上取得最优F1。
在自进化大型多模态模型中更加关注视觉标记
机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Aalto University（阿尔托大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林雪平大学）
专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 提出VISE框架，通过几何不变性和语义不变性奖励直接正则化视觉条件策略，解决自进化LMMs中视觉欠条件问题，在无监督设置下提升视觉语言理解。
Comments ECCV 2026
DocArena：将原始文档转化为可控的训练环境用于文档搜索代理
机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Adobe Research（Adobe研究院）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出DocArena自动化流程，通过多模态文档结构化、推理型QA对构建和质量控制，生成可控训练环境，使基于文本LLM的搜索代理在多模态文档检索和问答中取得最佳性能。
Comments search agent for documents
我们到了吗？探索多模态大语言模型在辅助人工智能应用中的能力
机构 * IIT BHU India（印度理工学院瓦拉纳西校区） ； CVIT, IIIT Hyderabad India（印度海得拉巴国际信息技术学院计算机视觉与信息技术中心）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 本文通过真实世界任务评估多模态大语言模型在辅助AI中的表现，开发NetraLink系统收集基准数据，揭示其优势与局限。
基于全局地图与局部视图的多视角3D推理的密集奖励
机构 * Graduate School of Artificial Intelligence, KAIST, Republic of Korea（韩国科学技术院人工智能研究生院） ； KRAFTON, Republic of Korea（韩国KRAFTON公司）
专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV
AI总结 提出DR-MV3D框架，通过全局一致性奖励和局部轨迹奖励对多视角3D VQA的中间推理过程进行密集监督，提升跨视图推理一致性。
Comments ECCV 2026
语言引导的视觉嵌入用于可控且可泛化的感知
机构 * Google（谷歌）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 提出语言引导视觉嵌入（LIVE）方法，利用语言动态引导视觉编码器生成任务中心嵌入，无需任务特定重训练，减少视觉幻觉并提升泛化能力。
Journal ref Published as a conference paper at ICLR 2026
VLA 甚至知道基础知识吗？衡量视觉-语言-动作模型中的常识和世界知识保留
机构 * CogAI Lab（CogAI实验室） ； FusionBrain Lab（FusionBrain实验室） ； IAI MSU（MSU人工智能研究所） ； Lomonosov MSU（Lomonosov莫斯科大学） ； NUST MISIS ； Applied AI Institute（应用人工智能研究所） ； HSE University（俄罗斯高等经济大学） ； Generalizable AI Systems（可泛化人工智能系统） ； ISP RAS（俄罗斯科学院信息与自动化过程研究所） ； MIRAI ； Domain-specific NLP Group（领域特定自然语言处理小组）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.LG
AI总结 提出 Act2Answer 协议，通过动作回答评估 VLA 模型的知识保留，发现模型在简单概念上表现良好，但在丰富语义类别上存在差距，且 VQA 联合训练有助于知识保留。
Comments Project page: https://tttonyalpha.github.io/act2answer/
上下文感知强化学习用于智能体与多模态大语言模型
机构 * Princeton University（普林斯顿大学） ； UC Davis（加州大学戴维斯分校）
专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV
AI总结 提出ContextRL方法，通过间接辅助目标（上下文选择奖励）增强大模型在长上下文和多模态任务中的细粒度推理能力，在5个长程基准和12个视觉问答基准上分别提升+2.2%和+1.8%。
Comments 29 pages, 9 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈