AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
从失败分类到干预：面向视频和直播平台审核的工业级AVLM诊断方法
机构 * TikTok ； The University of Sydney（悉尼大学）
专题命中 多模态评测 ：multimodal(abstract)；audio-visual(abstract)
AI总结 提出一种工业级音视频语言模型（AVLM）诊断方法，通过失败分类法将模型失败映射为可观察的失败特征，并链接到干预空间，应用于大规模视频和直播平台的模型开发与对齐。
超越2D匹配：用于几何感知跨视角目标地理定位的统一单阶段框架
机构 * Beihang University（北航） ； Meituan（美团）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出GAGeo单阶段框架，利用3D基础模型和对比损失，结合多模态提示和相机位姿，实现跨视角目标地理定位，显著优于现有方法。
MuseBench: 多模态大语言模型中意图级视听艺术理解的基准测试
机构 * NTU Singapore（南洋理工大学） ； The University of Hong Kong（香港大学） ； Johns Hopkins University（约翰霍普金斯大学） ； AI2（人工智能研究所） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出MuseBench基准，通过4016道涵盖电影、视觉艺术、舞台表演和游戏艺术的选择题，评估多模态大模型对艺术创作意图的理解，发现最佳模型准确率仅48.29%，远低于人类专家的87.18%。
Comments Project page: https://musebench.github.io
Latent-CURE：用于乳腺癌诊断的潜在空间推理框架
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大模型在乳腺癌超声诊断中因数据不平衡而忽略罕见恶性特征的问题，提出基于潜在空间非对称加权思维链的Latent-CURE框架，强制模型先推断BI-RADS形态描述符再诊断，并采用双非对称优化策略保护恶性特征，实现透明且鲁棒的诊断。
Comments 11 pages, 4 figures, 3 tables. Accepted to MICCAI 2026
OCR-VLM能阅读天城文吗？一项压力测试基准与后纠正研究
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 本研究通过合成退化条件和真实扫描图像，系统评估了10种OCR系统在天城文（印地语）上的表现，发现专用OCR-VLM在退化条件下最脆弱，真实扫描性能远低于合成文本，并提出了错误分类和后纠正方法。
Comments 9 pages, 5 figures. Benchmark and code released
SA-Homo：面向尺度变化场景的自适应单应性估计
机构 * University of Electronic Science and Technology of China（电子科技大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Institute of Technology（北京理工大学）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出SA-Homo框架，通过分层尺度对齐策略（全局SDBM模块与局部IHERM模块）解决大尺度差异下的单应性估计问题，在8倍尺度差异下仍保持高精度，并贡献了HMSA数据集。
SADL：该忽略什么？面向主体感知的干扰物定位基准
机构 * University of Science（科学大学） ； Vietnam National University Ho Chi Minh City（越南胡志明市国家大学） ； University of Information Technology（信息技术大学） ； John Von Neumann Institute（约翰·冯·诺依曼研究所）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出SADL基准，包含1,800个主体感知案例，用于评估视觉语言模型在干扰物定位中的排除校准能力，揭示模型过度排除的问题。
OmniCoT: 全局与多步骤全景推理基准
机构 * MBZUAI ； Shanghai AI Lab（上海人工智能实验室）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出OmniCoT基准，通过链式思维标注和两阶段训练策略，增强多模态大模型在全景图像中的全局多步推理能力。
SciIR：面向科学图像推理生成的大规模训练数据集与基准
机构 * School of Computer Science and Technology, Huazhong University of Science and Technology, China（华中科技大学计算机科学与技术学院，中国） ； School of Airspace Science and Engineering, Shandong University, China（山东大学航空航天科学与工程学院，中国） ； Department of Electronic Engineering, Tsinghua University, China（清华大学电子工程系，中国）
专题命中 多模态评测 ：image-text(abstract)；分类 cs.CV
AI总结 为解决文本到图像模型在科学图像生成中语义对齐与逻辑推理不足的问题，构建了包含8万+高质量科学图像-文本对的SciIR-82k数据集，并提出三层次科学推理框架及可验证评估基准SciIR-Bench，微调模型Qwen-Image-SciIR在基准上得分从35%提升至43%。
Comments Accepted to ECCV 2026
Rigel: 基于自蒸馏分数自适应的图像与视频字幕评估
机构 * Keio University（Keio大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出Rigel评估指标，通过自蒸馏从冻结LLM提取评估专用评分头，解决大词汇语言模型与小标签集不匹配问题，在视频字幕评估中超越现有方法。
自适应LLM代理中评估器驱动偏好动态的诊断框架与多评估器审计
机构 * Qilu Institute of Technology, School of Software Engineering（青岛理工大学软件学院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL
AI总结 提出EPC诊断框架，包含多模态偏好崩溃指数、评估器索引耦合矩阵和JS散度，通过8个实验条件揭示GPT-4o版本漂移导致评估结论反转，证明单一快照评估研究不可靠。
Comments 9 pages, 4 figures, 6 tables
用于评估微服务故障诊断中LLM智能体的多数据集基准
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 提出基于推理过程评估的基准，包含两个大规模数据集（AIOps2025和RCA100），从定位、识别和原因三个维度评估智能体诊断能力，覆盖500多个专家标注的故障案例。
Comments 10 pages, 6 figures, 6 tables
基于信息几何的事件叙事提取中复合一致性的证明
专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CL
AI总结 针对图叙事提取中一致性度量的信息论缺失，从信息几何角度解释复合度量C=√(A·T)，并证明几何均值组合器满足四个自然公理，实验验证其有效性。
Comments Accepted to publication in Entropy on June 24, 2026
基于LLM探针的主要ICD类别预测
机构 * Department of Statistics, Pennsylvania State University（宾夕法尼亚州立大学统计学系） ； Department of Biostatistics, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校生物统计学系） ； Department of Statistics and Operations Research, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校统计学与运筹学系）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本研究利用冻结的医学大语言模型表示作为共享嵌入空间，通过线性探针融合结构化变量和临床叙述，实现多模态主要诊断类别预测，在MIMIC-IV上达到87.69%的严格准确率。
Comments 9 pages, 2 figures. Supplementary materials provided as an ancillary file
RA-QA：一种用于在现实世界异质性下呼吸音频问答的基准系统
专题命中 多模态评测 ：multimodal(abstract)；分类 eess.AS
AI总结 本文提出RA-QA基准系统，通过标准化数据生成流程和统一评估协议，整合900万组异构问答对，评估通用音频语言模型和领域特定架构在现实异质性下的表现。
在物理教育中使用大型语言模型
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本研究评估了2024年中至2025年底发布的前沿大型语言模型在解决大学物理问题（经典力学、电磁学、量子力学）和自动评分方面的能力，发现文本推理接近饱和，多模态集成解决了空间几何限制，但部分评分仍存在挑战。
Comments 22 pages
生成搜索引擎中的标题注入用于优化
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本文提出Caption Injection，一种多模态G-SEO方法，通过提取图像标题并注入文本内容，提升生成搜索中的主观可见性，实验表明其在G-EVAL指标下优于文本-only基线。
Comments 24 pages, 4 figures, ECML PKDD 2026 Accepted
Eval-Actions: 针对机器人操作的细粒度执行质量评估
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本文提出Eval-Actions方法，通过专家评分、排名引导标签和思维链注释，对机器人操作策略的执行质量进行细粒度评估，包含13000+真实机器人片段，验证了其在任务完成中的有效性。
Comments Project Website at https://eval-actions.github.io/. Code is available at https://github.com/LogSSim/TERM-Bench.git
混合检索器演化：面向多模态文档推理代理
机构 * ServiceNow ； University of Washington（华盛顿大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出失败驱动的演化框架，让元代理自动学习任务代理如何协调多种检索器进行多步文档问答，实现自适应检索路由，在MMLongBench-Doc和DocBench上提升高达19.6分。
Comments 17 pages, 3 figures
DAIN: 基于动态智能体交互网络的高效协同多模态推理
机构 * University of Chinese Academy of Sciences（中国科学院大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出动态智能体交互网络(DAIN)，通过上下文感知元控制器动态调度专业交互智能体并压缩通信，实现高效协同多模态推理，在五个基准上取得最优性能。
Comments 19 pages
ReasonRec: 一种用于统一推荐的推理增强多模态智能体
机构 * Meta AI ； Michigan State University（密歇根州立大学） ； The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出ReasonRec，一种基于三阶段显式推理管道的多模态推荐智能体，通过推理感知视觉指令调优、证据-视野课程学习和不确定性引导委派机制，在五个数据集上实现排名指标相对提升超30%，推理延迟降低35%。
Comments The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)
通过通用关键帧提取桥接VideoQA和视频引导的智能体任务
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出VG-GUIBench基准和TASKER关键帧提取算法，联合考虑任务相关性和场景动态，在VideoQA和视频引导的GUI任务上提升性能。
Comments Accepted by ECCV 2026. Project Page: https://vg-gui-tasker.github.io/
MemLeak: 诊断多模态智能体记忆中的信息泄露
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 多模态Agent ：multimodal(title,abstract)
AI总结 提出信息溯源图（IPG）分类法，通过MemLeak基准测试发现多模态记忆系统中删除事实后仍可从保留图像中恢复信息，图像泄露率达12.0%，47%的泄露无法通过文本恢复。
Comments 23 pages, 3 figures, includes appendix
自进化智能体图像恢复：通过深思熟虑的规划与直觉执行
机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Life Sciences, Tsinghua University（清华大学生命科学学院） ； Intelligent Science & Technology Academy of CASIC（中国科学院 CASIC 智能科学与技术学院）
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV
AI总结 提出SEAR框架，将图像恢复建模为序列决策问题，采用直觉执行器与深思熟虑规划器，结合剪枝感知蒙特卡洛树搜索和自进化情景记忆，解决贪婪搜索和信息利用不足问题。
LLM引导的规划：多模态核监管文档的多跳推理
专题命中 多模态Agent ：multimodal(title)；分类 cs.AI
AI总结 提出LLM引导的规划方法，通过动态知识图谱状态和文档树工具，在多跳推理任务中实现81.5%准确率，显著优于无状态规划方法。
Comments Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond @ ICML 2026. 8 pages (main), 3 figures, 1 algorithm
一次前向胜过两次：InnerZoom 实现准确高效的 GUI 定位
机构 * Alibaba Group（阿里巴巴集团） ； Tongyi Lab（通义实验室） ； University of Technology Sydney（悉尼大学） ； Adelaide University（阿德莱德大学）
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出 InnerZoom 框架，通过跨层证据桥接在单次前向传播中实现精确 GUI 元素定位，无需额外裁剪重跑，在六个基准上达到最优性能，同时降低延迟和计算量。
辩论者混合：在多智能体推理中实现架构级别的辩论学习
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI、cs.MM
AI总结 提出Mixture of Debaters框架，通过混合专家范式在单一模型内实现动态自我辩论，解决静态架构和高计算开销问题，在多项基准上以更低延迟和令牌消耗取得更优性能。
当停止失效：通过人机交互自动驾驶重新思考安全交通系统的最小风险条件
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 分析自动驾驶车辆因停止行为导致的交通阻塞、应急干扰等事故，提出需从被动策略转向人机交互自主性，增强感知、规划与控制能力。
Comments 8 pages, 1 figure, Accepted to IEEE ITSC 2026
TACO：面向智能体工具使用的工具增强信用优化
专题命中 多模态Agent ：multimodal(abstract)
AI总结 提出TACO方法，通过差分答案探针奖励和结果门控优势路由，为代码工具智能体提供无监督工具贡献信用分配，提升多模态问答准确性并减少冗余工具调用。
KISS Sorcar：一个简单通用且软件工程友好的AI助手
专题命中 多模态Agent ：multimodal(abstract)
AI总结 KISS Sorcar基于KISS Agent Framework构建，通过五层代理架构解决传统AI助手的缺陷，实现高质量代码生成与多任务处理，测试显示其在Terminal Bench 2.0上的通过率较高。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈