AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
ELF：无编码器心电图语言模型家族
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Allegheny Health Network（阿勒格尼医疗网络） ； University of California Los Angeles（加州大学洛杉矶分校） ； University of Colorado（科罗拉多大学） ； Allergy and Immunology（过敏与免疫学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM
AI总结 提出三种无编码器架构的ECG语言模型ELF，简化架构和训练流程，在两个数据集上达到或超越现有最优模型。
Comments 34 pages, 12 figures; Accepted to MLHC 2026
基于大语言模型的强化学习音频视觉语音增强
机构 * Department of Electrical Engineering, National Taiwan University, Taiwan（台湾大学电子工程系） ； Research Center for Information Technology Innovation, Academia Sinica, Taiwan（中央研究院资讯科技创新研究中心） ； Center for Hearing Research, University of California Irvine, USA（加州大学尔湾分校听力研究中心）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.AI、eess.AS
AI总结 本文提出基于大语言模型的可解释奖励模型的音频视觉语音增强框架，利用语言模型生成语音增强的自然语言描述，并通过情感分析模型转换为评分作为PPO奖励，提升语音质量评估效果。
Comments 6 pages, 4 figures, Accepted by Interspeech 2026
在潜在空间中通过跨模态对齐实现精确的视频到音频生成
机构 * FPT Software AI Center（FPT软件人工智能中心） ； NVIDIA Corporation（NVIDIA公司）
专题命中 音频语音多模态 ：cross-modal(title)；audio-visual(abstract)；分类 cs.MM
AI总结 研究视频到音频生成问题，提出Flowley架构，结合视觉特征与文本提示，通过渐进软掩码交叉注意力实现视听同步，无额外计算成本，还提出SoundCap字幕，该方法在多个指标及零样本音频质量上达先进水平。
Comments Accepted to ECCV 2026
连接多模型数据：俄罗斯国内与对外政策演讲
机构 * University of Delaware, Department of Political Science & International Relations（德克萨斯大学，政治科学与国际关系系） ； University of Delaware, Masters of Science in Data Science Program（德克萨斯大学，数据科学硕士项目） ； University of Delaware, Department of Computer & Information Sciences（德克萨斯大学，计算机与信息科学系） ； University of Pennsylvania, Department of Political Science（宾夕法尼亚大学，政治科学系）
专题命中 音频语音多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL
AI总结 本文介绍了一个连接多模态政治通讯的数据集，涵盖俄罗斯政府多个 decades 的官方演讲，提供俄语和英语文本、图像及注释，并通过 transformer 多模态模型进行主题标注，支持政治通讯的多模态分析。
移动-然后-操作：用于类人机器人操作的行为相位
机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China.（杭州高等研究院，中国科学院大学，中国杭州） ； University of Science and Technology of China, Hefei, China.（中国科学技术大学，中国合肥） ； School of Aritificial intelligence, Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing, China（人工智能学院，人工智能研究院，北京科技大学，中国北京）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)
AI总结 本文提出Move-Then-Operate框架，将机器人操作分为粗略移动和接触关键交互两个阶段，通过双专家策略提升操作精度与效率。
Comments 15 pages, 10 figures
纠正注意力分散引起的视觉模糊以减少幻觉：算法与理论
机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文揭示多模态大语言模型中的物体幻觉与类人注意力分散现象相关，并提出一种无需额外训练的注意力聚焦方法（AFIP）通过跨头注意力增强和动态历史注意力强化来纠正视觉模糊，从而减少幻觉。
Journal ref ICML2026
MotuBrain: 一种先进的世界动作模型用于机器人控制
机构 * MotuBrain Team（MotuBrain团队）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 MotuBrain提出一种统一的世界动作模型，结合视频和动作，支持多项任务，实现高效部署和高精度控制。
LaME: 通过信息瓶颈在潜在空间中进行多模态嵌入的推理学习
机构 * University of Science and Technology of China（中国科学技术大学） ； Kuaishou Technology（快手科技） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学）
专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出LaME方法，将面向嵌入的潜在推理建模为弱监督信息瓶颈，使用可学习推理令牌在单次前向传播中完成推理，避免显式CoT的高计算成本和标注依赖，实现60倍加速。
基于视觉感知的多模态大语言模型条件编辑扩散的视频率流式风格化：蒸馏UNet + MLLM文本编码器上的非对称批处理推理
机构 * Independent researcher（独立研究员）
专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV
AI总结 针对蒸馏扩散模型中文本编码器成为瓶颈的问题，提出一种结合非对称CUDA流水线、编译友好的ControlNet-LLLite重构和周期性条件刷新调度的流式管线，在消费级GPU上实现视频率实时风格化编辑。
Comments 14 pages, 4 figures, 13 tables. Code, evaluation harness, and the released Temporal LLLite adapter weights are at https://github.com/otanl/dreamlite-stream (also mirrored to Hugging Face and Zenodo)
Hallo4D：用于一致时空生成的多模态幻觉缓解
机构 * Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghaitech University（上海科技大学）
专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对3D和4D内容生成中的时空幻觉问题，提出Hallo4D框架，利用多模态语言模型，通过生成-检测-校正范式及多种技术提升一致性，实验证明其在多样生成设置下优于基线，提供了可扩展通用的一致性感知内容生成方案。
通过能力导向的基准和MCTS驱动的数据生成推进多模态评判模型
机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动）
专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出M-JudgeBench和Judge-MCTS框架，通过能力导向的基准和MCTS驱动的数据生成提升多模态评判模型的评估能力。
GDP.pdf：针对专业PDF文档的基础多模态推理基准测试
机构 * Surge AI
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 该研究针对专业PDF文档构建多模态推理基准测试GDP.pdf，由专业人员编写问题-文档对，通过严格筛选保留问题，有详细评分标准和能力分类。评估七个前沿模型，发现多数错误源于特定模式，公开了完整基准测试。
Comments 9 pages. v2: results updated to July 2026 leaderboard (17 models). Accepted at the 2nd Workshop on Knowledge-Intensive Multimodal Reasoning (KnowledgeMR) at CVPR 2026 (non-archival), under the former title "PDFParse: A Benchmark for Grounded Multimodal Reasoning over Professional PDF Documents". Dataset: https://huggingface.co/datasets/surgeai/GDP.pdf ; Code: https://github.com/surge-ai/gdp-pdf
BenthiCat：用于推进底栖生物分类和栖息地测绘的光声数据集
机构 * Computer Vision and Robotics Research Institute, University of Girona, Spain（计算机视觉与机器人研究研究所，加泰罗尼亚大学）
专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 为解决底栖生物分类和栖息地测绘领域大型标注数据集稀缺问题，本文介绍含约百万侧扫声纳图块等的多模态数据集，通过空间关联促进跨模态学习，提供工具，旨在建立标准化基准推动相关领域进步。
Comments Article under review by Earth System Science Data (ESSD)
NeSy-Route：一种用于遥感约束路径规划的神经符号基准
机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学） ； School of Artifical Intelligence, Nanjing University, China（人工智能学院，南京大学） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 NeSy-Route是一个大规模神经符号基准，用于评估遥感中的约束路径规划能力，通过自动化数据生成框架和三级评估协议，全面测试多模态大语言模型的感知、推理和规划能力。
Comments Accepted by ECCV2026
1D-Bench: 一个用于具有实时反馈的现实世界迭代UI代码生成的基准
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 1D-Bench通过现实电商工作流提供迭代UI代码生成基准，测试模型在中间表示缺陷下的鲁棒性，实验表明迭代编辑能提升渲染成功率和视觉相似性。
克服情境差距以实现上下文辅助预测
机构 * ServiceNow Research（ServiceNow研究） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克AI研究所）
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本文提出半合成数据增强方法，生成高质量上下文以提升上下文辅助预测性能，构建了700万规模的数据集，并验证了其在真实场景中的有效性。
火灾作为服务：通过热力学和视觉准确的火灾动力学增强机器人仿真器
机构 * Department of Computer Science, Kiel University（基尔大学计算机科学系） ； Department of Computer Science, George Mason University（乔治·马歇尔大学计算机科学系）
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本文提出Fire as a Service框架，通过高保真火灾模拟提升机器人仿真器的热力学和视觉准确性，支持生成真实火灾环境下的训练数据和热危害评估。
自我在空间中：无人机具身智能中的自我意识与空间认知基准测试
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Hunan Normal University（湖南师范大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对无人机具身智能中自我意识与空间认知问题，引入SIS - Bench基准，通过多维度层次评估，揭示现有模型局限，探索运动感知表征提升性能，强调自我意识重要性，提供新基准和实证依据。
Comments Website:https://choucisan.github.io/publications/self-in-space ; Code:https://github.com/IntelliSensing/Self-in-Space
超越描述：为具身智能体进行细粒度动作的认知基准测试
机构 * Zhejiang University（浙江大学） ； Wolf 1069 b（沃尔夫1069b） ； Sany Group（三一集团） ； The Hong Kong Polytechnic University（香港理工大学） ； Imperial College London（帝国理工学院）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出CFG-Bench基准测试，旨在评估具身智能体在物理交互中的细粒度动作能力，揭示现有MLLMs在高层次推理中的不足，并通过监督微调提升其性能。
Comments Accepted to ECCV2026
零权限操纵：我们能否信任由大型多模态模型驱动的GUI代理？
机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Hornor Device Co., Ltd（Hornor设备有限公司） ； Institute of Dataspace, Hefei Comprehensive National Science Center（数据空间研究所，合肥综合性国家科学中心）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 研究揭示了由大型多模态模型驱动的GUI代理在Android中存在视觉原子性假设的漏洞，通过零权限攻击实现对代理执行的重新绑定，并利用意图对齐策略绕过验证门，展示了代理-操作系统集成中的安全缺陷。
重新思考时间序列的多模态融合：文本模态需要受约束的融合
机构 * LG AI Research（LG人工智能研究）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 针对多模态时间序列预测中朴素融合方法效果不佳的问题，提出受约束融合方法及受控融合适配器（CFA），通过低秩适配器过滤无关文本信息，在多种数据集和模型上验证了有效性。
Comments KDD Workshop on Mining and Learning from Time Series 2026 (Oral presentation)
多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化
机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。
Inverse-LLaVA：通过文本到视觉映射重新思考多模态对齐
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究重新审视多模态学习中传统映射方向，提出Inverse-LLaVA架构，通过文本到视觉映射反转方向。该架构无需对齐预训练，在多模态基准测试中展现强大学习效率，为多模态架构设计开辟新方向，解耦表示结构与监督方式。
Comments 19pages, 3 figures
Traffic-CBM：一种结构可解释的多模态加密流量分类框架
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出Traffic-CBM框架，通过统一层次化概念空间组织多模态流量证据，实现结构可解释的加密流量分类，性能与端到端模型相当且解释性更强。
Comments 14 pages, figures and tables
DynTrace：用于多模态大语言模型中4D时空推理的动态对象证据跟踪
机构 * Xiamen University（厦门大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； China University of Mining and Technology（中国矿业大学） ； Shenzhen Technology University（深圳技术大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对多模态大语言模型在连续动态场景感知中跟踪动态对象证据的局限，提出DynTrace框架，含DTV和DT-Token两个互补组件，能为模型提供基于几何视觉先验和结构化时空轨迹的动态对象证据，在多个基准测试中达先进水平。
Comments Accepted by ACM MM 2026
用于IWSLT 2026指令跟随任务的NAVER LABS系统重新实现
机构 * NAVER LABS（NAVER实验室） ； Florida State University（佛罗里达州立大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL
AI总结 该研究为IWSLT 2026共享任务重新实现NAVER LABS系统，采用规定组件，保留三阶段方法，构建合成示例用于微调，其主要模型在EN-ZH语音翻译和英语SQA任务中取得了一定成绩。
AvAtar: 通过主动最优输运学习对齐
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Florida（佛罗里达大学） ； Arizona State University（亚利桑那州立大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 提出AvAtar框架，利用主动学习策略通过熵正则化最优输运的梯度影响量化候选点信息量，并采用伴随状态法高效求解，以提升对齐性能。
Comments Published as a conference paper at ICML 2026
Infinity-Parser2技术报告
专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 针对文档解析语料库稀缺问题，Infinity-Parser2结合可控数据合成与多任务强化学习。贡献包括构建合成引擎及开源语料库，引入多任务奖励系统，发布Infinity-Parser2-Flash和Infinity-Parser2-Pro两个变体，后者在多项任务中达先进水平。
基于射频信息的图神经网络用于准确且数据高效的电路性能预测
专题命中 其他多模态 ：multimodal(abstract)
AI总结 本文提出基于射频信息的图神经网络框架，用于高效预测射频电路性能，实现高精度和低数据需求的自动化设计。
Comments This work is undergoing formal peer review process at IEEE for possible publication
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈