AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
SynIB: 多模态学习中最大化协同的信息瓶颈
机构 * University of California, Berkeley（加州大学伯克利分校） ； Google Research（谷歌研究院） ； University of Amsterdam（阿姆斯特丹大学）
专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)
AI总结 提出SynIB方法，通过信息瓶颈理论直接优化多模态协同，在训练中屏蔽单模态时惩罚高置信度，提升跨模态推理能力，在合成和真实任务上准确率提升达7.8%。
MemVenom：网络代理中多模态记忆的触发式投毒
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司）
专题命中 图文多模态 ：multimodal(title,abstract)
AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。
Comments Preprint. 27 pages, 6 figures, 6 tables
通过代理特定偏差校正提高视觉-语言预训练模型上的对抗迁移性
机构 * School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院） ； Purple Mountain Laboratories（紫金山实验室） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI
AI总结 提出DeBias-Attack方法，通过梯度校正消除代理特定偏差，提高对抗样本在VLP模型间的迁移性，实验验证其在多种模型和任务上的有效性。
Comments 17 pages, 7 figures, 10 tables
SD-GRPO：面向长格式视觉-语言生成的可验证片段分解
机构 * DEEPNOID Inc.（DEEPNOID公司）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出SD-GRPO方法，通过将长格式输出分解为片段并计算逐片段优势，解决GRPO在视觉-语言任务中粗粒度信用分配不足的问题，实验证明其在多种长格式生成任务中优于基线。
从感知到决策：多模态大语言模型中听觉与视觉感知的信息流
机构 * Surrey Institute for People-Centred AI (PAI)（萨里人本人工智能研究所） ； University of Surrey（萨里大学） ； Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心）
专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 研究多模态大语言模型（AVLLMs）中音频和视觉信息流的路径与整合机制，发现顺序流与并行流两种路由模式，并证明信息传递后可丢弃无关token以提升效率。
Comments 40 pages, 29 figures
音频-视觉交换感知令牌剪枝用于高效音频-视觉字幕生成
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 提出基于强化学习的AVEX-Prune方法，通过跨模态令牌交换策略选择高置信度令牌，在40%保留率下保持全令牌质量。
Spatial-Omni：通过FOA编码在多模态大语言模型中实现空间音频理解
机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文心）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS
AI总结 提出Spatial-Omni，通过SO-Encoder将一阶Ambisonics空间音频注入现有全模态大语言模型，以轻量方式实现空间音频理解，并在构建的SO-Bench基准上超越现有模型。
听、看、学：通过SAM-Audio实现无遗忘学习
机构 * University of Washington（华盛顿大学）
专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV
AI总结 提出一种利用SAM-Audio多模态先验的类增量学习方法，通过引导注意力机制和双层蒸馏策略，在音频-视觉场景中缓解灾难性遗忘，性能优于现有方法。
DeRA-MOS：通过解耦列表排序和模态对齐优化文本到音乐评估
机构 * E.SUN Financial Holding Co., Ltd.（E.SUN财务控股公司） ； United Link Co., Ltd.（联合链接有限公司） ； Institute of Information Science, Academia Sinica（学术院信息科学研究所） ； Department of Computer Science and Information Engineering, National Taiwan Normal University（台湾师范大学计算机科学与信息工程系）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI、cs.MM、eess.AS
AI总结 提出DeRA-MOS解耦优化框架，通过批感知列表排序损失和分数锚定模态对齐损失，分别优化音乐印象和文本对齐的排名指标，在MusicEval上显著提升评估性能。
Comments Accepted to IEEE Signal Processing Letters (SPL)
AuRA: 将音频理解内化到LLM中作为LoRA
机构 * Meituan（美团） ； Jilin University（吉林大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出AuRA方法，通过层间蒸馏将ASR编码器的语音表示内化到LoRA适配的LLM中，实现紧耦合的语音-语言联合建模和高效并行端到端推理，在多个基准上优于级联系统和现有适应方法。
Earth-OneVision：将遥感多模态大语言模型扩展到更多传感器模态和任务
机构 * National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing (SBIIP), Beijing Institute of Technology（北京理工大学空间智能信息处理国家重点实验室） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院） ； Key Laboratory of Technology in Geo-Spatial Information Processing and Application System, Chinese Academy of Sciences（中国科学院地理空间信息处理与应用系统技术重点实验室） ； Advanced Research Institute of Multidisciplinary Sciences, Beijing Institute of Technology（北京理工大学前沿交叉科学研究院） ； School of Mechatronical Engineering, Beijing Institute of Technology（北京理工大学机电学院） ； School of Earth and Space Sciences, Peking University（北京大学地球与空间科学学院） ； School of Electronics, Peking University（北京大学电子学院） ； School of Computer Science and Hubei Key Laboratory of Intelligent Geo-Information Processing（华中科技大学计算机科学与技术学院&湖北省智能地理信息处理重点实验室）
专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出Earth-OneVision，一个2B参数的RS-MLLM，通过全粒度视觉语言对齐、空间语言同构序列化和渐进式跨模态适应机制，统一六种传感器模态和九类任务，在多个基准上达到或超越4B-72B模型。
LongMoE：基于轨迹感知的混合专家模型的纵向多模态学习
机构 * German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出LongMoE框架，通过上下文感知插补、注意力标记化、轨迹感知编码和稀疏MoE路由，联合解决临床多模态学习中模态缺失和纵向动态两大挑战，在ADNI等数据集上验证了鲁棒性。
Kwai Keye-VL-2.0 技术报告
机构 * Kuaishou Group（快手集团）
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV
AI总结 提出开源MoE多模态基础模型Keye-VL-2.0，首次将DeepSeek稀疏注意力适配到GQA架构，支持无损256K上下文处理，并通过跨模态多教师策略蒸馏和上下文/视频强化学习解决多任务对齐中的灾难性遗忘，在长视频理解和智能体任务上达到同类最优。
Comments 31 pages, 11 figures
AnyMod-LLVE: 模态无关推理的低光照视频增强
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出AMNet统一多模态框架，通过空间-频谱双门控转换器学习辅助模态与RGB输入的对应关系，支持推理时任意模态组合，解决低光照视频增强中辅助模态缺失问题。
Comments Accepted at ICML 2026; Project page and code: https://lhfgghc.github.io/LLVE-AMNet
LAFP：通过流匹配在潜在策略学习中保留潜在动作结构
机构 * Fudan University（复旦大学） ； Morphi
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出LAFP方法，利用流匹配学习潜在策略，并引入推理时插值机制缓解随机性导致的错位，在模仿学习任务中成功率提升10-15%，推理开销增加不到1倍。
AllDayNav: 通过真实世界强化学习实现终身导航
机构 * Tsinghua University（清华大学） ； Galbot Robotics ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 提出AllDayNav框架，利用自进化多模态记忆和强化学习隐式编码场景动态，在跨房间、跨回合和跨任务场景中实现接近100%的成功率，超越基于地图、VLM和RL的基线方法。
Comments Project Page: https://bagh2178.github.io/AllDayNav/
基于开放世界接触定位的以手为中心的人到机器人轨迹迁移
机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
专题命中 视频多模态 ：multi-modal(abstract)
AI总结 提出HOWTransfer框架，通过接触定位从人类视频中提取接触感知的机器人轨迹，无需物体特定描述，在多样化操作任务中实现86%的成功率。
Rotate2Think：通过正交旋转进行几何提示以提升语言模型推理能力
机构 * Polytechnique Montréal（蒙特利尔综合理工学院） ； Mila - Quebec AI Institute（Mila-魁北克人工智能研究所） ； LAMA-WeST Lab（LAMA-WeST实验室） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI
AI总结 发现推理模型的输入嵌入与思考嵌入存在高锥度且方向非共线，提出无训练方法Rotate2Think，通过正交Procrustes分析估计旋转并注入合成思考向量，在30/32配置中提升数学、科学和代码任务准确率。
OMG: 面向通用人形机器人的全模态运动生成
机构 * Tsinghua University（清华大学）
专题命中 多模态生成 ：omni-modal(title,abstract)；multi-modal(abstract)
AI总结 提出OMG框架，通过精心策划的数据流程和扩散模型，实现基于语言、音频和参考动作的全模态全身控制，展示了最先进的性能和可扩展性。
Comments Project Page: https://tsinghua-mars-lab.github.io/OMG/
Lip Forcing: 用于实时唇部同步的少步自回归扩散
机构 * KAIST AI（韩国科学技术院人工智能） ； AIPARK
专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV
AI总结 提出Lip Forcing，首个用于视频到视频唇部同步的自回归扩散方法，通过蒸馏14B教师模型为因果学生模型，仅需两步去噪即可实现实时同步，并引入同步窗口DMD、两步推理计划和SyncNet奖励。
Comments Project Page: https://cvlab-kaist.github.io/LipForcing/
灵魂计算：具有独立意识的智能体的理论框架与技术架构
机构 * Innovation and Management Center, School of Software Technology, Zhejiang University (Ningbo)（浙江大学（宁波）软件学院创新与管理中心） ； School of Software Technology, Zhejiang University, Ningbo（浙江大学软件学院（宁波））
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出“灵魂计算”范式，区分狭义与广义概念，构建以意向性核心为特征的智能体架构，实现AI从工具到生命体的转变。
ECHO: 基于人在环操作的可解释协同编辑用于演示文稿优化
专题命中 多模态生成 ：multimodal(abstract)
AI总结 针对演示文稿创作中用户缺乏细粒度控制的问题，提出ECHO系统，通过多模态意图理解和可解释操作计划，结合“自然语言+视觉选择”范式和解耦的“计划-确认-执行”循环，实现可控的局部编辑，显著降低认知负荷并提升意图映射与空间定位准确率。
MMClima：多模态气候科学数据与评估框架
机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Missouri（密苏里大学）
专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出MMClima，一个包含10万+专家验证问答对的多模态气候问答框架，覆盖文本、视频和图表，用于评估多模态语言模型在气候科学中的表现。
第一人称视角下用于手部检测的多模态RGB和事件数据集
机构 * Zurich University of Applied Sciences（苏黎世应用科技大学）
专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV
AI总结 针对移动机器人系统中传统相机在暗光下运动模糊的问题，提出利用事件相机与RGB相机结合的多模态手部检测方法，并通过合成事件数据集实现与现有方法相当的性能。
WHU-Infra3D：面向3D路边基础设施清单的全栈多模态数据集与基准
机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS)（信息工程测绘遥感国家重点实验室） ； Wuhan University（武汉大学）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 提出WHU-Infra3D多模态基准数据集，覆盖三城市53.8公里，融合全景图像与LiDAR点云，提供2D-3D实例关联和跨帧跟踪，支持基础设施状态诊断与属性识别，填补自动化维护数据集空白。
AudioProcessBench: 音频基础推理中过程错误识别的基准
机构 * Monash University（墨尔本大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学-利物浦大学） ； Orygen（Orygen研究所） ； University of Melbourne（墨尔本大学）
专题命中 多模态评测 ：multi-modal(abstract)；omni-modal(abstract)
AI总结 提出AudioProcessBench基准，用于评估音频-语言模型在推理步骤中的过程错误识别能力，涵盖步骤正确性、错误类型检测和链级聚合三种范式。
视觉语言模型像工程师一样推理吗？一个基准测试与分阶段评估
机构 * Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 提出工程视觉问答基准EngVQA和8阶段自动评估框架，揭示当前视觉语言模型在工程推理中的显著局限，并验证了自动化评估与人工评分的高度一致性。
Comments 9 pages (main text), 4 figures, 2 tables; 50 pages total including appendix. The first two authors contributed equally
Sigma-Branch: 用于动态推理的分层单路径网络重构，减少活跃参数
机构 * Graduate School of Science and Technology, Keio University（Keio大学理工学院）
专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.AI
AI总结 提出Sigma-Branch框架，通过分层二叉树结构将预训练密集网络重构为共享主干、分层路由器和专用叶子，利用激活聚类初始化并微调，推理时仅执行单一路径，在CIFAR-100/ResNet-50等任务上减少58-60%活跃参数，性能损失小于1.72个百分点。
数据记者智能体：将数据转化为可验证的多模态故事
机构 * University of Oxford（牛津大学） ； Stanford University（斯坦福大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL
AI总结 提出多智能体框架Data2Story，通过证据链验证声明并自动生成多模态文章，在18篇文章上评估，证明其在透明性和可审计性上接近人类记者。
Comments Project page: https://data2story.github.io Github: https://github.com/QinghongLin/data2story-skill
面向计算机使用代理的历史感知视觉基础批评家
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。
Comments Code: https://github.com/G-JWLee/HiViG
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈