AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
文本监督增强视觉-语言模型中的地理空间表示
机构 * University of São Paulo（圣保罗大学） ； National University of Singapore（新加坡国立大学）
专题命中 图文多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 研究视觉、视觉-语言及多模态模型的地理空间表示能力，发现文本监督能有效提升空间编码，推动地理空间AI发展。
Comments Accepted at ICML 2026
TEVI: 基于稀疏自编码器的文本条件视觉表示编辑以改进视觉-语言对齐
机构 * Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbrücken, Germany（马克斯·普朗克研究所信息学院，萨尔兰信息学院，德国萨尔布吕肯） ； Department of Language Science and Technology, Saarland University, Saarbrücken, Germany（语言科学与技术系，萨尔兰大学，德国萨尔布吕肯）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出TEVI框架，利用稀疏自编码器解耦图像嵌入，并通过文本条件掩码模块选择性重构嵌入，以改善CLIP等视觉-语言模型的图像-文本对齐，在多个检索基准上取得提升。
Comments 20 pages, 13 figures, 14 tables
Forest-Chat: 为交互式森林变化分析适应视觉-语言代理
机构 * School of Computer Science, University of Bristol（布里斯托尔大学计算机科学学院） ； School of Geographical Sciences, University of Bristol（布里斯托尔大学地理科学学院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文提出Forest-Chat，一种基于LLM的森林变化分析代理，通过多任务处理实现自然语言查询，提升森林变化检测与语义解释的准确性与可解释性。
Comments 28 pages, 9 figures, 12 tables, Submitted to Ecological Informatics
CL-CLIP: 基于CLIP的持续学习框架与代价体积类别解耦用于目标检测
机构 * National College for Excellent Engineers, Beihang University（卓越工程师学院，北京航空航天大学） ； AI Research, Qihoo 360（360人工智能研究院，奇虎360） ； School of Electronic Information Engineering, Beihang University（电子信息学院，北京航空航天大学） ； School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北京航空航天大学） ； School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北京航空航天大学） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学） ； Institute of Information Technology, Mathematics and Mechanics, Lobachebsky University（信息技术、数学与力学学院，洛瓦茨基大学） ； School of Artificial Intelligence, Beihang University（人工智能学院，北京航空航天大学）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV
AI总结 提出CL-CLIP框架，通过代价体积引导的类别解耦，增强开放词汇检测器的持续学习能力，缓解灾难性遗忘，在PASCAL VOC和MS-COCO上显著提升F-ViT基线性能。
诊断视觉语言模型中的视觉忽视
机构 * Peking University（北京大学）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 研究视觉语言模型依赖语言先验的内部机制，通过层替换和探针分析揭示多阶段瓶颈，并引入渐进视觉退化指标发现基准测试可能奖励视觉忽视。
MedSIGHT：迈向医学大型视觉语言模型中的基础视觉理解
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出MedSIGHT框架，通过区域感知器、医学区域码本和渐进训练策略，统一医学视觉语言模型的语义理解和像素级分割，在72K数据上达到多模态理解与分割的SOTA。
Comments Accepted at ICML 2026
视觉-语言模型中空间变量绑定的双重机制
机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Northeastern University（东北大学） ； Sony Playstation（索尼PlayStation）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文揭示视觉-语言模型通过语言骨干中的内容无关空间关系编码和视觉编码器中的全局布局表示两种机制实现空间变量绑定，其中视觉编码器起主导作用。
Comments 37 pages, 53 figures
M2S-AVSR：面向鲁棒视听语音识别的模态感知多视角自监督表示
机构 * School of Artificial Intelligence and the School of Computer Science, Wuhan University, China（人工智能学院和计算机科学学院，武汉大学，中国） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（人工智能学院，香港中文大学（深圳），中国） ； School of Artificial Intelligence, Wuhan University, China（人工智能学院，武汉大学，中国）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 eess.AS
AI总结 提出一种模态感知多视角自监督表示框架（M2S-AVSR），通过多视角编码学习视角不变视觉语音表示，并利用模态感知模块进行细粒度融合，以应对视角变化、音频失真和视觉遮挡等挑战，在多个基准上取得最优性能。
Comments submitted to IEEE Transactions on Audio, Speech, and Language Processing
层次化语义约束异构图用于音视频事件定位
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology Suzhou Research Institute（哈尔滨工业大学苏州研究院）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出层次化语义约束异构图框架，通过构建异构图、双向语义约束和双曲空间层次正则化，解决开放词汇音视频事件定位中跨尺度一致性和层次语义一致性问题。
评估音视频语音识别器的真正泛化能力
机构 * Trinity College Dublin（都柏林三一学院） ； Imperial College London（伦敦帝国理工学院）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 eess.AS
AI总结 通过构建与LRS3测试集严格匹配的评估集，发现当前最先进的音视频语音识别模型在未见数据上性能全面崩溃，揭示了其泛化能力不足，并分析了退化原因、词汇偏差和错误模式。
Comments Accepted to Interspeech 2026 Long paper track. 9 pages, 4 figures
HybridCodec: 快速双流、语义增强的神经音频编解码器
机构 * Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出HybridCodec，一种结合语义蒸馏与双流架构的统一神经音频编解码器，实现强解耦、跨语言鲁棒性及3倍速度提升。
Comments 5 pages, 5 tables, 1 figure, Accepted at Interspeech 2026
VISA：面向Interspeech 2026 ARC智能体赛道的视觉信息增强音频推理系统
专题命中 音频语音多模态 ：multi-modal(abstract)；分类 eess.AS
AI总结 提出VISA系统，通过多模态特征提取、模型投票推理和细粒度类别感知路由，增强大音频语言模型的音频推理能力，在ARC智能体赛道取得66.23%评分和77.40%准确率。
Comments Submitted to INTERSPEECH 2026
Watch, Remember, Reason: 基于多模态大语言模型的人类视角视频理解
机构 * School of Intelligence Science and Technology, Peking University（北京理工大学智能科学与技术学院） ； Wuhan University（武汉大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； CASIA（中国科学院自动化研究所） ； University of Tokyo（东京大学） ； University of Liverpool（利物浦大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； UC Merced（加州大学默塞德分校）
专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 提出人类视角下视频理解的三个功能能力（观看、记忆、推理），构建统一框架分析视频MLLM的感知、记忆、推理和预测，并总结挑战、方法、应用及未来方向。
MorphoQuant: 面向全模态大语言模型的模态感知量化
机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松）
专题命中 视频多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。
EgoPressDiff: 用于自我中心UV域手部压力估计的多模态视频扩散模型
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出EgoPressDiff，一种条件视频扩散框架，通过多模态条件策略（手部姿态、3D网格顶点和深度信息）从视觉输入生成UV压力图，解决了现有方法中的量化误差和时间不一致问题，在EgoPressure数据集上实现SOTA，Volumetric IoU相对提升34%以上。
Comments Accepted to IEEE ICASSP 2026
增强视频表示中的时空语义残差以缓解视频大型多模态模型中的幻觉
机构 * Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） ； Dalian University of Technology（大连理工大学） ； Sun Yat-sen University（中山大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。
Comments Preprint
探究多模态大语言模型在中国短视频虚假信息中的认知偏差
机构 * Johns Hopkins University（约翰霍普金斯大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； Renmin University of China（中国人民大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 本文通过200个短视频数据集评估8种多模态大语言模型在健康领域虚假信息中的表现，发现Gemini-2.5-Pro表现最佳（信念分数71.5/100），而模型易受权威频道ID等社会线索影响。
Comments Accepted to ACL 2026 (Findings)
必要时做梦：通过自适应多模态推理推进世界行动模型
机构 * Tsinghua University（清华大学） ； Manifold AI
专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)
AI总结 提出AdaWAM，通过轻量动态路由器自适应触发文本或视觉推理，提升长时复杂任务中的推理效率和性能。
信号交叉口弱势道路使用者安全的集成路边感知与通信框架
机构 * Department of Civil, Environmental and Construction Engineering, University of Central Florida（中央佛罗里达大学土木、环境与建设工程系）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出集成多模态感知、边缘计算、V2X/P2X通信和自适应信号控制的框架，基于公开数据集R-LiViT分析53,319个标注，发现VRU占49%、昼夜密度差异大、近距离事件变化10倍、83%行人边界框小，支持多模态感知和自适应部署。
Comments 17 pages, 5 figures, 2 tables. Preprint
TraRA: 面向城市监控视频文本识别的轨迹级识别聚合方法
机构 * RIKEN（日本理化学研究所） ； Hanoi University of Science and Technology（河内科学技术大学） ； Nagoya University（名古屋大学） ； Lawrence Technological University（劳伦斯技术大学） ； Ritsumeikan University（立命馆大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出TraRA方法，通过轨迹级文本识别聚合，利用时间与多模态一致性，解决监控视频中运动模糊、遮挡等导致的帧级识别不一致问题，在多个基准上提升跟踪与识别性能。
Comments 22nd IEEE International Conference on Advanced Visual and Signal-Based Systems
Stream3D-VLM：基于增量几何先验的在线3D空间理解
机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文汇） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出在线3D视觉语言模型Stream3D-VLM，通过自回归流控制、轻量视觉-空间特征融合模块和几何自适应体素压缩，实现从流式视频中实时理解3D空间，并构建超百万在线3D问答数据集，在多项任务上超越现有模型。
Comments Project Page: https://stream3d-vlm.github.io/
高速公路立交匝道流量预测的代理重建预训练
机构 * Southeast University（东南大学） ； Institute of Telecommunications and Information Sciences, China（中国电信与信息科学研究院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI
AI总结 提出时空解耦自编码器（STDAE），通过跨模态重建预训练从主线数据恢复匝道流量，结合GWNet等模型提升预测精度，在真实数据集上超越13个基线。
Comments Accepted at Applied Soft Computing Journal
Journal ref Applied Soft Computing Journal 200 (2026) 115462
GenPO++：基于无雅可比似然比的生成式策略优化
机构 * ShanghaiTech University（上海科技大学）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 提出GenPO++框架，利用高阶可逆ODE求解器中的历史状态作为辅助记忆，实现精确可逆映射，从而无偏且高效地计算生成流策略的似然比，在连续控制任务中优于现有方法。
SERNF: 通过动作块评论家和归一化流实现样本高效的真实世界灵巧策略微调
机构 * Soft Robotics Lab, D-MAVT（软机器人实验室，D-MAVT） ； ETH Zurich（苏黎世联邦理工学院）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 提出SERNF框架，结合归一化流策略和动作块评论家，实现真实世界灵巧操作策略的样本高效微调，解决多模态动作分布和信用分配问题。
Comments https://srl-ethz.github.io/SERNF/
前所未见：基于一致视频源数据集的真正零样本组合图像检索基准测试
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 跨模态检索 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 针对现有零样本组合图像检索数据集存在参考与目标图像不相关、非真正零样本的问题，提出ZeroSight基准，包含来自视频的一致参考-目标对和训练无关的MLLM驱动方法SC4CIR，通过三重对称一致性检查识别难负样本，实验表明现有方法性能被高估。
减法让你获得更多：面向多模态多跳问答的差距感知检索
专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)
AI总结 针对多模态多跳问答中的证据集补全和序列池构建任务，提出GRAIL框架，通过隐式查询重写和上下文减法查询引导，解决语义锚定问题，实现组合跨模态推理，在MultimodalQA上获得40.3%的宏平均性能提升。
一种使用多模态生理监督的鲁棒PPG基础模型
机构 * Dolby Laboratories（杜比实验室）
专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出一种PPG基础模型，利用ICU数据集中的心电和呼吸信号选择对比样本，无需高质量或场域数据预训练，在15个下游任务中14个取得性能提升。
基于物理引导深度学习的先进洪水预测：结合UNet、FNO与SAR/光学影像
机构 * National Center for Atmospheric Research (NCAR)（国家大气研究中心）
专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出物理引导深度学习框架，融合多模态遥感与浅水方程约束，通过UNet-FNO混合架构实现高精度洪水预测，IoU达0.82，F1达0.90。
Comments This paper has been accepted for publication in the Proceedings of the IEEE Radar Conference (RadarConf 2026). The final authenticated version will be available through IEEE Xplore
当恢复至关重要时：MLLM编辑中替代隐私的盲点
机构 * City University of Hong Kong（香港城市大学） ； Hon Hai Research Institute（鸿海研究院） ； Lingnan University（岭南大学）
专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV
AI总结 针对多模态大模型编辑中的隐私风险，提出首个面向恢复的替代隐私保护编辑基准SPPE，涵盖36个细粒度隐私类别和65个编辑指令，并设计可编辑性评估与替代到源编辑恢复两个任务及对应方法。
LoomVideo: 统一多模态输入到视频生成与编辑
机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团）
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出LoomVideo，一种5B参数的高效统一架构，通过多模态大语言模型和零开销Scale-and-Add条件机制，实现视频生成与编辑，显著降低计算复杂度并加速推理。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈