AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
Moment-Video: 诊断视频多模态大语言模型在瞬时视觉事件上的时间保真度
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Southeast University（东南大学） ； Tencent Youtu Lab（腾讯优图实验室）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出 Moment-Video 基准，通过瞬时视觉事件理解任务诊断视频 MLLMs 的时间保真度，发现最佳模型准确率仅 39.6%，多数开源模型低于 25%。
Comments 28 pages, 10 figures, 11 tables
GIRL-DETR: 梯度隔离强化学习用于视频时刻检索
机构 * College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 针对视频时刻检索中连续代理损失与非可微指标不匹配导致的优化停滞问题，提出梯度隔离强化学习框架GIRL-DETR，通过冻结骨干网络并采用三阶段渐进强化学习策略直接优化tIoU指标，在轻量级模型中实现定位精度提升。
Comments 13 pages, 6 figures. Submitted to IEEE Transactions on Image Processing (TIP). Code is available at: https://github.com/Z-Shihang/GIRL-DETR
Real2SAM2Real: 生成式3D缓存作为视频扩散的互补上下文
机构 * University of Maryland（马里兰大学）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出Real2SAM2Real框架，通过3D提升模型提取可编辑的3D缓存作为几何支架，结合软空间对齐注入和微调策略，实现视频扩散模型对相机轨迹和多实体运动的精确解耦控制。
POVQA: 基于偏好的视频问答与数据效率的推理
机构 * University of Southern Mississippi（密西根州立大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 提出POVQA方法，通过时间池化压缩视频帧、监督微调加偏好优化，在长视频问答中实现数据高效推理。
Comments Accepted in MAR at CVPR Workshop (Proceedings Track)
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 11533-11542
事件相机三维重建综述
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文首次全面综述了基于事件相机的三维重建方法，按输入模态（立体、单目、多模态）和重建技术（几何、深度学习、神经渲染如NeRF和3DGS）分类，并讨论了数据集、评估、表示和动态场景重建等挑战。
Comments This survey has been accepted for publication in the Computational Visual Media Journal
无需训练的视频推理
机构 * Qualcomm AI Research（高通AI研究） ； University of California, San Diego（加州大学圣地亚哥分校）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出V-Reason方法，利用输出分布熵作为信号，通过轻量级控制器在推理时自适应调整值缓存，无需强化学习或微调即可提升视频推理性能。
Comments CVPR Findings 2026. Project Page https://deepaksridhar.github.io/vreason.github.io/
面向有效长视频事件预测的多级事件语义挖掘
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 提出VISTA框架，通过多级事件语义挖掘（细节级、事件级、未来级）实现长视频事件预测，解决现有模型无法精确提取事件细节和进行细粒度分析的问题。
面向高效长视频推理的语义与视觉证据：HD-EPIC VQA挑战赛的解决方案
机构 * Lenovo, China（联想（中国））
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出一种统一框架，通过解耦长视频推理为语义证据（粗到细提取全局过程结构）和视觉证据（基于目标的细粒度定位），并采用查询条件证据检索与整合，在HD-EPIC VQA挑战赛中取得竞争性能。
从博弈视角重新思考弱监督视频时间定位
机构 * Hubei Key Laboratory of Distributed System Security（湖北分布式系统安全重点实验室） ； Hubei Engineering Research Center on Big Data Security（大数据安全工程研究中心） ； School of Cyber Science and Engineering（网络安全科学与工程学院） ； Huazhong University of Science and Technology（华中科技大学） ； University of Central Florida（佛罗里达中央大学） ； Zhejiang Gongshang University（浙江工商大学） ； Guangzhou University（广州大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文从博弈论视角出发，通过多元合作博弈建模帧与词的不确定对应关系，实现多级跨模态交互，从而在弱监督下提升视频时间定位的准确性。
Comments Published in ECCV 2024
看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见
机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。
FAST-ME：面向高效物联网视频分析的基于基础模型的自适应运动估计停止方法
机构 * Department of Informatics \& Telecommunications National ； Kapodistrian University of Athens Athens, Greece
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 提出一种基于最优停止理论和基础模型（如ViT和SAM）的语义感知运动估计框架，通过融合语义注意力分数与失真度量实现自适应停止，在降低计算量的同时保持精度和语义覆盖。
VGAS: 价值引导的动作块选择用于少样本视觉-语言-动作适应
机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出VGAS框架，通过生成-选择范式和价值引导的动作块选择，解决少样本VLA适应中的几何歧义问题，提升成功率和鲁棒性。
Comments Preprint
VGenST-Bench: 一个通过主动视频合成进行时空推理的基准
机构 * Department of Artificial Intelligence, Sungkyunkwan University（全北大学人工智能系） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VGenST-Bench，一个通过生成模型主动合成多样化评估场景的视频基准，旨在评估多模态大语言模型的时空推理能力，通过引入多代理流程和3x2x2视频分类体系，实现对细粒度时空理解的精准诊断。
Comments 82 pages, 91 figures (7 in main paper, 84 in appendix). Project page: https://zinosii.github.io/VGenST-Bench/
ST-SimDiff：平衡时空相似性与差异以实现高效的视频理解与大语言模型
机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Xidian University（西安电子科技大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出ST-SimDiff框架，通过平衡时空相似性与差异来提高视频理解效率，利用时空图和双选择策略减少计算成本并提升性能。
Comments Accepted by ICLR 2026
通过无训练空间-时间池化和栅格化增强视频大语言模型的视觉令牌表示
机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Xidian University（西安电子科技大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种无需训练的空间-时间池化和栅格化方法ST-GridPool，用于提升视频大语言模型的视觉令牌表示，通过多级时空交互和基于规范的空间池化技术，在不需重新训练的情况下提高性能。
Comments Accepted by ICLR 2026
视频作为自然增强：迈向统一的AI生成图像和视频检测
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本研究针对AI生成内容检测中跨模态差距的问题，提出VINA框架，通过联合训练图像和视频数据，利用视频帧作为自然增强，并引入跨模态监督对比目标，实现统一的AI生成内容检测，提升鲁棒性和迁移性。
EgoCoT-Bench: 用于MLLMs的 grounded 和可验证的 operation-centric 思维链推理基准测试
机构 * Zhejiang University（浙江大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出EgoCoT-Bench，一个用于评估MLLMs在第一人称视角下细粒度操作中心推理能力的基准测试，包含3172个可验证的问答对，涵盖感知、预见和高层次推理等任务，旨在解决现有基准测试在细粒度推理和证据验证方面的不足。
MARS：EgoVis 2026 CASTLE挑战的技术报告
机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Shandong Jianzhu University（山东建筑大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出MARS系统，用于EgoVis 2026的CASTLE挑战，通过多模态代理推理解决需要多源信息的复杂问题，核心方法是多模态证据选择，主要贡献是实现了在多源数据上的有效推理。
Comments The Runner-up Solution for CASTLE Challenge @ EgoVis 2026
UAM：VL A训练中遗忘的双流视角
机构 * Tsinghua University（清华大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出UAM模型，通过双流架构解决VL A训练中因单一编码器导致的多模态能力下降问题，展示了通过架构分离而非冻结权重或辅助数据可实现语义保留，并在多种任务中取得高成功率。
基于代理的自同步多视角关节角度监控管道：在无标定环境中
机构 * National Engineering Research Center of Neuromodulation, School of Aerospace Engineering, Tsinghua University（神经调制国家工程研究中心，航空航天工程学院，清华大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种基于代理的自同步多视角关节角度监控方法，利用两台摄像头在无标定环境下实现自动视频同步和自验证，通过多模态大语言模型和先进单目2D姿态估计模型提取候选姿态，并通过代理选择机制自动识别和跟踪目标个体，以在多人和遮挡情况下产生一致的2D姿态，从而估计关节角度。
Comments Accepted by EMBC 2026. 7 pages, 3 figures
宽视角闭合：多模态大语言模型中的表征-行动鸿沟
机构 * Nanyang Technological University（南洋理工大学） ； LMMs-Lab Team（多模态大模型实验室团队） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 研究发现多模态大语言模型在感知与行动之间存在鸿沟，通过IMAVB基准测试揭示模型在处理冲突信息时的不足，提出PGLA方法提升拒绝行为。
STAR：语义-时间自适应表示学习用于少样本动作识别
机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Engineering Research Center of Key Software Technologies for Smart City Perception and Planning, Ministry of Education（教育部智能城市感知与规划关键软件技术工程研究中心）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 STAR通过语义对齐和时间感知模块，解决少样本动作识别中的语义-时间对齐和多尺度时间动态建模问题，提升模型在有限样本下的泛化能力。
Comments Accepted for publication in IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)
利用大语言模型从临床病例报告中重建脓毒症轨迹：脓毒症的文本时间序列语料库
机构 * Machine Learning Department and Heinz College Carnegie Mellon University（卡内基梅隆大学机器学习系和海恩兹学院） ； National Library of Medicine National Institutes of Health（美国国家医学图书馆）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出利用大语言模型构建脓毒症文本时间序列语料库，通过提取病例报告中的时间局部发现，验证了LLM在时间局部化方面的有效性，并指出多模态整合的改进方向。
Comments Conference on Health, Inference, and Learning (CHIL 2026)
HY-Himmel技术报告：分层交错多流运动编码用于长视频理解
机构 * Tencent（腾讯） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Forestry University（北京林业大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 HY-Himmel通过分层视频语言框架解决长视频理解中多模态语言模型的三个瓶颈问题，采用轻量级压缩域三流适配器编码密集帧，提升运动感知能力，实验证明其在Video-MME上性能优于32帧基准。
Comments 59 pages, 42 figures. Technical report
EmambaIR：用于事件引导图像重建的高效视觉状态空间模型
机构 * Harbin Institute of Technology（哈尔滨理工大学）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出EmambaIR，一种高效的视觉状态空间模型，通过跨模态Top-k稀疏注意力模块和门控状态空间模块，提升事件流图像重建的效率与性能，实现更高效的全局上下文捕捉。
视频理解奖励建模：一个稳健的基准和高效的奖励模型
机构 * South China University of Technology（华南理工大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） ； Tencent（腾讯）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出Video Understanding Reward Bench基准和VideoDRM/VideoGRM模型，通过大规模高质量数据提升视频理解奖励建模性能。
VideoRouter: 为高效长视频理解的查询适应双路由
机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 VideoRouter通过双路由框架实现高效长视频理解，通过语义路由和图像路由动态分配证据，减少冗余token，提升压缩效率。
EgoPro-Bench：基于眼动视频流的个性化主动交互基准测试
机构 * Beijing Institute of Technology（北京理工大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出EgoPro-Bench，通过模拟用户画像生成多样化意图，构建高保真人机交互数据，评估主动交互能力，提升多模态大语言模型的意图理解与交互时机识别能力。
Comments 8 pages
A$^2$RD：基于代理的自回归扩散用于长视频一致性
机构 * Google Cloud AI Research（谷歌云人工智能研究）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 A$^2$RD通过Retrieve-Synthesize-Refine-Update循环实现长视频一致性合成，提升视频生成的连贯性和叙事一致性。
Comments Project page: http://dxlong2000.github.io/AARD
重新审视不确定性：关于部分相关视频检索的证据学习
机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出Holmes框架，通过多粒度跨模态证据聚合量化和建模不确定性，解决视频检索中因查询简短与视频内容丰富带来的语义模糊问题。
Comments Accepted by ICML 2026. 16 pages, 6 figures, 3 tables
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈