AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
GSTEP：面向高效视频大语言模型的全局时空密度驱动视觉令牌剪枝
专题命中 视频理解 ：video understanding(abstract)；long video(abstract)；分类 cs.CV
AI总结 本文提出即插即用的GSTEP剪枝框架，解决现有视频令牌剪枝方法的局部剪枝缺陷，在多个VideoLLMs上实现良好的准确率-效率权衡，在LLaVA-OneVision-7B上剪去75%视觉令牌，保留100.2%原始性能并获1.17倍端到端加速。
Comments 4 figures, accepted to ACM MM 26'
HAS：用于多模态大语言模型视频摘要的高亮引导注意力转向
机构 * Tufts University（塔夫茨大学）
专题命中 视频理解 ：video generation(abstract)；video understanding(abstract)；分类 cs.CV
AI总结 针对视频摘要，提出HAS方法，通过全局找连续帧级高亮分布并作为注意力转向向量，让多模态大语言模型在推理时更关注高亮帧，避免丢失信息，在多种基准测试中性能出色。
VideoSearch-R1: 通过软查询细化实现迭代视频检索与推理
机构 * KAIST（韩国科学技术院） ； Korea University（高丽大学）
专题命中 视频理解 ：video understanding(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 提出VideoSearch-R1框架，通过软查询细化（SQR）在连续潜空间优化搜索查询，结合GRPO训练，实现大规模视频库的迭代检索与精确时序定位，性能达SOTA。
Comments Accepted to ECCV 2026
无处可藏：基于背景控制对的视频幻觉基准测试
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Knowin AI（考恩人工智能） ； The Hong Kong Polytechnic University（香港理工大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Huazhong University of Science and Technology（华中科技大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 视频理解 ：video generation(abstract)；video understanding(abstract)；分类 cs.CV
AI总结 提出VidPair-Halluc基准，通过背景相似但前景语义不同的视频对，精确评估大型视频模型中的视频幻觉，包含1K对抗视频对和11K时空问答对。
Comments ECCV 2026
CARE: 面向视频多模态大语言模型的自适应推理长度的能力感知奖励塑形
机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； School of Medical Technology, Beijing Institute of Technology（北京理工大学医学技术学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院）
专题命中 视频理解 ：video understanding(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 提出CARE框架，通过能力感知奖励塑形自适应优化推理长度，利用指数移动平均估计能力并分阶段调整奖励偏好，结合批次归一化和后验放大器提升效率与准确性。
CineCap: 基于时空锚点的结构化推理用于电影化视频描述
机构 * The Chinese University of Hong Kong（香港中文大学） ； Xiamen University（厦门大学） ； Kling Team, Kuaishou Technology（快手科技Kling团队） ； National University of Singapore（新加坡国立大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 视频理解 ：video generation(abstract)；video understanding(abstract)
AI总结 提出CineCap框架，通过时空锚点结构化推理和强化学习（覆盖完整性、准确性和门控覆盖奖励）生成电影化视频描述，在CineCap Bench基准上达到新最优。
Comments 10 pages, 4 figures
BLUE：用于高效视觉语言监控分析的语义保留视频压缩
机构 * KGraph AI Solutions Pvt. Ltd.（KGraph AI解决方案私人有限公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV、eess.IV
AI总结 研究持续监控视频给企业视频分析系统带来的负担问题，提出BLUE固定摄像头监控压缩方法，在VIRAT和CHAD数据集上实验，结果表明该方法能在保留VLM语义性能时降低带宽和推理成本。
Comments 17 pages, 10 figures, 6 tables
用于全模态密集视频字幕的并行自回归解码
机构 * National University of Singapore（新加坡国立大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV、cs.MM
AI总结 研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。
Comments ECCV 2026. Project website: https://github.com/showlab/PadCaptioner
有限资源下自监督图像与视频预训练的对照研究
机构 * Eindhoven University of Technology（埃因霍温理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究对照研究有限资源下的图像与视频自监督预训练，发现DINOv2式预训练性能最优，结合其与VideoMAE可提升图像任务性能但降低部分视频任务性能，为资源有限场景的视觉模型训练提供参考。
TennisVAR：一种基于击球证据的多模态大语言模型，用于网球视频中的战术推理
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究针对网球视频理解的感知与理解差距，提出回合级战术推理任务，构建专家标注基准TRACE，开发基于证据的多模态大语言模型TennisVAR，实现网球视频的战术推理。
Comments Project Page: https://whynotgit2025.github.io/TennisVAR/
面向视觉语言模型空间推理的多视图关系蒸馏
机构 * KAIST（韩国科学技术院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视觉语言模型空间推理的几何脆弱性问题，提出多视图关系蒸馏方法，在保留语言对齐的同时提升视觉空间推理性能，可泛化至3D场景理解任务。
REFRAMED：面向电影的真实音频描述生成
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出新的音频描述生成范式，构建含206部电影的REFRAMED数据集及评估协议，实验显示现有AD系统和多模态LLMs表现优于简单基线但不及专业人类，为视频理解研究提供新基础。
Comments COLM 2026
VADER：用于视频大语言模型幻觉缓解的自适应去偏方法
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本研究针对视频大语言模型的幻觉问题，提出无训练自适应去偏框架VADER，通过视觉焦点重分配与选择性证据擦除模块结合对比解码，在LLaVA-Video-7B等模型的EventHallusion任务上取得显著性能提升。
LAVE：面向视频工具使用智能体的隐式视觉证据增强规划
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视频工具使用智能体的工具观测瓶颈，提出无训练框架LAVE，通过双通道观测接口复用隐式视觉证据，在三个基准数据集上提升了智能体性能，Video-MME得分较最强基线提高3.76分。
Comments 16 pages, 6 figures, 9 tables. Includes appendix
AVCap：用细节感知奖励强化音视频联合字幕
机构 * MMLab, CUHK（香港中文大学MMLab） ； Peking University（北京大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对音视频联合字幕的数据集、奖励信号、评估基准的局限，提出AVCap-100K数据集、AVCap模型及专用基准指标，通过Da-GRPO优化的AVCap模型性能优异。
隐私保护动作识别：分类、方法与隐私-效用权衡
机构 * Chung-Ang University（中央大学） ； Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院） ； College of Art and Technology, Chung-Ang University（中央大学艺术与技术学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究通过PRISMA指导的综述，梳理32篇PPAR论文，提出分类法、评估协议等，分析各方法权衡，指出评估不足，推动PPAR从原型向部署发展。
CRAFT：面向视觉语言模型的基于视频令牌递归自适应融合的压缩方法
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视觉语言模型视频令牌压缩效率与适应性的权衡问题，提出CRAFT方法，通过解耦令牌选择与融合实现高效压缩，在8倍压缩时保留97%主干准确率且性能优于现有方法。
Comments 11 pages, 5 figures
重新思考基于全局码本的视频令牌压缩：一次学习，处处压缩
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究提出即插即用框架ONCE，通过离线学习全局码本实现视频令牌的高效压缩，在保持性能的同时降低推理延迟，提升了视频大语言模型的效率与通用性。
用于手语翻译的注意力引导视觉-语言模型
机构 * Rochester Institute of Technology（罗切斯特理工学院） ； University of Virginia（弗吉尼亚大学） ； National Technical Institute for the Deaf（国家聋人技术学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视觉-语言模型在手语翻译中时空视觉定位差的问题，提出AttnSign框架，通过空间注意力监督和RL运动节奏引导提升性能，在How2Sign和OpenASL基准上表现优于现有方法。
Mage-VL：一种高效的编解码器原生流式多模态基础模型
机构 * Microsoft（微软）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对标准视觉语言模型在流式感知任务的不足，提出Mage-VL。核心方法是用Mage-ViT选择性编码关键区域，减少视觉令牌消耗。该模型在多模态理解和交互上表现出色，推理速度加快，还有多项关键实证发现。
Comments Project page: https://microsoft.github.io/Mage
PCA：用于快速视频大语言模型的持久性感知压缩与聚合
机构 * Institute for Artificial Intelligence, Great Bay University（大湾区大学人工智能研究院） ； Sun Yat-sen University（中山大学） ； Youtu Lab, Tencent（腾讯优图实验室） ； Shenzhen University（深圳大学） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞市智能信息技术重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究视频大语言模型长时帧冗余问题，提出PCA方法，含动态下采样和持久性感知运动增强模块，能在编码前保留视觉信息，提升效率与准确性，优于现有方法，速度有显著提升。
Comments Accepted by ACM MM 2026
ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？
机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。
Comments 37 pages, 37 figures
在不断演变的领域上进行连续视频 - MLLM 适应
机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Hong Kong Polytechnic University（香港理工大学） ； The University of Southern Queensland（南昆士兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究视频多模态大语言模型对不断演变领域的适应问题，提出分布感知专家路由框架 DAER，通过保持领域隔离的轻量级专家、引入多种路由和优化机制，在域增量基准上评估，结果优于现有方法。
Comments Accepted to ACM MM 2026
具有稀疏自选择的脑对齐多流视频变换器
机构 * University of Tehran（德黑兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对现代视频变换器忽视灵长类视觉原理及缺乏神经数据评估的问题，提出含稀疏胜者全得令牌选择模块的脑对齐多流视频变换器，经实验其在精度与推理时间上表现优且鲁棒性强，脑模型相关性高，优于基线。
Comments 23 pages, 11 figures
Stitch-Inferencer：通过全景重建增强内窥镜视频分割和跟踪
机构 * Jmees Inc（Jmees公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对内窥镜视频理解中视野受限和遮挡问题，提出Stitch-Inferencer框架，用全景画布取代隐式特征记忆，跨帧拼接观察以扩大视野，让现有模型利用长程上下文，实验证明其能在保持实时性的同时提升分割和跟踪性能。
EgoProceVQA：一种具有自我技能探索代理的新型自我中心程序理解任务
机构 * The Hong Kong Polytechnic University（香港理工大学） ； South China University of Technology（华南理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对现有自我中心视频理解评估忽视程序理解的问题，引入EgoProceVQA任务，开发EgoProceGen数据生成平台并构建基准。通过评估发现模型不足，进而提出EgoProceAgent框架，设计相关工具库，使其在多任务上获最优性能，为该任务奠定统一基础。
自动驾驶视觉问答：以事件为中心的行车记录仪理解视觉语言模型基准测试
机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） ； University of Michigan（密歇根大学） ； University of Notre Dame（圣母大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对评估视觉语言模型对安全关键事件推理能力的挑战，提出AUTOPILOT-VQA基准，通过围绕真实驾驶事件的结构化问题评估系统，涵盖多安全相关类别，推动向安全意识推理发展，为自动驾驶系统评估提供标准，助力相关视觉语言系统开发。
Comments CVPR Autopilot Workshop
SoccerNet 2026挑战结果
机构 * University of Liège（列日大学） ； King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） ； Spiideo（斯皮迪奥公司） ； Aalborg University（奥尔堡大学） ； SpAItial（斯帕蒂亚尔公司） ； Center for Robotics, Mines Paris, PSL（巴黎矿业学院机器人中心（巴黎文理研究大学）） ； Footovision（Footovision公司） ； Shanghai Jiao Tong University（上海交通大学） ； Universitat de Barcelona（巴塞罗那大学） ； Computer Vision Center（计算机视觉中心） ； EVS Broadcast Equipment（EVS广播设备公司） ； Pioneer Center for Artificial Intelligence（先锋人工智能中心） ； Lund University（隆德大学） ； TAHAKOM（TAHAKOM公司） ； Mohamed Bin Zayed University for Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Sber AI（Sber人工智能公司） ； Salute For Business（Salute For Business公司） ； Intelligent Perception and Image Understanding Lab, Xidian University（西安电子科技大学智能感知与图像理解实验室） ； South China University of Technology（华南理工大学） ； Hefei University of Technology（合肥工业大学） ； Kyungpook National University（庆北国立大学） ； Leipzig University of Applied Sciences（莱比锡应用科学大学） ； Friedrich-Alexander University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学） ； University of Seoul（首尔大学） ； Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院） ； Nanjing University（南京大学） ； University of Science, Ho Chi Minh City（胡志明市科技大学） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 SoccerNet 2026挑战涵盖五项体育视频理解视觉任务，为每项任务提供数据、协议和基线。众多团队参与，本文介绍任务、评估协议，展示排行榜并总结领先提交内容，记录各任务当前状态。
Comments 40 pages
用于自监督视频对象分割的注意力引导跨时间聚类
机构 * Griffith University（格里菲斯大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视频对象分割任务，现有自监督方法存在问题。本文提出跨时间一致性和聚类框架，结合注意力引导令牌选择与轻量级时间聚类，通过显著性加权目标对齐软部分分配，利用冻结变压器主干实现有效扩展，提升自监督视频对象分割性能。
Comments Accepted for publication in Machine Intelligence Research journal
通过多尺度卷积和动态路由实现下一代网络的语义视频通信
机构 * Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究生院） ； Generative AI Innovation Center, Amazon Web Services（亚马逊网络服务生成人工智能创新中心） ； Amazon（亚马逊）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 针对视频流量增长需求，提出语义视频通信框架，用多尺度时间卷积编码器捕捉运动模式，基于胶囊的动态路由机制优化关联，多任务学习统一组件，在实验中取得显著改进。
Comments Accepted at the AAAI 2026 Workshop on AI for Time Series (AI4TS)
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈