AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
SkyVLaM：用于遥感中无人机视频理解的多模态大语言模型
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Peking University（北京大学） ； Beijing Wuzi University（北京物资学院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 针对无人机视频理解任务，提出多模态大语言模型SkyVLaM，通过时间基感知器构建稀疏令牌，正则化稀疏基，自适应选择密集段，联合大语言模型处理，还构建SkyVid，实验证明其能有效分配视觉令牌预算，提升语言条件视频分割效果。
Comments Accepted by WAICA 2026
VideoSEMA：用于视频理解的一种可扩展且高效的类曼巴注意力机制
机构 * University of California, Irvine（加利福尼亚大学欧文分校） ； Qualcomm AI Research（高通人工智能研究中心） ； Qualcomm Technologies, Inc.（高通技术公司）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 研究针对视频理解提出VideoSEMA模型，核心方法是采用时空注意力分割，包含空间类曼巴注意力模块和时间注意力。主要贡献是在多数据集上表现优异，参数规模相当时准确率领先，分辨率提升时退化更平缓，扩展到长视频也有前景。
Comments 15 pages, 3 figures
HAS：用于多模态大语言模型视频摘要的高亮引导注意力转向
机构 * Tufts University（塔夫茨大学）
专题命中 视频理解 ：video generation(abstract)；video understanding(abstract)；分类 cs.CV
AI总结 针对视频摘要，提出HAS方法，通过全局找连续帧级高亮分布并作为注意力转向向量，让多模态大语言模型在推理时更关注高亮帧，避免丢失信息，在多种基准测试中性能出色。
具有稀疏自选择的脑对齐多流视频变换器
机构 * University of Tehran（德黑兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对现代视频变换器忽视灵长类视觉原理及缺乏神经数据评估的问题，提出含稀疏胜者全得令牌选择模块的脑对齐多流视频变换器，经实验其在精度与推理时间上表现优且鲁棒性强，脑模型相关性高，优于基线。
Comments 23 pages, 11 figures
GHR-VLM：通过基于视觉基础的混合推理实现零样本公交视频分析
机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究旨在实现零样本公交视频分析，提出GHR-VLM框架，利用边缘-云设计，通过轻量级边缘监视器跟踪门状态、分割乘客片段，后端VLM经两阶段细化识别乘客与支付行为，减少云推理，评估显示其在公交支付分析中有潜力且面临视频条件挑战。
在安全边界之间：利用时间一致性破解文本到视频生成模型
机构 * University of Science and Technology of China（科学技术大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.MM
AI总结 研究针对文本到视频模型的越狱攻击，提出结构化查询高效的BSB框架，利用时间一致性，通过在文本代理空间进行蒙特卡洛树搜索并结合视频级评估来校准结果，实验表明该方法超越现有基线，有效发现模型漏洞。
当物理偏好遇到语义约束：用于文本到视频生成的物理和语义直接偏好优化
机构 * University of Nevada, Reno（内华达大学雷诺分校） ； Zhejiang University（浙江大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 文本到视频生成模型存在物理合理性与语义一致性的矛盾，提出物理和语义直接偏好优化方法（PSDPO），通过调节偏好对贡献，限制语义漂移，实现更可靠平衡，实验验证其在提高物理合理性和保持语义一致性上优于基线和现有方法。
Comments This work is accepted by ACM MM 2026
MAVEN：面向多元文化文本到视频生成的多智能体框架
机构 * Santa Clara University（圣克拉拉大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 提出MAVEN多智能体提示优化框架，通过并行或串行分解提示为人物、动作、地点维度，提升单文化和跨文化文本到视频生成的文化保真度，并构建包含243个文化提示和972个视频的基准进行评估。
Comments [14] pages, [6] figures, [11] tables, appendix included. Preprint
GroundShot: 通过实体锚定镜头调度实现视觉一致的多镜头长视频生成
机构 * Fudan University（复旦大学） ； Baidu（百度）
专题命中 视频生成 ：video generation(title)；long video(title)；分类 cs.CV
AI总结 提出GroundShot框架，通过在线构建实体级视觉记忆并调度镜头生成顺序，无需训练即可提升多镜头视频中实体的一致性。
用于序列动作视频生成的关键帧锚定身份保留
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV、cs.MM
AI总结 针对身份保留文本到视频生成任务中主体身份保持和动作执行的挑战，提出无训练三阶段管道框架，包括动作感知提示优化、身份保留生成和身份感知推理增强，该方法在官方排行榜上排名第三，性能和通用性强。
ShotPlan：使用可学习规划令牌生成电影级视频
机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI）） ； Harbin Institute of Technology（哈尔滨工业大学）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 针对电影级视频生成难题，提出ShotPlan框架，基于视频扩散基础模型，引入可学习规划令牌捕捉镜头过渡线索，结合分数时间旋转位置嵌入在帧级别建模，实验证明其优于现有方法，提升了镜头管理与一致性。
Comments Project page: https://pensioner-11.github.io/ShotPlan/
PhysAgent：用于物理上合理的视频生成的反射式智能体物理控制
机构 * Shanghai Jiao Tong University（上海交通大学） ； Cardiff University（卡迪夫大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 研究物理上合理的视频生成问题，提出PhysAgent反射式智能体框架，通过闭环设计及物理控制API，改善参数控制，实现复杂轨迹等，实验证明其能生成更合理视频，有更好提示对齐及泛化效果。
Comments For project page, see https://iapple233.github.io/PhysAgent
视频中的思考：视频生成器真的能对现实世界进行推理吗？
机构 * Central South University（中南大学） ； Tencent（腾讯） ； Tsinghua University（清华大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 探讨视频生成器能否对现实世界推理，引入因果生成双判断（CGDJ）评估，发现开源模型无明确因果感知却有合理动态，先进闭源系统推理与生成一致性有限，还揭示了视听失调问题。
GenHOI: 通过模仿生成视频实现接触感知的人形机器人-物体交互，无需任务特定训练
机构 * The University of Tokyo（东京大学） ； National University of Singapore（新加坡国立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Tsinghua University（清华大学）
专题命中 视频生成 ：video generation(abstract)
AI总结 提出GenHOI框架，通过模仿单个生成视频实现人形机器人零样本执行多种物体交互任务，无需任务特定训练或物理演示数据，利用接触事件和手-物接触区域编码为几何约束优化轨迹。
STARCaster：用于身份和视图感知的会说话肖像的时空自回归视频扩散
机构 * Imperial College London, UK（伦敦帝国理工学院） ； FAU Erlangen–Nürnberg, Germany（埃朗根-纽伦堡大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 研究提出STARCaster模型，通过重新思考参考和几何范式，采用组合方法及解耦学习，解决语音驱动肖像动画和动态视点控制问题，能有效泛化，超越先前方法。
Comments ICML 2026
生成器即跟踪器：通过绘制持久身份颜色进行多目标跟踪
机构 * Cornell University（康奈尔大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；long video(abstract)；分类 cs.CV
AI总结 研究多目标跟踪问题，核心方法是用轻量级LoRA微调文本到视频扩散模型生成带持久身份颜色的视频，无需传统跟踪组件。主要贡献是在DanceTrack测试服务器上达到40.3 HOTA，有独特错误分布，颜色分配可在遮挡后重新识别身份。
视频扩散模型能否预测过去帧？双向循环一致性用于可逆插值
机构 * School of Software Engineering, Xi'an Jiaotong University（西安交通大学软件工程学院） ； School of Computer and Information Science, Hefei University of Technology（合肥工业大学计算机与信息科学学院） ； Faculty of Science and Technology, University of Macau（澳门大学科技学院）
专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV、cs.MM
AI总结 本文提出双向循环一致性框架，通过双向生成轨迹对称性提升视频插值的时序一致性，实验表明在37帧和73帧任务中取得最佳性能。
用于长期规划的带引导搜索的组合扩散
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 视频扩散模型 ：video generation(abstract)；long video(abstract)
AI总结 研究针对组合生成模型在局部分布多模态时的模式平均问题，提出带引导搜索的组合扩散方法（CDGS），通过特定采样、过滤和重采样解决问题，在机器人操作任务上表现出色且跨领域通用。
Comments 38 pages, 18 figures, ICLR 2026 ORAL
GMoT：用于基于多模态大语言模型的细粒度微手势视频推理的门控运动感知令牌化
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Great Bay University（大湾区大学） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞市智能信息技术重点实验室）
专题命中 动作与事件理解 ：video reasoning(title)；video understanding(abstract)；分类 cs.CV
AI总结 研究针对微手势识别中运动易被掩盖及MLLMs处理运动学困难的问题，提出GMoT模块，通过空间加权池等提取运动线索并融合，引入渐进奖励引导策略优化范式，在多数据集上表现出色，还提出BRG召回及跨域转移协议。
Comments Accepted to ACM MM 2026
原生主动感知作为全模态理解的推理
机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队）
专题命中 长视频与时序推理 ：video understanding(abstract)；long video(abstract)；分类 cs.CV
AI总结 提出OmniAgent，一种基于POMDP迭代观察-思考-行动循环的原生全模态智能体，通过主动感知将推理复杂度与视频时长解耦，在多个基准上达到开源模型最优性能。
Comments Accepted at ICML 2026. Code and models: https://github.com/harryhsing/omniagent
VL-KnG：从单目视频构建持久时空知识图谱以实现具身场景理解
机构 * Applied AI Institute, Moscow, Russia（莫斯科应用人工智能研究所）
专题命中 长视频与时序推理 ：long video(abstract)
AI总结 VL-KnG通过构建时空知识图谱实现高效具身场景理解，采用LLM驱动的时空对象关联和图增强检索，无需3D重建，支持常数时间推理，优于现有前沿VLMs。
NLPCC 2026共享任务1概述：难度感知多语言多模态医学教学视频理解评估
机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与工程学院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
专题命中 视频数据与评测 ：video understanding(title)；分类 cs.CV
AI总结 NLPCC 2026的DA - MIVQA共享任务，通过区分问题难度扩展多语言多模态医学视频基准，含三个赛道。其数据集来自公共医学教学渠道，涵盖多种场景并经人工标注难度。该任务为评估医学教学视频问答系统提供实用基准。
Comments 19 pages, 6 figures, 6 tables
人工智能生成的以人为中心的视频的多维质量评估：数据集与模型
机构 * Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所） ； USC-SJTU Institute of Cultural and Creative Industry, Shanghai Jiao Tong University（上海交通大学南加州大学文化创意产业学院） ； Polytech Nantes, Université de Nantes（法国南特大学高等理工学院）
专题命中 视频数据与评测 ：text-to-video(abstract)；分类 cs.CV
AI总结 研究针对AI生成的以人为中心的视频质量评估问题，提出扩展数据集HVEval+并构建MoE-Rater模型，该模型采用专家混合及三阶段训练策略，能统一多种任务，在相关数据集上性能优越，推动了视频质量评估及T2V模型优化。
Comments Accepted for publication in IEEE TCSVT, 2026
Apple-$π$：基于视频对基于法律的物理智能进行思维基准测试
机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 研究针对视频模型评估仅看输出层面的不足，提出Apple-PI基准，含数据集、协议和评估套件三部分，通过对11个模型测试发现其距可靠世界模拟器差距大，并揭示了一些瓶颈与差距，为指导视频模型发展提供诊断基础。
用于悬吊负载下工人检测的隐私感知合成视频基准测试与关系评估
机构 * Government Technology Agency of Singapore（新加坡政府科技局）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 研究悬吊负载下工人检测的隐私问题，引入SynthSite合成视频基准测试及隐私感知混合生成工作流程，在五种隐私条件下评估相关指标，发现保留结构的模糊处理效用更好，强调建筑安全分析隐私评估需兼顾外观抑制和几何线索保留。
Comments Accepted at the 3rd Workshop on Synthetic Data for Computer Vision (SynData4CV), CVPR 2026. OpenReview: https://openreview.net/forum?id=dMfhFmDWsg . Dataset and code: https://huggingface.co/datasets/govtech/SynthSite
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈