AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
MAVL：面向动画歌曲翻译的多语言音视频歌词数据集
机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.MM、eess.AS
AI总结 提出首个多语言多模态歌词翻译基准MAVL，并设计音节约束的音视频大语言模型SylAVL-CoT，利用音视频线索和音节约束提升歌词可唱性和翻译准确性。
Comments Accepted to EMNLP 2025, Project Page: https://k1064190.github.io/papers/paper1.html, our codes and datasets are available at https://github.com/k1064190/MAVL
Sympatheia: 具有连续情感调节的情感自适应语音助手
机构 * Department of Electrical Engineering, Columbia University（电气工程系，哥伦比亚大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS
AI总结 提出Sympatheia语音对话框架，通过从用户语音推断情感并结合连续效价-唤醒度控制信号，实现情感自适应响应，优于基线模型。
FastSLM：用于高效长语音自适应的层次时间抽象
机构 * OKESTRO ； Sejong University（世宗大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS
AI总结 针对长语音输入中标记爆炸问题，提出FastSLM架构，通过层次时间抽象器（HTA）实现每秒1.67个标记的极端压缩率（减少97%），在显著降低计算量和参数的同时，在长语音基准上达到与最先进模型竞争的性能。
Comments Title updated
使用语音进行亲属关系验证
专题命中 音频语音多模态 ：audio-visual(abstract)；分类 eess.AS
AI总结 本研究通过提出新的评估协议和多种神经网络说话人嵌入提取器，建立了语音亲属关系验证的基础，并揭示了说话人验证与亲属关系验证之间的密切联系。
Comments Submited to IEEE TASLP
1000小时日语语音产生的EEG-EMG-音频数据集
机构 * National Institute of Information and Communications Technology, Japan（日本信息与通信技术研究所）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS
AI总结 本研究构建了一个包含1020小时同步头皮脑电图、面部肌电图和语音音频的多模态数据集，来自三名健康日语母语者在开放词汇有声语音过程中的记录，旨在支持语音解码、多模态信号处理及脑电图表示学习等研究。
CASTLE2026 团队 WDL 技术报告
机构 * Key Laboratory of Intelligent Perception and Image Understanding（智能感知与图像理解重点实验室）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出基于 Qwen 的证据感知多模态推理流程，通过提示路由和置信度加权投票解决长视频问答，在 CASTLE 挑战赛中排名第一。
Comments 4 pages
超越口部：声学不确定性下视听句子识别中的上半脸情感线索
机构 * Faculty of Education and Psychology, University of Oulu, Finland（奥卢大学教育与心理学学院，芬兰） ； Center for Machine Vision and Signal Analysis, University of Oulu, Finland（奥卢大学机器视觉与信号分析中心，芬兰）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本研究利用CREMA-D语料库，通过特征分类器探究在声学退化条件下，上半脸情感信息是否有助于视听句子识别，发现上半脸情感线索能提升模型校准和鲁棒性。
LLM 也需要语义 ID 的编码器
机构 * Pinterest United States（Pinterest美国公司）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出 PrefixMem，一种基于前缀 n-gram 记忆表的轻量级语义 ID 编码器，为 LLM 提供结构化、前缀条件的表示，显著提升生成推荐中的语义 ID 准确率和检索召回率。
多模态大语言模型驱动的视频翻译：面向角色的综述
机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本文通过面向角色的分类法，系统综述了多模态大语言模型在视频翻译中的应用，将其分为语义推理器、表达执行器和视觉合成器三个功能角色，并总结了数据集、基准和评估指标，指出了端到端视频翻译的挑战与未来方向。
DeepIPCv3: 面向突发行人穿越避让的事件感知多模态传感器融合
机构 * Department of Computer Science and Electronics, Universitas Gadjah Mada（计算机科学与电子系，加雅马达大学） ； Department of Computer Science and Engineering, Toyohashi University of Technology（计算机科学与工程系，东福士大学）
专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出DeepIPCv3框架，通过Transformer交叉模态注意力融合LiDAR点云与DVS事件流，实现突发行人穿越场景下的高反应性避让，在自定义多模态数据集上达到最优轨迹与控制精度。
图灵模式用于多媒体：反应-扩散多模态融合用于语言引导的视频时刻检索
机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学）
专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 提出基于反应-扩散过程的多模态融合框架RDMF，通过模拟生物模式形成机制实现视频与文本的动态对齐，用于视频时刻检索与高亮检测。
Comments Published in ACM MM 2025. Address some typos
Ego-METAS：面向自我中心的在线多模态节能时间动作分割基准
机构 * University of Zaragoza - I3A（萨拉戈塔大学 - I3A） ； Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 为解决资源受限设备上的能耗感知问题，提出了首个自我中心在线多模态节能时间动作分割基准Ego-METAS，包含超过100小时未裁剪视频和5种模态，要求模型动态选择传感器并遵守能量预算，评估显示最优路由高度依赖场景，现有方法难以适应连续环境。
Comments Project Page: https://maria-sanvil.github.io/Ego-METAS-website/
多模态动作扩散用于鲁棒的端到端自动驾驶
机构 * Computer Vision Center (CVC)（计算机视觉中心） ； Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出动作扩散变换器（ADT），通过多模态动作建模和最近邻匹配，在闭环Bench2Drive基准上超越先前最优方法，同时延迟降低十倍。
Comments Preprint. June 1st, 2026. Corresponding author: Jorge Daniel Rodríguez-Vidal
基于多模态数据分析的高等数学学习行为预测与学业预警模型
机构 * Moutai Institute（莫 tai 院）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 针对高等数学教育中高风险学生早期识别与干预的挑战，提出一种融合知识图谱与多模态时序建模的动态预测框架，通过异构注意力机制和自适应边权重实现精准预警与个性化干预。
Comments 12 pages,5 figures
InPhyRe 发现：大型多模态模型在归纳物理推理中表现不佳
机构 * Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出 InPhyRe 基准测试，通过合成视频中的碰撞事件预测任务，评估大型多模态模型在未见物理定律下的归纳物理推理能力，发现其依赖有限参数知识、受语言偏差影响且忽略视觉输入。
Comments Accepted to TMLR. 53 pages including appendix
SCL：面向遥感变化检测的单时相多模态对比学习域泛化方法
机构 * Fudan University（复旦大学） ； Tencent YouTu Lab（腾讯YouTu实验室）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出基于视觉-语言预训练模型的单时相多模态对比学习（SCL）基础模型，结合动态文本-视觉上下文优化（DTCO）和可控生成与单时相训练策略（SAIN），无需目标数据集训练即可实现遥感变化检测的跨数据集泛化。
Comments CVPRW 2026
CoCoVideo: 基于商业模型的高质量对比基准用于AI生成视频检测
机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； China Academy of Information and Communications Technology（中国信息通信技术研究院） ； AI Transcend Pte. Ltd.（AI Transcend有限公司）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对现有数据集依赖低质量开源模型且商业样本带水印的问题，提出包含13个商业生成器的CoCoVideo-26K对比数据集，并设计结合对比学习与置信门控多模态大语言模型的CoCoDetect检测框架，实现高保真AI生成视频的鲁棒检测。
Comments Accepected by CVPR 2026
PaSBench-Video: 面向主动安全预警的流式视频基准
机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学）
专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出PaSBench-Video基准，包含740个视频，评估多模态大模型在危险发生前及时发出预警的能力，发现现有模型在时序精度和低误报率上表现不佳。
揭示具有内在测地耦合的多模态生物分子协同设计
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学）
专题命中 视频多模态 ：multimodal(title)；分类 cs.AI
AI总结 针对生物分子协同设计中模态间时间耦合被忽视的问题，提出GeoCoupling框架优化异构模态的时间耦合，在基于结构的药物设计和无条件蛋白质设计中提升物理有效性和多样性。
Comments Accepted to ICML 2026
RoboTrustBench：机器人操作视频世界模型的可信度基准测试
机构 * Singapore Management University（新加坡国立管理学院） ； Fudan University（复旦大学） ； Princeton University（普林斯顿大学）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL
AI总结 针对视频世界模型在机器人操作中的可信度问题，提出RoboTrustBench基准，包含正常、约束敏感、反事实和对抗四种场景，通过专家验证的指令-图像对和六维评估协议，发现当前模型在约束推理、反事实基础、物理交互和不安全指令抑制方面存在不足。
Comments Project: https://huiqiongli.github.io/RoboTrustBench/
未修剪长视频中被操纵片段的可解释取证
机构 * MoE Key Laboratory of Brain-Machine Intelligence Technology, College of Artificial Intelligence, Nanjing University of Aeronautics（脑机智能技术关键实验室、人工智能学院、南京航空航天大学） ； Dalian University of Technology（大连理工大学） ； Nanjing University（南京大学） ； National University of Singapore（新加坡国立大学）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 针对长视频中AI生成片段的定位与解释任务，提出TASLE基准数据集和MSLoc粗到细取证方法，实现时序定位、真实性检测与可解释分析。
Comments Accepted to ICML 2026
AdaCodec: 面向视频多模态大语言模型的预测性视觉编码
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； JD.com（京东公司）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 针对视频帧间冗余问题，提出预测性视觉编码AdaCodec，通过条件预测代价决定是否发送完整参考帧或紧凑P-令牌，在匹配视觉令牌预算下提升性能，并大幅降低首令牌延迟。
Comments 23 pages
APB-V: 通过序列并行感知的近似注意力加速长视频理解
机构 * NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China（清华大学北京校区自然语言处理组、国防科技大学、人工智能研究院、北京理工大学、清华大学） ； Department of CS&T, Central South University, Changsha, China（中南大学计算机与技术系，长沙，中国） ； BUPT, Beijing, China（北京邮电大学，北京，中国） ； Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信人工智能研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出APB-V，一种序列并行框架，通过分布式近似注意力在多GPU上加速长视频推理，显著提升速度且不损失性能。
Comments ACL 2026 main
Moment-Video: 诊断视频多模态大语言模型在瞬时视觉事件上的时间保真度
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Southeast University（东南大学） ； Tencent Youtu Lab（腾讯优图实验室）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出 Moment-Video 基准，通过瞬时视觉事件理解任务诊断视频 MLLMs 的时间保真度，发现最佳模型准确率仅 39.6%，多数开源模型低于 25%。
Comments 28 pages, 10 figures, 11 tables
GIRL-DETR: 梯度隔离强化学习用于视频时刻检索
机构 * College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 针对视频时刻检索中连续代理损失与非可微指标不匹配导致的优化停滞问题，提出梯度隔离强化学习框架GIRL-DETR，通过冻结骨干网络并采用三阶段渐进强化学习策略直接优化tIoU指标，在轻量级模型中实现定位精度提升。
Comments 13 pages, 6 figures. Submitted to IEEE Transactions on Image Processing (TIP). Code is available at: https://github.com/Z-Shihang/GIRL-DETR
Real2SAM2Real: 生成式3D缓存作为视频扩散的互补上下文
机构 * University of Maryland（马里兰大学）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出Real2SAM2Real框架，通过3D提升模型提取可编辑的3D缓存作为几何支架，结合软空间对齐注入和微调策略，实现视频扩散模型对相机轨迹和多实体运动的精确解耦控制。
POVQA: 基于偏好的视频问答与数据效率的推理
机构 * University of Southern Mississippi（密西根州立大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 提出POVQA方法，通过时间池化压缩视频帧、监督微调加偏好优化，在长视频问答中实现数据高效推理。
Comments Accepted in MAR at CVPR Workshop (Proceedings Track)
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 11533-11542
事件相机三维重建综述
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文首次全面综述了基于事件相机的三维重建方法，按输入模态（立体、单目、多模态）和重建技术（几何、深度学习、神经渲染如NeRF和3DGS）分类，并讨论了数据集、评估、表示和动态场景重建等挑战。
Comments This survey has been accepted for publication in the Computational Visual Media Journal
无需训练的视频推理
机构 * Qualcomm AI Research（高通AI研究） ； University of California, San Diego（加州大学圣地亚哥分校）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出V-Reason方法，利用输出分布熵作为信号，通过轻量级控制器在推理时自适应调整值缓存，无需强化学习或微调即可提升视频推理性能。
Comments CVPR Findings 2026. Project Page https://deepaksridhar.github.io/vreason.github.io/
WALL-WM：在事件关节处雕刻世界动作建模
机构 * X Square Robot Team（X Square机器人团队）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出WALL-WM世界动作模型，通过事件级视觉-语言-动作预训练解决固定长度动作块与语言、视觉、动作之间的粒度不匹配问题，实现跨语言、场景和任务的泛化，在大规模真实世界评估中达到最先进性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈