多模态大模型

InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization

InternVLA-A1.5：统一理解、潜在预见与组合泛化的行动

Haoxiang Ma, Junhao Cai, Xiaoxu Xu, Hao Li, Yuyin Yang, Yang Tian, Jiafei Cao, Hongrui Zhu, Zherui Qiu, Zhaxizhuoma, Yuqiang Yang, Jiaqi Peng, Xueyuan Wei, Yangkun Zhu, Jiahao Jiang, Xing Gao, Hanqing Wang, Feng Yuan, Kailin Li, Xueyue Zhu, Tai Wang, Yan Ding, Jiangmiao Pang, Jia Zeng, Jingjing Zhang, Bowen Zhou, Yao Mu, Chunhua Shen, Weinan Zhang

机构 * Physical Intelligence Team Shanghai AI Laboratory（上海人工智能实验室物理智能团队） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 研究旨在统一机器人操作模型，提出InternVLA-A1.5，基于原生VLM骨干构建策略，将未来预测转化为潜在查询问题，继承预训练视频生成模型动力学先验，在模拟和现实基准测试中效果良好。

Comments Homepage: https://internrobotics.github.io/internvla-a15.github.io/

CausticFlow: An Efficient Machine Learning Framework Combining Neural Differential Equations and Normalizing Flows for Binary Microlensing Parameter Inference

CausticFlow：一种结合神经微分方程和归一化流用于二元微引力透镜参数推断的高效机器学习框架

Haibin Ren, Wei Zhu

专题命中 视频多模态 ：multimodal(abstract)

AI总结 介绍结合神经控制微分方程与归一化流的CausticFlow框架推断二元微引力透镜参数，能处理不规则采样等，训练后快速生成后验样本，用于下游优化可提高精度，在真实事件测试中表现良好。

Comments 17 pages, 8 figures, submitted to AJ

A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps

来自TRIBE的全局预测fMRI驱动信号无法预测YouTube重播热图

Barada Sahu, Shivesh Pandey

机构 * Cabal AI ； Para AI 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本研究测试了深度多模态脑编码模型TRIBE预测的fMRI信号是否能预测YouTube视频的重播行为，发现全局场功率与重播热图无显著相关性。

Comments 12 pages, 2 figures. v2: adds equivalence and Bayes-factor bounds, split-half reliability ceiling, a supervised probe with proper position control, a per-input-stream dissociation, and ISC discussion. Code, video-ID manifest, and per-video results: https://github.com/mercurialsolo/tribe-replay-heatmaps

CADENZA in Action: Breaking the Monolith with Intent-Dependent Plan Spaces for Semantic Queries

CADENZA 在行动：通过意图依赖的计划空间打破语义查询的单一架构

Jaehyun Ha, Yongjoo Park, Wook-Shin Han

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出CADENZA语义算子优化器，将意图分解为步骤并选择物理实现，根据用户偏好调优参数，平衡质量、延迟和成本。

Journal ref VLDB 2026

ForceBand: Learning Forceful Manipulation with sEMG

ForceBand: 利用表面肌电信号学习有力操作

Botao He, Zhi Wang, Linna Kuang, Ishaan Ghosh, Jitendra Malik, Cornelia Fermuller, Tingfan Wu, Jiayuan Mao, Ruoshi Liu, Haozhi Qi, Yiannis Aloimonos

机构 * Amazon FAR（亚马逊 FAR） ； University of Maryland（马里兰大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出ForceBand，一种低成本腕戴式sEMG系统，通过预测手指力来增强人类演示数据，用于机器人有力操作策略学习，在多种物体上实现87%的成功率。

Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models

迈向可扩展的多任务强化学习与大决策模型

Thibaut Kulak

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出LDM-v0，一个在大规模异构强化学习环境上离线预训练的Transformer策略，通过监督下一动作预测实现多任务学习，在约1000个环境中达到与独立训练策略相当的性能。

One Generator, Any Process: LLM-Conditioning for the LHC

一个生成器，任意过程：LHC的LLM条件生成

Henning Bahl, Tilman Plehn, Daniel Schiller, Thanush Sivagnanalingam

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出利用预训练LLM为自回归变压器提供描述性嵌入，通过连续参数、过程标签和费曼图的条件化方案，实现LHC事件生成网络的快速收敛、更优结果及对未见过程的泛化。

Comments 33 pages, 23 figures

Interpretable Material Spatial Intelligence for Discovery of Governing Microstructural Features

可解释的材料空间智能用于发现主导微观结构特征

Mathieu Calvat, Gregory Sparks, Dhruv Anjaria, Chris Bean, Haoren Wang, Paul Gradl, Timothy M. Smith, Allison M. Beese, Gabriel Demeneghi, Kenneth Vecchio, Morad Behandish, J. C. Stinville

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出材料空间智能（MSI）框架，通过多模态表示学习直接从空间观测数据中编码微观结构信息，实现性能预测、解释和优化，并识别主导力学行为的关键特征。

A Systematic Survey on Event Camera Representation Learning

事件相机表示学习系统综述

Hongwei Ren, Youxin Jiang, Tuopusen Huang, Xiangqian Wu

专题命中 视频多模态 ：multimodal(abstract)

AI总结 综述从原始事件流转换为可学习表示的角度，分类梳理了基于密集和稀疏表示的方法，分析其在结构规则性、时间保真度、稀疏保持和架构兼容性上的权衡，并总结基准与未来方向。

Comments Under Review

Null-Calibrated Conformal Selection via Target-Membership Scores

通过目标隶属度分数进行零校准的共形选择

Seungjin Choi

机构 * CROID Research and aSSIST University（CROID研究院和aSSIST大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出基于目标隶属度分数的共形选择方法，通过零校准（NCCS）生成有限样本有效的零p值，在方差驱动和多模态目标上优于传统预测导向分数。

Comments 24 pages

Temporal Logic Guidance for Action-Only Diffusion Policies with World Models

基于时序逻辑的动作扩散策略与世界模型引导

Moritz Zoellner, Anastasios Manganaris, Rohan Paleja

机构 * German Academic Exchange Service (DAAD)（德国学术交流中心（DAAD）） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出一种利用世界模型实现时序逻辑鲁棒性可微评估的引导方法，在不重新训练的情况下改善动作扩散策略的约束满足，在Robomimic任务中将违规率从80%降至4%。

Comments Accepted at the ICRA 2026 Workshop on Bridging the Gap between Robot Learning and Human-Robot Interaction. 3 pages, 2 figures, 1 table

A Causal DAG Prior for Synthetic Time-Series Classification Datasets

用于合成时间序列分类数据集的因果DAG先验

Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

机构 * Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)

AI总结 提出一种因果DAG先验，从随机采样的有向无环图生成多变量、多类别的时间序列分类数据集，包含跨模态因果结构，微调TabPFN v2.5后在UCR/UEA数据集上显著优于基线。

Comments Accepted at the 2nd ICML 2026 Workshop on Foundation Models for Structured Data (FMSD). 4 pages (main text), 2 figures, plus references and appendix

VQActFlow: Vector-Quantized Action Mode Steering for Multi-Task Robot Manipulation

VQActFlow: 用于多任务机器人操作的矢量量化动作模式引导

Zhigen Zhao, Mark Leggiero, Yipu Chen, Haoran Liu, Yifan Wu, Huishu Xue, Sirui Zhan, Ye Zhao

机构 * Institute for Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所（IRIM）） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出VQActFlow，通过矢量量化动作标记和变分流匹配生成离散代码序列，显式区分动作模式，并利用推理时引导（语言条件无分类器引导和代码本评论家）实现模式承诺，在LIBERO、Unitree G1和ALOHA平台上优于连续和离散基线。

Comments 8 pages, 9 figures, 5 tables

MV-WAM: Manifold-Aware World Action Model with Value Augmentation

MV-WAM: 具有价值增强的流形感知世界动作模型

Jintao Chen, Peidong Jia, Qingpo Wuwu, Jiaming Liu, Mengfei Du, Chun-Kai Fan, Xiaowei Chi, Hao Chen, Chengyu Bai, Zezhong Qian, Hao Wang, Jiajun Cao, Weishi Mi, Xiaozhu Ju, Jian Tang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 视频多模态 ：cross-modal(abstract)

AI总结 提出MV-WAM框架，通过跨模态因果掩码、流形感知优化和进度价值调节机制，联合建模视觉预测、动作生成和价值估计，在分布外场景中提升动作泛化能力，在仿真和真实机器人任务上显著优于基线。

Comments 20 pages, 9 figures, 7 tables

LGVSC: A Large-Model-Driven Generative Video Semantic Communication Framework

LGVSC：一种大模型驱动的生成式视频语义通信框架

Yu Ma, Hang Yin, Li Qiao, Shuo Sun, Zhen Gao, Yin Xu, Wenjun Zhang

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出大模型驱动的生成式视频语义通信框架LGVSC，通过解耦编解码器、引入概率语义相似度评分和语义引导关键帧提取，在极低带宽下实现高效视频语义传输，并保持零样本泛化能力。

Comments Accepted by IEEE Transactions on Vehicular Technology; v2: Added appendices

Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

使用机器辅助理论集成标注建模品牌和组织TikTok视频的参与度

Sander Paekivi, Andres Karjus

专题命中 视频多模态 ：multimodal(abstract)

AI总结 利用多模态大语言模型标注77个理论驱动的结构变量，分析约1万个TikTok视频，以预测参与度并探索短视频文化差异。

OneBar: An End-to-End Content-Grounded Generative Query Recommendation Framework for E-Commerce Video Feeds

OneBar：一种面向电商视频流的端到端内容驱动生成式查询推荐框架

Yao Tang, Ying Yang, Ben Chen, Yufei Ma, Zihan Liang, Chenyi Lei, Wenwu Ou, Jian Liu

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出OneBar框架，通过协同多模态意图对齐、统一端到端架构和渐进偏好学习，解决短视频平台查询推荐中的延迟和偏好漂移问题，显著提升查询曝光和点击。

Comments Any questions feel free to contact: benchen4395@gmail.com

Automated Gaze-based Behavioral Segmentation and Temporal Representation for Bridge Inspection in Unconstrained 3D Environments

基于自动注视行为分割与时间表示的非约束三维环境桥梁检测

Daniel Jimenez Gil, Haosen Zhang, Zixin Wang, Mohamad Alipour

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出自动分析框架，将非约束3D注视、头部运动、无人机导航和场景几何数据分割为全局扫描、局部检测和导航三种功能模式的时间序列，提取行为描述符，揭示检测策略差异及与性能的关系。

Comments 46 pages, 13 figures

Net-Ev$^2$: A Generative Simulator for Network Event Evolution

Net-Ev$^2$：网络事件演化的生成式模拟器

Guangyu Wang, Zhaonan Wang

机构 * NYU Shanghai（上海纽约大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出Net-Ev$^2$，一种结合事件线索与网络拓扑的生成式模拟器，通过结构引导掩码预训练和拓扑感知扩散过程模拟网络事件演化，在多个道路网络数据集上达到最优性能。

Comments Accepted by KDD 2026 Research Track

Journal ref In Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

World Pilot: Steering Vision-Language-Action Models with World-Action Priors

World Pilot: 用世界动作先验引导视觉-语言-动作模型

Zefu Lin, Rongxu Cui, Junjia Xu, Xiaojuan Jin, Wenling Li, Lue Fan, Zhaoxiang Zhang

机构 * Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 视频多模态 ：image-text(abstract)

AI总结 提出World Pilot框架，通过世界动作模型（WAM）的潜在引导和动作引导两条路径，为VLA模型提供场景演化先验和轨迹级运动提示，在LIBERO-Plus零样本OOD基准上达到84.7%的总成功率，并在多个真实机器人操作任务中取得最高成功率。

Comments Project Website: https://world-pilot.github.io/

AllDayNav: Lifelong Navigation via Real-World Reinforcement Learning

AllDayNav: 通过真实世界强化学习实现终身导航

Hang Yin, Yinan Liang, Jiazhao Zhang, Jiahang Liu, Minghan Li, Zhizheng Zhang, He Wang

机构 * Tsinghua University（清华大学） ； Galbot Robotics ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出AllDayNav框架，利用自进化多模态记忆和强化学习隐式编码场景动态，在跨房间、跨回合和跨任务场景中实现接近100%的成功率，超越基于地图、VLM和RL的基线方法。

Comments Project Page: https://bagh2178.github.io/AllDayNav/

Hand-centric Human-to-Robot Trajectory Transfer from Video Demonstrations via Open-World Contact Localization

基于开放世界接触定位的以手为中心的人到机器人轨迹迁移

Yitian Shi, Di Wen, Zhengqi Han, Zicheng Guo, Yu Hu, Edgar Welte, Kunyu Peng, Rainer Stiefelhagen, Rania Rayyes

机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出HOWTransfer框架，通过接触定位从人类视频中提取接触感知的机器人轨迹，无需物体特定描述，在多样化操作任务中实现86%的成功率。

Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation

Dream-Tac: 用于接触丰富机器人操作任务的统一触觉世界动作模型

Yunfan Lou, Yifan Ye, Yankai Fu, Jun Cen, Xiaowei Chi, Yaoxu Lyu, Peidong Jia, Sirui Han, Zhihe Lu, Shanghang Zhang

机构 * Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanjing University（南京大学） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)

AI总结 提出Dream-Tac统一触觉世界动作模型，通过接触门控视觉-触觉融合和接触感知注意力偏置，联合建模动作、未来视觉观察和触觉动态，在六项接触丰富操作任务中平均动作准确率提升31.7%。

Comments 16 pages,13 figures

GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios

GenPO++：基于无雅可比似然比的生成式策略优化

Ke Hu, Shutong Ding, Panxin Tao, Jingya Wang, Ye Shi

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出GenPO++框架，利用高阶可逆ODE求解器中的历史状态作为辅助记忆，实现精确可逆映射，从而无偏且高效地计算生成流策略的似然比，在连续控制任务中优于现有方法。

Better, Stronger, Faster, and Broader: Structured All-Mask Prediction for MLLM-Based Segmentation

更好、更强、更快、更广泛：基于多模态大型语言模型（MLLM）的结构化全掩码预测分割

Jiazhen Liu, Mingkuan Feng, Long Chen

机构 * The Hong Kong University of Science and Technology (HKUST)（香港科技大学） 纠错

专题命中 跨模态检索 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 STAMPlus通过结构化全掩码预测解耦自回归对话与非自回归掩码预测，解决了MLLM分割的三难问题，在提升性能的同时降低延迟，实现多类开放词汇等分割任务的SOTA表现。

MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs

MAF: 面向情感分析的多模态自适应少样本提示方法

Hangling Xie

机构 * Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

专题命中 跨模态检索 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出MAF框架，通过动态检索与查询相关的多模态示例，利用轻量级系数生成网络实时融合多模态相似度，结合多数投票提升MLLM在情感分析中的性能。

Multimodal LLM-Empowered Re-Ranking for Generalizable Person Re-Identification

多模态大语言模型赋能的通用行人重识别重排序

Jiachen Li, Xiaojin Gong

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院） 纠错

专题命中 跨模态检索 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV

AI总结 提出利用多模态大语言模型（MLLM）的泛化能力，通过微调MLLM并计算μ-距离来改进推理阶段的重排序，从而提升领域泛化行人重识别的性能。

Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings

超越标量距离：来自冻结MLLM的语义属性梯度用于视觉嵌入

Shubhang Bhatnagar, Dheeraj Baiju, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 跨模态检索 ：MLLM(title_cn,summary_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SAGA框架，利用冻结的多模态大语言模型（MLLM）通过GRPO奖励机制为视觉编码器提供属性级监督，替代传统标量距离，提升零样本图像检索性能。

MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA

MAGE-RAG：面向长文档问答的多粒度自适应图证据多模态RAG

Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.MM

AI总结 提出MAGE-RAG框架，通过离线构建包含页面和元素节点的证据图，在线自适应构建证据子图，平衡证据覆盖与噪声控制，在长文档多模态问答中取得最优性能。

Douyin Multimodal Embedding Model Technical Report

抖音多模态嵌入模型技术报告

Haonan Chen, Chu Li, Zhicheng Wang, Yuanwei Liu, Yuanjiang Wang, Shaohua Jiang, Zhicheng Dou

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL

AI总结 针对现有多模态嵌入模型难以兼顾效率与细粒度区分的问题，提出分两阶段训练的DME模型，在MMEB-v2数据集及抖音生产场景中均取得优异效果。

Comments Technical Report