多模态大模型

GaussianFusion: Unified 3D Gaussian Representation for Multi-Modal Fusion Perception

GaussianFusion：用于多模态融合感知的统一3D高斯表示

Xiao Zhao, Chang Liu, Mingxu Zhu, Zheyuan Zhang, Linna Song, Qingliang Luo, Chufan Guo, Kuifeng Su

机构 * Tencent, Autonomous Driving Lab（腾讯自动驾驶实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出基于3D高斯表示的多模态融合框架GaussianFusion，通过连续3D高斯空间统一多模态特征，保留细节，支持多种3D感知任务，在nuScenes上检测NDS提升2.6，占用预测mIoU提升1.55且速度提升450%。

Comments ICLR 2026

Rosetta: Composable Native Multimodal Pretraining

Rosetta: 可组合的原生多模态预训练

Xiangyue Liu, Zijian Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Ping Tan

机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL

AI总结 提出Rosetta框架，通过动量锚定正交投影（MAOP）实现无损模态扩展，解决多模态预训练中的灾难性遗忘和梯度冲突问题。

Cross4D-JEPA: Dense Cross-modal Correspondence Distillation for 4D Point Cloud Representation Learning

Cross4D-JEPA: 用于4D点云表示学习的密集跨模态对应蒸馏

Trung Thanh Nguyen, Hai Nguyen-Truong, Tu Vo, Hoang M. Truong, Tuan-Anh Vu

机构 * Nagoya University（名古屋大学） ； Northeastern University（东北大学） ； KC Machine Learning Lab（KC机器学习实验室） ； University of Science, Vietnam National University Ho Chi Minh City（胡志明市越南国立大学理科大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出Cross4D-JEPA，通过教师-学生框架将冻结的2D基础模型（如DINOv2或V-JEPA 2）的密集补丁特征蒸馏到4D点编码器，实现每点对应和潜在空间匹配，在四个基准上优于模态内和全局跨模态基线。

Divide and Conquer: Decoupled Representation Alignment for Multimodal World Models

分而治之：多模态世界模型的解耦表示对齐

Junyuan Xiao, Dingkang Liang, Xin Zhou, Yixuan Ye, Tongtong Su, Guangmo Yi, Bin Xia, Qiang Lyu, Shurui Shi, Jun Huang, Jianlou Si, Wenming Yang

机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； CSU（中南大学） ； ZJU（浙江大学） ； CUHK（香港中文大学） ； UCAS（中国科学院大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 提出M²-REPA方法，通过解耦扩散模型中间表示中的模态特定特征并与对应的专家基础模型对齐，实现多模态视频生成中多种基础模型先验的充分利用，显著提升视觉质量和长期一致性。

Comments Accepted to ECCV 2026

QuaMoE-DRF: Proactive Beam and Rate Adaptation via Multimodal Dynamic Radio Map Forecasting in ISAC Networks

QuaMoE-DRF：ISAC网络中通过多模态动态无线电地图预测实现主动波束和速率自适应

Zhihan Zeng, Kaihe Wang, Zhongpei Zhang, Chongwen Huang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对静态无线电地图无法捕捉移动物体短时遮挡的问题，提出QuaMoE-DRF框架，通过质量感知的多模态动态无线电地图预测未来波束SINR场，联合优化波束、MCS和速率，在动态城市基准上实现402.5 Mbps有效速率和0.0417中断概率。

Learning When to Listen: Gated Affect Fusion for Human Motion Prediction

学习何时倾听：用于人体运动预测的门控情感融合

Jingni Huang

机构 * University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出门控情感变换器（GAT）动态调节跨模态信息流，解决无约束视频中情感特征与姿态融合的噪声问题，证明面部情感仅在短中期（如30帧）提供有限预测线索。

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

醒来触摸！多模态大语言模型中的掩码隔离触觉对齐学习

Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

机构 * Division of Artificial Intelligence & Software（人工智能与软件系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出Splash框架，通过参数空间划分（休眠/关键子空间）实现非破坏性触觉模态扩展，在不增加推理开销下保持视觉语言能力，在触觉基准上达到SOTA。

Comments ECCV 2026, Project page: http://mmai.ewha.ac.kr/splash/

ECoSim: Data Efficient Fine-Tuning for Controllable Traffic Simulation

ECoSim：面向可控交通模拟的数据高效微调

Yu-Hsiang Chen, Wei-Jer Chang, Yi-Ting Chen, Masayoshi Tomizuka

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出轻量级控制适应框架，通过身份初始化的FiLM层调制中间特征，为预训练的扩散和自回归交通模型添加多模态控制（草图、潜在行为编码和文本），使用不到1%的配对数据实现强可控性。

Comments European Conference on Computer Vision (ECCV) 2026

Information-Regularized Attention for Visual-Centric Reasoning

信息正则化注意力用于以视觉为中心的推理

Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型中的对象幻觉、视觉基础弱和灾难性遗忘问题，提出信息正则化注意力机制，通过随机注意力显式调控视觉信息注入，改善表示学习稳定性。

Comments Accepted by ECCV 2026

RC-GeoCP: Geometric Consensus for Radar-Camera Collaborative Perception

RC-GeoCP：雷达-相机协同感知的几何一致性

Xiaokai Bai, Lianqing Zheng, Runwei Guan, Siyuan Cao, Songkai Wang, Huiliang Shen

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； School of Automotive Studies, Tongji University（同济大学汽车学院） ； Thrust of Artificial Intelligence, Hong Kong University of Science and Technology（香港科技大学人工智能研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出首个4D雷达与相机协同感知框架RC-GeoCP，通过雷达锚定几何一致性解决深度模糊和空间分散导致的错位，实现高效通信与全局一致表示。

Comments 11 pages, 6 figures, 9 tables

BlowLive: Blow-Based Multi-Factor Biometrics with Liveness Detection and Revocability

BlowLive：基于吹气的多因素生物识别与活体检测及可撤销性

Eyasu Getahun Chekole, Howard Halim, Daniël Reijsbergen, Jianying Zhou

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出BlowLive框架，融合吹气声学信号与面部生物特征，采用模糊提取器生成稳定密钥进行认证，并引入多普勒频移活体检测，实现高精度、强安全与可撤销性。