多模态大模型

Platonic Representations for Poverty Mapping: Unified Vision-Language Codes or Agent-Induced Novelty?

贫困地图绘制的柏拉图式表示：统一的视觉语言代码还是智能体诱导的新颖性？

Satiyabooshan Murugaboopathy, Connor T. Jerzak, Adel Daoud

机构 * AI and Global Development Lab（人工智能与全球发展实验室） ； Institute for Analytical Sociology（分析社会学研究所） ； Institute of Computer Science（计算机科学研究所） ； Department of Government（政府系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.AI

AI总结 研究社会经济指标在卫星图像和网络文本中的信息印记，开发多模态框架经五条管道预测家庭财富，贡献包括融合视觉与文本提升预测、发现部分表示对齐证据、发布大规模多模态数据集。

Comments ICSC 2026

Unveiling the Visual Counting Bottleneck in Vision-Language Models

揭示视觉语言模型中的视觉计数瓶颈

Xingzhou Pang, Yifan Hou, Junling Wang, Mrinmaya Sachan

机构 * Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 通过分解视觉计数为三个认知阶段，发现视觉语言模型在符号映射阶段失败，提出断裂数量假说：模型学习到分离的模态特定统计流形，无法实现跨模态对齐。

Comments ICML 2026

Activation Quantization of Vision Encoders Needs Prefixing Registers

视觉编码器的激活量化需要前缀寄存器

Seunghyeon Kim, Taesun Yeom, Jinho Kim, Wonpyo Park, Kyuyeun Kim, Jaeho Lee

机构 * POSTECH ； Dankook University（Dankook 大学） ； Google（谷歌） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出RegCache算法，通过引入前缀标记减少视觉编码器中的异常值，提升低比特量化模型性能，尤其在极低比特情况下效果显著。

Comments Accepted to ECCV 2026. Code: https://github.com/spbob0418/RegCache

Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval

Omni-Embed-Audio: 利用多模态大语言模型实现鲁棒的音频-文本检索

HaeJun Yoo, Yongseop Shin, Insung Lee, Myoung-Wan Koo, Du-Seong Chang

机构 * Sogang University（首尔大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出Omni-Embed-Audio（OEA）检索编码器，利用多模态大语言模型原生理解音频，并通过用户意图查询（UIQ）和硬负样本挖掘，在文本到音频检索中达到与M2D-CLAP相当的性能，同时在文本到文本检索和硬负样本判别上显著优于现有方法。

Comments Accepted at ACL 2026 Main Conference. Camera-ready version

DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression

DASH：动态音频驱动的语义分块以实现高效的多模态令牌压缩

Bingzhou Li, Tao Huang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tongji University（同济大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 DASH通过动态音频驱动的语义分块方法，有效压缩多模态令牌，提升推理效率，优于传统固定窗口分块和注意力剪枝方法。

Comments ECCV 2026

From Content to Audience: A Multimodal Annotation Framework for Broadcast Television Analytics

从内容到受众：一种多模态注释框架用于广播电视分析

Paolo Cupini, Francesco Pierri

机构 * Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano, Italy（意大利米兰理工大学电子、信息与生物工程系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种多模态注释框架，用于广播电视内容分析，通过构建特定领域的基准测试，评估不同管道架构在广播新闻中的表现，展示了框架在受众分析中的应用价值。

EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation

EventVGGT：探索跨模态蒸馏以实现一致的基于事件的深度估计

Yinrui Ren, Jinjing Zhu, Kanghao Chen, Zhuoxiao Li, Jing Ou, Zidong Cao, Tongyan Hua, Peilun Shi, Yingchun Fu, Wufan Zhao, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（珠海）） ； CUHK（香港中文大学） ； SCNU（华南师范大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 EventVGGT通过跨模态蒸馏实现一致的基于事件的深度估计，有效提升深度预测精度和泛化能力。

Comments Accepted to ECCV 2026

Let the Dynamics Flow: Stable Flow Matching Dynamical Systems

让动力学流动：稳定的流匹配动力系统

Rodrigo Pérez-Dattari, Francisco Leiva, Andrea Testa, Leonel Rozo, Javier Ruiz del Solar, Noémie Jaquier

机构 * Department of Robotics, Perception, and Learning, KTH Royal Institute of Technology（机器人、感知与学习系，皇家理工学院） ； Advanced Mining Technology Center (AMTC) and Department of Electrical Engineering, Universidad de Chile（先进采矿技术中心（AMTC）和电气工程系，智利大学） ； Bosch Center for Artificial Intelligence, Renningen, Germany（博世人工智能中心，德国Renningen） ； Italian Institute of Artificial Intelligence (AI4I), Turin, Italy（意大利人工智能研究所（AI4I），意大利都灵） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 提出稳定流匹配动力系统（SFMDS）框架，通过流匹配参数化动力系统并施加李雅普诺夫稳定性约束，实现稳定、可扩展、多模态的机器人运动生成。

FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning

FDRMFL：基于信息最大化和对比学习的多模态联邦特征提取模型

Haozhe Wu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对非IID数据分布下联邦回归的多模态特征提取难题，提出FDRMFL框架，通过统一的四项局部目标应对挑战，实验表明该框架能有效降低平均MSE，在六种联邦算法中表现最佳。

Comments Accepted author manuscript; published version DOI: 10.1016/j.asoc.2026.115874

Journal ref Applied Soft Computing 202 (2026) 115874

Sycamore: Characterizing Synthetic Personas for Evaluating Genomics Visualization Retrieval

Sycamore：用于评估基因组可视化检索的合成身份表征

Huyen N. Nguyen, Astrid van den Brandt, Nils Gehlenborg

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 Sycamore通过三种条件探针设计评估基因组可视化检索系统，探讨合成身份在真实用户反馈中的表现及影响。

Comments 8 pages, 6 figures

Multi-Modal Beamforming with Model Compression and Modality Generation for V2X Networks

用于车联网的基于模型压缩和模态生成的多模态波束成形

Chen Shang, Dinh Thai Hoang, Jiadong Yu

专题命中 多模态生成 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 针对6G车联网中ISAC范式的不足，提出基于分层Transformer的多模态学习框架BeamTransFuser，利用跨模态相关性提升波束预测性能，开发剪枝方案减少延迟，引入生成模型处理模态缺失，实验证明该方案优于现有基线。

Comments 15 pages, 5 figures

Journal ref IEEE Transactions on Mobile Computing, 2026

JuZhou 1.0 Technical Report: The First Edge-Native Text-to-Image Foundation Model Trained Entirely on China-Developed AI Accelerators

JuZhou 1.0 技术报告：首个完全在中国开发的AI加速器上训练的边缘原生文本到图像基础模型

Ce Chen, Congrui Wang, Yonglin Li, Zhenchen Wan, Mingyang Geng, Junhao Xiao, Zhengpeng Xing, Yaqing Hu, Yao Wu, Zhaoyang Qu, Long Lan, Xinwang Liu, Yingqi Peng, Shijia Li, Zufeng Zhang, Chen Ma, Jingjing Zhou, Xingyu Wang, Qilin Lu, Bin Jiang, Qilin Sun, Shanzhi Gu, Yaoguang Jin, Tongliang Liu, Kede Ma, Yifan Peng

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出JuZhou 1.0，一个超轻量级文本到图像基础模型，通过紧凑骨干网络、Rectified Flow训练、DMD2蒸馏和中文语义对齐，实现完全离线设备端运行，性能优于SDXL等模型。

Structured drift design for denoising diffusion models

去噪扩散模型的结构化漂移设计

Mahsa Taheri

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出几何感知Ornstein-Uhlenbeck过程，通过方差感知各向异性漂移嵌入数据几何结构，改善扩散模型对多模态、高相关分布的模式分离和相关性保持。

Bifidelity Parameter Estimation Using Conditional Diffusion Models

使用条件扩散模型的双保真参数估计

Caroline Tatsuoka, Minglei Yang, Dongbin Xiu, Guannan Zhang

机构 * UT-Battelle, LLC（UT-巴特勒公司） ； US Department of Energy（美国能源部） ； The Ohio State University（俄亥俄州立大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； Oak Ridge（橡树岭） ； Computer Science and Mathematics Division（计算机科学与数学 division） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 针对复杂系统参数估计不确定性量化，提出双保真方法。先构建低保真条件生成模型，特定情况时用其细化采样空间，再训练高保真无条件生成模型，经数值示例和实际应用验证了方法的有效性。

MMEarth-Bench: Global Model Adaptation via Multimodal Test-Time Training

MMEarth-Bench：通过多模态测试时训练进行全局模型适配

Lucia Gordon, Serge Belongie, Christian Igel, Nico Lang

机构 * Harvard University, USA（哈佛大学，美国） ； University of Copenhagen, Denmark（哥本哈根大学，丹麦） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对地理空间机器学习中现有基准数据集不足，引入含多模态任务的MMEarth-Bench，通过多模态测试时训练方法提升模型性能，改善地理泛化能力。

Comments Published at ECCV 2026

GrandTour: A Legged Robotics Dataset in the Wild for Multi-Modal Perception and State Estimation

GrandTour: 一种用于多模态感知与状态估计的野外腿式机器人数据集

Turcan Tuna, Jonas Frey, Frank Fu, Katharine Patterson, Tianao Xu, Maurice Fallon, Cesar Cadena, Marco Hutter

机构 * ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； UC Berkeley（伯克利大学） ； Oxford University（牛津大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 GrandTour数据集为多模态感知与状态估计提供了大规模野外腿式机器人数据，支持SLAM和高精度状态估计的研究与开发。

Comments Turcan Tuna, and Jonas Frey contributed equally. Submitted to Sage The International Journal of Robotics Research

Explain Before You Answer: A Survey on Compositional Visual Reasoning

回答之前先解释：组合视觉推理综述

Fucai Ke, Joy Hsu, Zhixi Cai, Zixian Ma, Xin Zheng, Xindi Wu, Sukai Huang, Weiqing Wang, Pari Delir Haghighi, Gholamreza Haffari, Ranjay Krishna, Jiajun Wu, Hamid Rezatofighi

机构 * Monash University（墨尔本大学） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； Griffith University（格里菲斯大学） ； Princeton University（普林斯顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 综述2023年至2025年组合视觉推理文献，形式化核心定义，追溯范式转变，编目基准指标，提炼见解、识别挑战并概述方向，为该领域提供统一分类、历史路线图和批判性展望。

Comments Project Page: https://github.com/pokerme7777/Compositional-Visual-Reasoning-Survey

The Schwurbelarchiv: a German Language Telegram dataset for the Study of Conspiracy Theories

Schwurbelarchiv：一个用于研究阴谋论的德语Telegram数据集

Mathias Angermaier, Elisabeth Hoeldrich, Jana Lasser, Joao Pinheiro Neto

专题命中 多模态评测 ：multimodal(abstract)

AI总结 该研究构建了一个包含5800个群组和6300万条消息的Telegram数据集，通过解析和清洗原始数据，提供了研究德语阴谋论 discourse 的研究级资源。

Comments This paper is 20 pages, 2 figures, 4 tables, and one dataset

Counterfactual Modeling with Fine-Tuned LLMs for Health Intervention Design and Sensor Data Augmentation

基于微调大语言模型的反事实建模用于健康干预设计与传感器数据增强

Shovito Barua Soumma, Asiful Arefeen, Stephanie M. Carpenter, Melanie Hingle, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院） ； School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； School of Nutritional Sciences and Wellness, University of Arizona（亚利桑那大学营养科学与健康学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文研究利用微调后的大型语言模型生成高质量反事实解释，用于健康干预设计和传感器数据增强，实验表明LLM生成的反事实能有效提升模型性能，具有临床应用价值。

Comments IEEE Open Journal of Engineering in Medicine and Biology (Volume: 7), Date of Publication: 28 May 2026. Page(s): 232-240

Journal ref IEEE Open Journal of Engineering in Medicine and Biology (Volume: 7), Date of Publication: 28 May 2026. Page(s): 232-240; Electronic ISSN: 2644-1276

A data fusion approach for mobility hub impact assessment and location selection: integrating hub usage data into a large-scale mode choice model

一种用于移动枢纽影响评估和选址的数据融合方法：将枢纽使用数据整合到大规模出行选择模型中

Xiyuan Ren, Joseph Y. J. Chow

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出一种数据融合方法，将移动枢纽使用数据整合到大规模出行选择模型中，评估枢纽对出行需求、出行方式转换、减少车辆行驶里程和增加消费者剩余的影响。

Journal ref Transportation Research Part A, 211 (2026), 105138

EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models

EMO-R3：多模态大语言模型中用于情感推理的反射强化学习

Yiyang Fang, Wenke Huang, Pei Fu, Yihao Yang, Kehua Su, Zhenbo Luo, Jian Luan, Mang Ye

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型情感推理难题，提出EMO-R3框架。引入结构化情感思维并设计反射情感奖励，经大量实验验证，该框架显著提升模型可解释性与情商，在多视觉情感理解基准测试中表现出色。

Comments Accepted by CVPR 2026

RoadFed: A Multimodal Federated Learning System for Improving Road Safety

RoadFed：用于提高道路安全的多模态联邦学习系统

Yachao Yuan, Zhen Yu, Yali Yuan, Xingyu Chen, Yingwen Wu, Thar Baker

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对道路危险检测，提出多模态联邦学习系统RoadFed，包含多模态检测器、通信高效联邦学习法及局部差分隐私方法，在真实世界和公共数据集上实验，其准确率高、延迟低、通信成本低，能跨模态跨边缘协作训练并保护隐私。

HART: High-Resolution Annotation-Free Reasoning Technique through a Closed-loop Framework

无需标注的高分辨率大多模态模型视觉推理技术

Jiacheng Yang, Anqi Chen, Yunkai Dang, Qi Fan, Cong Wang, Wenbin Li, Feng Miao, Yang Gao

机构 * State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室） ； Institute of Brain-inspired Intelligence（脑启发式智能研究院） ； Shenzhen Research Institute of Nanjing University（南京大学深圳研究院） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 HART通过闭环框架和AP-GRPO方法，实现无需外部标注的高分辨率视觉推理，提升多模态模型在高分辨率任务中的性能。