多模态大模型

See & Sniff: Learning Visuo-Olfactory Representations

See & Sniff: 学习视觉-嗅觉表征

Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Hankuk University of Foreign Studies（韩国外国语大学） ； Ulsan National Institute of Science and Technology（蔚山科学技术院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出SmellNet-V数据集和See & Sniff自监督框架，通过密集局部对齐学习联合视觉-嗅觉表征，实现气味分类、跨模态检索和气味定位，性能提升7%。

Comments ECCV 2026. Project Page: https://mm.kaist.ac.kr/projects/SeeandSniff/

From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations

从点击到意图：基于LLM提炼分类法的跨平台会话嵌入用于金融服务推荐

Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

机构 * Capital One 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。

Comments Dianjing Fan and Yao Li equally contributed to this work. 7 pages, 1 figure

Geometry-Aware Superpixel Graph Transformer with Metadata for Skin Lesion Classification

几何感知超像素图变换器结合元数据用于皮肤病变分类

Muhammad Azeem, Tanveer Hussain, Amr Ahmed, Ardhendu Behera

机构 * Edge Hill University（埃奇希尔大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种基于区域的图学习框架，将病变建模为超像素图，利用几何边属性和元数据上下文节点，通过边缘感知图变换器实现多模态融合，在四个公开数据集上取得优于现有方法的分类性能。

Comments Accepted at MICCAI 2026

Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval

生成一个Paracosm用于免训练零样本组合图像检索

Tong Wang, Yunhan Zhao, Shu Kong

机构 * University of Macau（澳门大学） ； UC Irvine（伊丽莎白女王大学） ； Institute of Collaborative Innovation（协同创新研究院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Paracosm方法，通过大多模态模型直接生成“心理图像”并构建合成域，实现免训练的零样本组合图像检索，在多个基准上达到最优性能。

Comments Accepted to ECCV 2026. Website and code: https://leowangtong.github.io/Paracosm/

Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning

Visual-OPSD：用于高效统一多模态推理的跨模态在策略自蒸馏

Pengyu Li, Zhitao Gao, Lingling Zhang, Muye Huang, Yuanming Li, Fangzhi Xu, Jun Liu

机构 * Xi’an Jiaotong University（西安交通大学） ； MOE KLINNS Lab（MOE KLINNS实验室） ； Shaanxi Province Key Laboratory of Big Data Knowledge Engineering（陕西省大数据知识工程重点实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(title)；分类 cs.CV

AI总结 提出Visual-OPSD方法，通过跨模态在策略自蒸馏，将多步扩散生成的可视化思维推理能力转移到纯文本学生模型，实现14.3倍加速且性能提升3.40个百分点。

BrepCoder: A Unified Multimodal Large Language Model for Multi-task B-rep Reasoning

BrepCoder: 用于多任务B-rep推理的统一多模态大语言模型

Mingi Kim, Yongjun Kim, Jungwoo Kang, Hyungki Kim

机构 * Chungnam National University（全南国立大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 提出BrepCoder，一种统一的多模态大语言模型，通过将CAD建模序列转换为类Python代码并与B-rep对齐，采用两阶段训练策略，实现从B-rep输入执行多种CAD任务，包括补全、纠错和问答。

Reconstruction Alignment Improves Unified Multimodal Models

重建对齐改进统一多模态模型

Ji Xie, Trevor Darrell, Luke Zettlemoyer, XuDong Wang

机构 * UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Duke University（杜克大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出重建对齐（RECA），一种资源高效的后训练方法，利用视觉理解编码器嵌入作为密集文本提示，通过自监督重建损失对齐理解与生成，显著提升多种统一多模态模型的生成和编辑性能。

Comments 43 pages, 36 figures and 14 tables; accepted by ICLR 2026

Semantic Generative Tuning for Unified Multimodal Models

语义生成微调用于统一多模态模型

Songsong Yu, Yuxin Chen, Ying Shan, Yanwei Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent ARCLab（腾讯ARCLab） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出语义生成微调（SGT）方法，通过将高阶语义任务作为生成代理，统一多模态模型的感知与生成能力，提升多模态理解和生成质量。

Comments 14 pages, 13 figures

Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

Ask, Solve, Generate: 通过自一致性奖励实现自我进化的统一多模态理解与生成

Ritesh Thawkar, Shravan Venkatraman, Omkar Thawakar, Abdelrahman Shaker, Fahad Khan, Hisham Cholakkal, Salman Khan, Rao Muhammad Anwer

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出一个自我进化的训练框架，通过内部角色（提议者、求解者、生成者）和自一致性信号，无需人工标注或外部奖励模型，同时提升统一多模态模型的理解与生成能力。

Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning

位置重绑定缓存复用：交错多模态推理中无重放的视觉重访

Mengzhao Wang, Yanli Ji, Wangmeng Zuo, Peng Ye, Chongjun Tu

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Harbin Institute of Technology (HIT)（哈尔滨工业大学） ； Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出位置重绑定缓存复用（PRCR）框架，通过重绑历史视觉KV缓存的位置坐标，实现无重放的高效视觉重访，在多个多模态推理基准上平均准确率提升5%，计算量减少数万倍。

TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models

TF-TI2I：通过文本到图像模型中的多模态隐式上下文学习实现无需训练的文本与图像到图像生成

Teng-Fang Hsiao, Bo-Kai Ruan, Yi-Lun Wu, Tzu-Ling Lin, Hong-Han Shuai

机构 * National Yang Ming Chiao Tung University 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV

AI总结 提出无需训练的TF-TI2I方法，利用MM-DiT架构中文本标记隐式学习视觉信息，通过参考上下文掩码和胜者全取模块实现选择性信息共享，并引入FG-TI2I基准，在复杂图像生成任务中表现稳健。

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

安全自回归图像生成与迭代自改进码本

Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对自回归统一多模态模型生成图像的安全性问题，提出迭代自改进码本方法，利用模型自身判断不安全图像并修正码本映射，消除有害输出并保证生成质量。

Comments 10 pages including references, 8 figures, accepted for publication at the 43rd International Conference on Machine Learning (ICML 2026)

Proposal-Conditioned Latent Diffusion for Closed-Loop Traffic Scenario Generation

基于提议条件的闭环交通场景生成潜扩散模型

Shubham Vaijanath Phoolari, Aleyna Kara, Christoph Lauer, Steven Peters

机构 * CARIAD SE ； Technical University of Munich（慕尼黑工业大学） ； Institute of Automotive Engineering (FZD), TU Darmstadt（达姆施塔特工业大学汽车工程研究所（FZD）） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种基于实例场景上下文和多模态提议先验的扩散框架，通过紧凑动作潜表示和提议初始化提升采样效率，实现闭环交通场景的逼真、安全且可控生成。

Comments Accepted for publication at the IEEE International Conference on Intelligent Transportation Systems (ITSC), 2026

TAVR-VLM: Risk-Conditioned Causal Grounding for Hallucination-Resistant Report Generation

TAVR-VLM：面向抗幻觉报告生成的风险条件因果基础

Zhixiang Lu, Xiwei Liu, Sifan Song, Changkai Ji, Anh Nguyen, Jionglong Su, Imran Razzak, Jinfeng Wang

机构 * Xi’an Jiaotong-Liverpool University（西交利物浦大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Liverpool（利物浦大学） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出TAVR-VLM框架，通过风险条件因果注意力（R-CGA）建立“风险→区域→词”的结构化基础路径，在TAVR规划中减少诊断幻觉，实现新最优性能。

CogAD: Cognitive-Hierarchy Guided End-to-End Autonomous Driving

CogAD: 认知层次引导的端到端自动驾驶

Zhennan Wang, Jianing Teng, Canqun Xiang, Kangliang Chen, Xing Pan, Lu Deng, Weihao Gu

机构 * HAOMO.AI Technology Co., Ltd（HAOMO.AI技术有限公司） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出CogAD模型，通过全局到局部的层次感知和意图条件多模态轨迹生成，模拟人类驾驶员的认知层次机制，在nuScenes和Bench2Drive上实现端到端规划的最优性能，尤其在长尾场景和复杂真实驾驶条件下表现优异。

Comments CVPR2026 Workshop on Autonomous Driving

Accessing both electrochemical SEIRA and SERS with ultrasensitive metamaterials for enhanced molecular identification

利用超灵敏超材料同时实现电化学SEIRA和SERS以增强分子识别

Nicolas Spiesshofer, Tabitha Jones, Sarah May Sibug Torres, Zoltan Sztranyovszky, Caleb Todd, Shijie Zhu, Yeeun Roh, Rakesh Arul, Alexander Squires, Ivana Qianqi Lin, Angela Demtriadou, David O. Scanlon, Viv Lindo, Jeremy J. Baumberg

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出一种电化学可清洁的超材料，实现流动中实时联合SEIRA和SERS，通过纳米间隙折射率变化（1400 nm/RIU）实现超灵敏检测，并追踪分子电化学转化和对称性破缺。

MoGeFlow: Flowing Through Motion Codebook Geometry for Text-to-Motion Generation

MoGeFlow: 通过运动码本几何流动实现文本到运动生成

Pengcheng Fang, Tengjiao Sun, Xiaoyu Zhan, Xiaohao Cai, Dongjie Fu

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出MoGeFlow模型，利用运动码本的几何结构，通过连续流生成运动码帧，替代离散码预测，在多个基准上取得最优结果。

LITMUS: Bayesian Lag Recovery in Reverberation Mapping with Fast Differentiable Models

LITMUS：基于快速可微模型的贝叶斯滞后恢复在回波测绘中的应用

Hugh McDougall, Tamara M. Davis, Benjamin J. S. Pope

专题命中 多模态生成 ：multimodal(abstract)

AI总结 LITMUS利用快速可微模型实现回波测绘中滞后恢复，通过处理季节观测窗口的多模态混叠问题，提高滞后验证的准确性，显著优于现有方法JAVELIN。

Comments 17 Pages, 10 Figures

Journal ref pasa.2026.10149

FlameVQA: A Physically-Grounded UAV Wildfire VQA Benchmark with Radiometric Thermal Supervision

FlameVQA: 一个基于辐射热监督的物理基础无人机野火VQA基准

Mobin Habibpour, John Spodnik, Niloufar Alipour Talemi, Fatemeh Afghah

机构 * National Science Foundation（国家科学基金会） ； NASA（美国国家航空航天局） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出FlameVQA，一个基于FLAME 3数据集的无人机野火多选视觉问答基准，利用配对的RGB和辐射热TIFF图像实现温度基础的推理，评估了多种MLLM在检测、定位、覆盖估计等任务上的表现。

SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context

SocialPersona: 基于多模态社交媒体上下文的个性化画像与回复基准测试

Qinkai Zhang, Yanyan Zhao, Xin Lu, Yulin Hu, Pengtao Han, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 提出SocialPersona基准，评估多模态大语言模型从社交媒体时间线推断用户偏好并用于对话的能力，实验表明模型在细粒度与近期偏好上表现不足。

Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review

AI审稿人是否看到全貌？攻击与防御多模态同行评审

Xinyu Zhao, Rana Muhammad Shahroz Khan, Zhen Xu, Zhen Tan, Tianlong Chen

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 针对AI同行评审易受多模态对抗攻击的问题，提出PaperGuard基准，包含多领域数据集、统一攻击套件和基于分块嵌入搜索的实用防御方法。

Comments Accepted to ICML 2026, Project Page: https://paper-guard.github.io/

GO: The Great Outdoors Multimodal Dataset

GO: 大户外多模态数据集

Peng Jiang, Kasi Viswanath, Akhil Nagariya, George Chustz, Maggie Wigness, Philip Osteen, Timothy Overbye, Christian Ellis, Long Quang, Jia Huang, Srikanth Saripalli

机构 * Mike Walker ’66 Department of Mechanical Engineering, Texas A&M University, College Station, TX, USA（迈克·沃克66机械工程系，德克萨斯A&M大学，学院站，德克萨斯州，美国） ； DEVCOM Army Research Laboratory, Adelphi, MD, USA（陆军研究实验室，阿德菲，马里兰州，美国） ； University of Texas at Austin Center for Autonomy, Austin, TX, USA（德克萨斯大学奥斯汀分校自主性中心，奥斯汀，德克萨斯州，美国） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)

AI总结 针对非结构化环境中地面机器人研究，提出包含六种互补传感器模态的大规模多模态越野数据集，支持语义分割、目标检测和SLAM等任务，以提升退化条件下的鲁棒性。

Comments 7 pages, 7 figures, accepted at IV 2026

MMGist: A Comprehensive Multimodal Benchmark for 2027

MMGist：面向2027年的综合多模态基准

Wenzhen Yuan, Jiacheng Ruan, Wutao Xiong, Chengping Zhao, Ting Liu, Yuzhuo Fu

机构 * SJTU（上海交通大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对现有视觉语言基准的视觉依赖不足、性能饱和及异常项问题，提出MMGist基准，通过三阶段过滤构建7,262项，覆盖7个能力维度，在保持模型排名高保真度（Spearman ρ=0.98）的同时减少69%评估项并提升78%跨模型区分度。

Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation

Unison: 通过协同理解与生成对统一多模态模型进行基准测试

Jinyu Liu, Xincheng Shuai, Henghui Ding, Yu-Gang Jiang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Unison基准，包含2169个统一任务样本，通过内部一致性、理解引导生成、生成引导理解和相互增强四个维度评估统一多模态模型的协同能力，并引入Unison-Judge评估模型确保可靠性。

Comments ICML 2026

When Does Quality-Aware Multimodal Fusion Matter? A Leakage-Safe Diagnostic for Decision-Level Dependence

质量感知多模态融合何时重要？一种针对决策级依赖的泄漏安全诊断方法

Jaden Moon, Arvind Pillai, Andrew Campbell

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 eess.AS

AI总结 提出一种诊断方法，通过置换测试检验多模态融合中可靠性分数是否真正影响决策，实验表明仅当可靠性信号能预测单模态正确性时才有效。

Comments Accepted to INTERSPEECH 2026. 5 pages, 1 figure, 5 tables

What We are Missing in Multimodal LLM Evaluation?

我们在多模态大语言模型评估中缺失了什么？

Po-han Li, Shenghui Chen, Sandeep Chinchali, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文分析现有多模态大语言模型评估基准的不足，识别出时空连贯性、物理世界理解、多模态一致性和选择性注意等关键缺失，强调填补这些空白对衡量多模态智能真实进展的重要性。

\chisao{}: A GPU-Native Parallel Optimizer for Multimodal Black-Box Functions via Convergence-Anticonvergence Oscillation

Chisao: 一种基于收敛-反收敛振荡的多模态黑盒函数的GPU原生并行优化器

Ira Wolfson

机构 * Braude College of Engineering（布劳德工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出GPU原生群体优化器Chisao，通过收敛-反收敛振荡循环逃离局部陷阱并冻结确认模态，在42个基准函数上实现100%模态恢复，速度提升达39倍。

Comments 22 pages, 4 Appendixes

MetaboNet-Bench: A Multi-modal Benchmark for Glucose Forecasting in Type 1 Diabetes

MetaboNet-Bench：1型糖尿病血糖预测的多模态基准

Nathaniel Jeffries, Miriam Wolff, Sam Royston, Elizabeth Healey, Caleb Mayer, David Klonoff, Michael Snyder, Tao Wang

机构 * Department of Genetics, Stanford University School of Medicine（斯坦福大学医学院遗传学系） ； Replica Health ； Boston Children’s Hospital, Harvard Medical School（哈佛医学院波士顿儿童医院） ； Diabetes Research Institute, Mills-Peninsula Medical Center（米尔斯半岛医学中心糖尿病研究所） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)

AI总结 针对1型糖尿病血糖预测算法缺乏标准化评估基准的问题，提出MetaboNet-Bench多模态基准，集成血糖、胰岛素和碳水化合物数据，通过多个模型对比验证多模态数据对模型性能的影响。

Comments main content in 10 pages with 5 figures; supplementary section with 11 more pages and 5 more figures. v2: fix figure 4 and 5's misordering

A Multimodal Domain-Adversarial Network for Fragmentation Background Suppression in AMS Heavy Nuclei Measurements

用于AMS重核测量中碎裂本底抑制的多模态域对抗网络

Zhen Liu, Valerio Formato, Muhammad Waqas

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对AMS重核测量中碎裂本底问题，提出多模态域对抗网络，融合硅径迹仪和飞行时间探测器数据，通过域对抗训练实现模拟到飞行数据的迁移，有效抑制本底。

Comments 16 pages, 13 figures, 1 table

Sign Language Recognition in the Age of LLMs

在大语言模型时代的手语识别

Vaclav Javorek, Jakub Honzik, Ivan Gruber, Tomas Zelezny, Marek Hruz

机构 * University of West Bohemia（西波西米亚大学） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 多模态评测 ：multimodal(abstract,comments)；分类 cs.CV、cs.CL

AI总结 研究探讨现代VLMs在零样本条件下进行孤立手语识别的能力，发现开源模型表现欠佳，而大模型在精度上表现突出，强调模型规模和训练数据多样性的重要性。

Comments Accepted at the CVPR 2026 Workshop on Multimodal Sign Language Research (MSLR), 8 pages, 3 figures

Journal ref Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2026, pp. 10511-10519