多模态大模型

SA-GEM: Scale-Adaptive and Geospatial Evidence-Modulated Token Pruning for Efficient Remote Sensing Large Vision-Language Models

SA-GEM：面向高效遥感大视觉语言模型的尺度自适应与地理空间证据调制型令牌剪枝

Kexin Ma, Jing Xiao, Bowen Xing, Liang Liao, Chia-Wen Lin

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文针对遥感大视觉语言模型高分辨率处理效率低的问题，提出SA-GEM即插即用剪枝框架，通过尺度自适应与地理空间证据调制实现效率与精度提升，在XLRS-Bench上超GeoLLaVA-8K 2.3%且推理提速2.4倍。

CRAFT: Constrained Reward via Attention Fine-Tuning for Subject Personalization without Composed Targets

CRAFT：无需组合目标的主题个性化的注意力微调约束奖励

Jihun Park, Kyoungmin Lee, Jongmin Gim, Hyeonseo Jo, Jaeyeul Kim, Han Zou, Zhenpeng Zhan, Yan Zhang, Sunghoon Im

机构 * DGIST（大邱科技研究院） ； Baidu, Inc.（百度公司） ； KAIST（韩国科学技术院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出无需组合目标监督的CRAFT框架，通过LoRA适配器微调参考感知MMDiT，仅用1万张参考样本，在XVerseBench上实现图像主题个性化的最先进性能，且可迁移至其他骨干网络。

Comments 20 pages, 8 figures, ACM SIGGRAPH Asia 2026

P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation

P2Fusion：基于提示的双先验蒸馏红外-可见光图像渐进融合

Yi Shi, Huichao Xie, Yuqing Wang, Mingyu Wang, Kaihui Yang, Yu Liu, Ruitao Lu, Lizhe Li, Junwei Han, Dingwen Zhang

机构 * Northwestern Polytechnical University（西北工业大学） ； Hefei University of Technology（合肥工业大学） ； Rocket Force University of Engineering（火箭军工程大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对红外-可见光图像融合的信息差异挑战，提出基于双固有提示的P2Fusion框架，结合Teach-to-Fuse机制与GDER模块，在多数据集上实现SOTA性能并提升下游感知鲁棒性。

Comments Accepted by ECCV 2026. Website: https://p2fusion.github.io

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

AWARe：基于激活加权的自适应保留缓解灾难性遗忘

Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院） ； Graduate School of Information Science, Hokkaido University（北海道大学信息科学研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型微调时的灾难性遗忘问题，提出无需修改架构的AWARe方法，通过激活加权控制参数更新，在保留上游能力的同时提升下游性能。

FM-LLM: A frequency-enhanced mixture-of-experts framework for adapting LLMs to time series forecasting

FM-LLM：一种用于适配大语言模型（LLMs）进行时间序列预测的频率增强型混合专家框架

Rentao Gu, Yihang Ding, Junjie Li, Yi Ding, Weijing Sang, Xiaoli Huo, Xin Qin, Yuefeng Ji

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； China Telecom Research Institute（中国电信研究院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI

AI总结 本研究提出FM-LLM框架，通过频谱标记对齐器与非对称MoE解码器等设计，在11个基准的多数指标上优于现有LLM基线，且具备良好迁移性。

Journal ref R. Gu, Y. Ding, J. Li, Y. Ding, W. Sang, X. Huo, X. Qin, and Y. Ji, Knowl.-Based Syst., vol.341, p.115776, 2026

ProtoHGF-Net: Prototype HyperGraph Fusion with Intra-modal Calibration for RGBT Object Detection

ProtoHGF-Net：用于RGBT目标检测的模态内校准原型超图融合网络

Xiangqi Chen, Xiuling Zhang, Chengzhuan Yang, Li Zhao, Dawei Zhang, Yanchao Wang, Liyuan Chen, Hua Wang, Hao Peng, Zhonglong Zheng

机构 * Zhejiang Normal University（浙江师范大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对现有RGBT目标检测方法密集跨模态交互易引入背景干扰的问题，提出ProtoHGF-Net框架，通过原型级语义交互与教师掩码校准蒸馏技术，在三个公开数据集上取得最优性能。

Comments Accepted to ACM MM 2026

BooST: Bridging Semantics and Motions for Efficient Skill Transfer

BooST：桥接语义与运动以实现高效的技能迁移

Jusuk Lee, Daesol Cho, Jonghun Shin, Seungyeon Yoo, Jonghae Park, Taekbeom Lee, H. Jin Kim

机构 * Seoul National University（首尔大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 BooST是桥接语义与运动的两阶段框架，通过跨模态VQ-VAE生成统一技能表示并蒸馏为轻量级策略，在仿真与真实机器人场景下实现了更优的少样本适配、跨领域技能迁移及鲁棒性。

Comments Project page: https://boost-robots.github.io/

Toward a Theory of Value in AI Alignment

迈向AI对齐中的价值理论

Andrew Smart, Shazeda Ahmed, Jackie Kay, Jimmy Tobin, Kris Shrishak, Abeba Birhane

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 本研究通过标注94篇AI价值对齐论文，发现多数未明确定义人类价值，转而依赖偏好，且采用合成数据等自动方法可能关闭价值践行路径，旨在明确该领域哲学承诺以丰富相关辩论。

Comments 15 pages, 2 figures

Financial Numerical Prediction and Allocation as Token Generation

金融数值预测与分配：以 token 生成的方式实现

Xu Ouyang, Moontae Lee

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出 FinATOM 框架，通过因果语言模型的 token 生成实现金融数值预测与 ETF 分配，在多组测试中显著提升了夏普比率与累计收益，验证了该方法的可行性。

Task-Adaptive 3D Cross-Field MRI Translation via Field-Conditioned Content-Style Pretraining

基于场条件内容-风格预训练的任务自适应3D跨场MRI转换

Haowen Pang, Yingqi Hao, Pengli Zhu

机构 * School of Integrated Circuits and Electronics, Beijing Institute of Technology（北京理工大学集成电路与电子学院） ； School of Biomedical Engineering, Tsinghua Medicine, Tsinghua University（清华大学医学院生物医学工程学院） ； Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系） 纠错

专题命中 多模态训练与对齐 ：any-to-any(abstract)；分类 cs.CV

AI总结 针对跨场MRI转换的域偏移问题，提出基于场条件内容-风格预训练的3D非配对转换框架，适配三项挑战赛任务，可保留三维解剖结构。

Comments MICCAI 2026 Workshop on MRIxFields

Decoding Phenotypes: A Framework for Fusing Genomic Language Models and Neuroimaging

解码表型：融合基因组语言模型与神经成像的框架

Tianli Tao, Ziyang Wang, Emma Robinson, Rachel Sparks, Le Zhang

机构 * King’s College London（伦敦国王学院） ； Aston University（阿斯顿大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究提出多模态框架GeneFuse，整合GLM遗传表征与神经成像特征，在NC vs. MCI、NC vs. AD任务上分别获0.77、0.83的AUROC，性能优于现有方法。

Predictive Failure Detection in Network Hardware Using Thermal Imaging and Deep Learning with Sensor Fusion

基于热成像与传感器融合深度学习的网络硬件预测性故障检测

Ashly Joseph

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 该研究提出结合热成像与电源传感器数据的多模态深度学习模型，经ROI预处理后可实现网络硬件早期故障的高精度预测，为数据中心主动维护提供支撑。

Journal ref Proceedings of the 2025 3rd International Conference on Data Science and Network Security (ICDSNS), Tiptur, India, 25-26 July 2025, Institute of Electrical and Electronics Engineers (IEEE), pp. 1-6

CFGPNet: Cross-Attention-Based Fused Gradient Programmed Network Framework for Multispectral Object Detection

CFGPNet：用于多光谱目标检测的基于交叉注意力的融合梯度编程网络框架

Nima Hatami, Karim Faez, Saeed Sharifian, Hamidreza Amindavar

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文针对现有RGB-T目标检测方法的跨模态交互不足等问题，提出CFGPNet框架，采用改进GELAN骨干、CrossCEA模块等设计，在五个多光谱基准数据集上取得优异性能，实现精度与效率的良好权衡。

Overcoming Attention Drift: Homogeneity-Heterogeneity Guided Feature Aggregation for Low-Light Remote Sensing Image Enhancement

克服注意力漂移：面向低光照遥感图像增强的同质性-异质性引导特征聚合

Yaozi Zhong, Xingxing Yang, Shaohui Mei, Mingyang Ma

机构 * School of Information and Artificial Intelligence, Yunnan University of Finance and Economics（云南财经大学信息与人工智能学院） ； Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系） ； School of Electronics and Information, Northwestern Polytechnical University（西北工业大学电子信息学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对低光照遥感图像增强中现有方法的注意力漂移问题，提出双先验驱动的HALO框架，通过H2CAM模块融合同质性与异质性先验，在8个基准上实现SOTA性能，提升边界清晰度与色彩保真度。

Comments 10 pages, 7 figures, 7 tables. Yaozi Zhong and Xingxing Yang contributed equally. Code: https://github.com/AlexYangxx/HALO

Grad-CAM for Vision Transformers: A Systematic Taxonomy and Audit of Methodological Ambiguity in Explainable AI

用于视觉Transformer的Grad-CAM：可解释AI中方法歧义的系统分类与审计

Casey Wall, Longwei Wang, Rodrigue Rizk, KC Santosh

机构 * University of South Dakota（南达科他大学） ； USD Artificial Intelligence Research（南达科他大学人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文对175篇应用Grad-CAM于视觉Transformer（ViT）的论文开展审计，提出ViT Grad-CAM适配的系统分类，指出其常被误为CNN版Grad-CAM的简单扩展，存在方法选择未明确的问题。

RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection

RegisterBridgeMM：一种以寄存器为核心的RGB-红外目标检测框架

Zian Wang, Hangchuan Liang, Yuehua Chen, Changchun Li, Chaoyi Guo, Mingzhe Liu, Fangming Gu

机构 * Jilin University（吉林大学） ； Taiyuan University of Technology（太原理工大学） ； Shenzhen University（深圳大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对RGB-红外目标检测的跨模态融合难题，提出以寄存器为核心的RegisterBridgeMM框架，通过三阶段寄存器生命周期实现高效融合，在四个基准数据集上取得最高mAP50-95性能。

RUTA: Principled Visual Token Allocation via Rate-Utility Optimization

RUTA：基于率-效用优化的原则性视觉令牌分配方法

Jian Zou, Xiaoyu Xu, Zhihua Wang, Yilin Wang, Balu Adsumilli, Kede Ma

机构 * City University of Hong Kong（香港城市大学） ； Google Inc.（谷歌公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型因长视觉令牌序列导致的LLM侧计算和内存成本过高问题，提出RUTA方法，仅用2.0%、4.2%的视觉令牌，分别在LLaVA-NeXT-7B、Qwen3-VL-8B上保留88.2%、94.4%的任务性能。

SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models

SlimVLM：面向高效视觉-语言模型的感知敏感性动态结构化剪枝与自适应视觉token选择

Yaozhi Wen, Jialong Guo, Zhenliang Ni, Han Shu, Xinghao Chen

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 SlimVLM是一种结构化剪枝框架，通过自适应视觉token选择和感知敏感性动态剪枝机制，在压缩视觉-语言模型的同时保持性能，在多模态基准测试中达到最优。

DRPFNet: Dual-domain Residual Progressive Fusion Network for RGB-Thermal Object Detection

DRPFNet：用于RGB-热成像目标检测的双域残差渐进融合网络

Zian Wang, Changchun Li

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对现有RGB-T目标检测方法的跨尺度知识继承不足、噪声抑制弱及信息退化问题，提出DRPFNet，通过结构、特征、增强三级协同优化，在公开数据集上实现了兼具竞争力与高效性的检测性能。

Comments Accepted at ICME 2026

CalibBEV: LiDAR-Camera Calibration via BEV Alignment

CalibBEV：基于鸟瞰图对齐的激光雷达-相机标定方法

Filippo D'Addeo, Lorenzo Cipelli, Adriano Cardace, Emanuele Ghelfi, Andrea Zinelli, Massimo Bertozzi

机构 * University of Bologna（博洛尼亚大学） ； University of Parma（帕尔马大学） ； Stanford University（斯坦福大学） ； VisLab srl（VisLab有限公司） ； Ambarella Inc.（安霸公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 CalibBEV是一种激光雷达-相机标定方法，通过两步BEV对齐结合CLIP对比损失实现跨模态统一，在KITTI、nuScenes基准上大幅降低了标定误差，达到最优性能。

Journal ref Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2026. p. 4345-4354

Sen-Cap: Sensor-Flexible and Noise-Resilient Human Motion Capture via LiDAR-Camera Integration

Sen-Cap：基于激光雷达-相机融合的传感器灵活且抗噪的人体运动捕捉框架

Aoru Xue, Yujing Sun, Yiming Ren, Kwok-Yan Lam, Mao Ye, Yuexin Ma

机构 * ShanghaiTech University（上海科技大学） ； Digital Trust Centre, Nanyang Technological University（南洋理工大学数字信托中心） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 Sen-Cap是一种无需传感器间校准的激光雷达-相机融合人体运动捕捉框架，通过跨传感器运动估计器与抗噪轨迹跟踪器实现灵活部署与强鲁棒性，在多数据集上达最优性能，适用于真实场景。

Comments 16 pages, 8 figures, 4 tables. Accepted at ECCV 2026. Aoru Xue and Yujing Sun contributed equally. Yuexin Ma is the corresponding author

Messages, Not Tokens: Grounded Coresets for Faithful VLM Compression

消息而非令牌：用于忠实VLM压缩的基础核心集

Long Qian, Jiaqi Wei, Bingke Zhu, Yingying Chen, Jinqiao Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Wuhan AI Research（武汉人工智能研究院） ； Cardiff University（卡迪夫大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对VLM视觉令牌压缩的现有缺陷，提出无需训练的GMC方法，通过联合分配多维度证据支持并传输被丢弃状态，在大幅减少视觉令牌的同时保持VLM性能，经多基准实验验证有效。

Comments 32 pages, 6 figures, 18 tables, including appendix

TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference

TELLER：面向大语言模型推理的非侵入式跨层根因分析

Ruilin Xu, Junyi Li, Pengfei Chen, Zongxuan Xie

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 TELLER是面向LLM推理的非侵入式跨层根因分析框架，通过跟踪与日志结合实现异常定位与自然语言解释，在多节点GPU工作负载上兼具高效压缩与诊断性能，为LLM推理RCA提供实用支撑。

Comments 12 pages, 1 figure, 9 tables. Accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Parameter-Dynamic Adaptive Fusion and Calibration Network for RGBT Tracking

用于RGBT跟踪的参数动态自适应融合与校准网络

Zhaoding Ding, Chenglong Li, Jiandong Jin, Kewei Ying, Wentao Wu

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有RGBT跟踪器融合参数无法适配目标状态变化的问题，提出PAFCNet，通过TA-HyperNet生成目标条件参数，实现动态融合与时序校准，在多RGBT跟踪基准上取得竞争力性能。

Comments 9 pages,4 figures; Under review

Dynamic Resolution Routing for Efficient Egocentric Grounding

面向高效自我中心 grounding 的动态分辨率路由

Huixin Sun, Wangbo Zhao, Fanyue Wei, Qiuxia Lin, Pengzhan Sun, Angela Yao

机构 * National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对自我中心视觉 grounding 中视觉 token 处理成本过高的问题，提出 SmartRes 框架，通过动态分辨率路由减少视觉 token，在 Ego4D 等数据集上实现 token 缩减与性能提升，代码将公开。

Semantic Alignment of AI Models: Concept Collapse, Checkpoint Dynamics, and Cross-Lingual Transfer

AI模型的语义对齐：概念坍缩、检查点动态与跨语言迁移

Tyler Ashoff, Jordan Rodu

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CL

AI总结 该研究针对语言模型基准测试的难点，提出用拓扑方法将模型高维嵌入空间与可解释基线严格比较，以实现多模态对齐，追踪模型适应并测试跨语言短语理解。

Comments Code available at github.com/tylerashoff/persiscope (PyPI: persiscope)

No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks

无单一失效神经元：针对白盒攻击的分布式安全对齐

Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

机构 * The University of Sydney（悉尼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有安全对齐方法的单点失效问题，提出分布式安全对齐（DSA），通过冗余编码安全能力提升模型对抗白盒神经元级攻击的鲁棒性，且保留通用语言与多模态效用。

Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models

面向医学视觉基础模型的位置感知细粒度表示学习

Myeongkyun Kang, Yanting Yang, Xiaoxiao Li

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（矢量研究所） 纠错

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV

AI总结 本研究提出基于位置感知细粒度表示学习的医学视觉基础模型LoFi，构建大规模医学定位数据集MedG，在多项医学视觉任务中性能优于现有模型。

SpatialAfford: Teaching Compact VLMs Where to Look and Where to Ground for Affordance

SpatialAfford：教紧凑视觉语言模型（VLMs）关注何处与定位何处以实现 affordance

Yufei Zhang, Chenlu Zhan, Donghui Sun, Xiaoxin Chen, Hongwei Wang

机构 * Zhejiang University（浙江大学） ； Vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 SpatialAfford 是一个两阶段框架，通过空间注意力对齐和空间感知 GRPO，使紧凑 4B VLMs 在多个基准上的 affordance 定位性能优于更强的 7B+ 基线模型。

DS@GT ARC at MEDIQA-CORE-Task-1 2026: Trimodal Model Fusion with Task-Specific Gates for Brain Tumor Subtype Classification

DS@GT ARC团队参与2026 MEDIQA-CORE-Task-1：采用带任务特定门控的三模态模型融合进行脑肿瘤亚型分类

Hoang Thanh Thanh Truong, Charles R. Clark

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Florida（佛罗里达大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 DS@GT ARC团队针对2026 MEDIQA-CORE-Task-1，提出带任务特定门控的三模态模型融合方法，结合多类嵌入与报告，获全多模态下0.801宏F1，排名第二。

Comments CLEF 2026 Working Notes, 21 - 24 September 2026, Jena, Germany