多模态大模型

TCAP: Tri-Component Attention Profiling for Unsupervised Backdoor Detection in MLLM Fine-Tuning

TCAP: 面向MLLM微调中无监督后门检测的三组件注意力分析

Mingzu Liu, Hao Fang, Runmin Cong

机构 * School of Control Science and Engineering, Shandong University, Jinan, China（控制科学与工程学院，山东大学，济南，中国） ； Key Laboratory of Industrial Intelligent Systems, Shandong Province, China（山东省工业智能系统重点实验室，中国） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对微调即服务中的后门攻击，提出基于三组件注意力分布差异的无监督防御框架TCAP，通过高斯混合模型和EM投票聚合检测中毒样本。

Comments ICML 2026

FusionSense: Tri-Stage Near-Sensor Learning for Runtime-Adaptive Multimodal Edge Intelligence

FusionSense: 用于运行时自适应多模态边缘智能的三阶段近传感器学习

Sanggeon Yun, Ryozo Masukawa, Minhyoung Na, Hyunwoo Oh, Yoshiki Yamaguchi, Wenjun Huang, SungHeon Jeong, Mohsen Imani

机构 * University of California, Irvine（加州大学尔湾分校） ； Kookmin University（韩国国民大学） ； Shibaura Institute of Technology（武藏技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出FusionSense框架，通过三阶段训练（服务器端融合模型学习、过滤安全标签量化模态必要性、边缘融合模型压缩）实现近传感器分类器，在保持任务质量的同时大幅降低能耗和数据传输。

Comments Accepted to ISLPED 2026

Leveraging Large Language Models for Sentiment Analysis: Multi-Modal Analysis of Decentraland's MANA Token

利用大语言模型进行情感分析：Decentraland的MANA代币多模态分析

Xintong Wu, Peiting Tsai, Jing Yuan, Michael Yu, Greg Sun, Luyao Zhang

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Microsoft（微软） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CL

AI总结 本研究利用基于BERT的大语言模型对Decentraland的Discord社区进行情感分析，并结合多模态金融数据（历史价格、情感分数、交易量和市值）构建LSTM模型，发现多模态模型在MANA代币回报预测中显著优于仅基于价格的基线模型。

Uncovering the Latent Potential of Deep Intermediate Representations

揭示深度中间表示的潜在能力

Arnesh Batra, Arush Gumber, Aniket Khandelwal, Jashn Khemani, Anubha Gupta

机构 * SBILab, Indraprastha Institute of Information Technology Delhi, Delhi, India（SBILab，印度德里印度理工学院信息技术学院，德里，印度） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI

AI总结 通过几何与实证研究，提出层最优嵌入选择（LOES）和几何正则化损失（GeoReg），以非单调分布的任务相关信息选择判别性子空间并稳定表示几何，在多种架构和模态下优于基线方法。

Comments Accepted to ICML2026 as a Spotlight

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu

机构 * Department of Computer Science, Western University, London, Canada（加拿大伦敦西方大学计算机科学系） ； Department of Biochemistry, Western University, London, Canada（加拿大伦敦西方大学生物化学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Cuttlefish，一种统一多模态大语言模型，通过缩放感知适配器和几何基础适配器，自适应调整结构令牌数量并注入几何线索，以提升异构结构推理性能。

Comments Accepted by ICML 2026

Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation

语义结构化混合专家用于组合机器人操作

Chengyu Deng, Guanqi Chen, Yizhou Chen, Zejia Liu, Zhiwen Ruan, Guanhua Chen, Jia Pan

机构 * The University of Hong Kong（香港大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 提出语义结构化混合专家扩散策略（SMoDP），通过视觉语言模型标注的技能语义指导专家专业化，实现参数高效的多任务组合操作。

Comments Accepted to Robotics: Science and Systems (RSS) 2026

Hazard-Responsive Digital Twin for Climate-Driven Urban Resilience and Equity

面向气候驱动的城市韧性与公平的灾害响应数字孪生

Zhenglai Shen, Hongyu Zhou

机构 * Buildings and Transportation Science Division, Oak Ridge National Laboratory（奥克伍德国家实验室建筑与交通科学部门） ； Civil and Environmental Engineering, University of Tennessee（田纳西大学土木与环境工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出一种灾害响应数字孪生（H-RDT），结合物理信息神经网络、多模态数据融合和公平感知风险分析，在合成区域中验证其能维持温度预测稳定性、自适应融合多源数据、识别高脆弱性区域，并通过前瞻性干预降低热风险。

Comments 52 pages, 9 figures

Journal ref Sustainable Cities and Society 144 (2026) 107413