多模态大模型

LookWise: Knowing When and Where to Look for Fine-Grained Visual Reasoning in Multimodal Large Language Models

LookWise: 知道何时何地关注多模态大语言模型中的细粒度视觉推理

Yuxiang Shen, Hailong Huang, Zhenkun Gao, Xueheng Li, Man Zhou, Chengjun Xie, Haoxuan Che, Xuanhua He, Jie Zhang

机构 * Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences（智能机器研究所，合肥物理科学研究院，中国科学院） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出LookWise框架，通过置信度模块和语义引导定位模块实现自适应视觉推理，无需额外训练即可提升细粒度推理精度并加速推理。

Boosting Multimodal Federated Learning via Chained Modality Optimization

通过链式模态优化提升多模态联邦学习

Zixin Zhang, Fan Qi, Shuai Li, Xiaoshan Yang, Changsheng Xu

机构 * School of Computer Science and Engineering, Tianjin University of Technology, Tianjin, China（天津理工大学计算机科学与工程学院） ； Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所） ； College of Computer Science, Inner Mongolia University, Hohhot, Inner Mongolia, China（内蒙古大学计算机学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对多模态联邦学习中模态竞争导致全局模型次优的问题，提出FedMChain框架，通过分阶段优化、误差补偿正则化和稀疏符号引导聚合，提升预测性能并降低通信开销。

AnomSeer: Reinforcing Multimodal LLMs to Reason for Time-Series Anomaly Detection

AnomSeer: 增强多模态大语言模型进行时间序列异常检测的推理能力

Junru Zhang, Lang Feng, Haoran Shi, Xu Guo, Han Yu, Yabo Dong, Duanqing Xu

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 提出AnomSeer，通过专家思维链和基于最优传输的时间序列接地策略优化，增强多模态大语言模型在时间序列异常检测中的细粒度推理能力，统一异常分类、定位和解释。

Comments ICML 2026

Property Prediction of Stacked Bilayer Materials: A Multimodal Learning Approach

堆叠双层材料的性质预测：一种多模态学习方法

An Vuong, Minh-Hao Van, Chen Zhao, Xintao Wu

机构 * University of Arkansas（亚拉巴马大学） ； Baylor University（贝勒大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种多模态学习方法，通过联合建模不同材料层间的界面，预测给定配置下垂直堆叠产生的性质，实验证明其有效性和高效性。

Comments Accepted to the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026)

Multimodal Function Vectors for Visual Relations

视觉关系的多模态函数向量

Shuhao Fu, Esther Goldberg, Ying Nian Wu, Hongjing Lu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 通过因果中介分析提取多模态函数向量，操纵注意力头以改善视觉关系推理，并实现零样本和微调性能提升。

MoRE: A Mixture-of-Experts-Based Task-Adaptive End-to-End Network for Multimodal MRI Reconstruction

MoRE：一种基于混合专家模型的任务自适应端到端网络用于多模态MRI重建

Yuyang Li, Yipin Deng, Wenlei Shang, Juncen Wu, Xin Bai, Zijian Zhou, Peng Hu

专题命中 其他多模态 ：multimodal(title)

AI总结 提出MoRE，将稀疏激活的混合专家模块集成到端到端变分网络中，通过样本级无监督路由激活最小专家子集并保持物理一致性，在fastMRI多线圈脑部和膝关节数据集上实现高稳定SSIM和PSNR，且路由嵌入的t-SNE可视化揭示可解释的模态感知专家专业化。

Comments Accepted at the 2026 48th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC 2026), Toronto, Canada, July 26-30, 2026

MindZero: Learning Online Mental Reasoning With Zero Annotations

MindZero：零标注的在线心智推理学习

Shunchi Zhang, Jin Lu, Chuanyang Jin, Yichao Zhou, Zhining Zhang, Tianmin Shu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 提出MindZero框架，通过自监督强化学习训练多模态大语言模型，实现高效鲁棒的在线心智推理，无需显式心智状态标注。

Comments ICML 2026. Website: https://scai.cs.jhu.edu/MindZero

Encoded but Not Routed: Explaining the Table-Chart Gap in Scientific Claim Verification

编码但未路由：解释科学声明验证中的表格-图表差距

Sunisth Kumar, Xanh Ho, Tim Schopf, Andre Greiner-Petter, Florian Boudin, Akiko Aizawa

机构 * The University of Tokyo（东京大学） ； NII LLMC（日本信息处理学会LLMC） ； National Institute of Informatics（日本信息处理研究所） ； University of Göttingen（哥廷根大学） ； Inria, LS2N, Nantes Université（法国国家信息与自动化技术研究院（Inria）、LS2N实验室、南特大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 通过分层线性探测和注意力分析，发现多模态大语言模型在科学声明验证中，图表信息被编码但未路由到预测位置，导致表格与图表表现差距。

Flow-Transformed Implicit Processes for Function-Space Variational Inference

流变换隐式过程用于函数空间变分推断

Luis A. Ortega, Andrés R. Masegosa, Thomas D. Nielsen

机构 * Aalborg University（奥尔堡大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)

AI总结 提出流变换隐式过程（FTIP），通过归一化流增强组合权重的变分分布，从而在函数空间中捕获非对称、重尾和多模态后验结构，并使用黑盒α目标进行优化。

Comments 24 pages, 4 figures, 10 tables. Pre-print submitted for revision

SweetFruit: A Two-Stage Mobile Sensing System for Real-Time Fruit Sugar Estimation

SweetFruit：一种用于实时水果糖分估计的两阶段移动传感系统

Mark Cardamis, Yanxiang Wang, Chun Tung Chou, Wen Hu

专题命中 其他多模态 ：multimodal(abstract)

AI总结 提出一种两阶段移动传感系统SweetFruit，结合ToF深度相机和近红外光谱仪，通过3D深度学习分类和回归网络实现水果糖分无接触实时估计，分类准确率超90%，糖度估计RMSE为0.57 Brix。

Weak Enforcement and Low Compliance in PCI DSS: A Comparative Security Study

PCI DSS 中的弱执行与低合规：一项比较安全研究

Soonwon Park, John D. Hastings

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 通过比较分析 PCI DSS 与 HIPAA、NIS2 和 GDPR 的执行机制，发现 PCI DSS 的制裁力度远低于其他框架，且其依赖银行的监控模式存在结构性缺陷，建议加强非金钱制裁并设立独立监管机构以提高合规率。

Comments 6 pages, 1 figure, 7 tables

Journal ref 2026 IEEE 14th International Symposium on Digital Forensics and Security (ISDFS)

A Unified Framework for Multiple-Try Metropolis: Construction and Empirical Benchmarks

多重尝试Metropolis的统一框架：构建与实证基准

Renny Doig, Liangliang Wang

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文在involutive MCMC框架下统一了多重尝试Metropolis算法，通过模拟实验评估了提议分布配置和候选数对非高斯多峰目标分布采样效率的影响。