多模态大模型

MedPMC: A Systematic Framework for Scaling High-Fidelity Medical Multimodal Data for Foundation Models

MedPMC：一种用于为基础模型扩展高保真医学多模态数据的系统框架

Hyunjae Kim, Dain Kim, Pan Xiao, Serina S. Applebaum, Younjoon Chung, Xuguang Ai, Yu Yin, Roy Jiang, Yuexi Du, Yawen Wei, Yiming Kong, Tuo Guo, Zhiyuan Cao, Mengmeng Du, Yuelei Fu, Yan Hu, Rui Shi, Gui Yang, Kevin W. Jin, Yuntian Liu, Yuxuan Tian, Jonathan Marquez, Zhen Chen, Sheng Zhang, Hoifung Poon, Hua Xu, Jaewoo Kang, Qingyu Chen

机构 * Yale University（耶鲁大学） ； Korea University（韩国大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； The University of Queensland（昆士兰大学） ； The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心） ； University of Washington（华盛顿大学） ； Microsoft Research（微软研究院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 研究针对医学多模态基础模型受高质量临床数据限制问题，提出MedPMC框架，将文献转化为高保真基础设施。经实验，该框架整理大量图像-文本对，在多方面评估表现出色，训练模型在多基准测试和临床场景中效果显著，还公开相关资源。

Platonic Representations for Poverty Mapping: Unified Vision-Language Codes or Agent-Induced Novelty?

贫困地图绘制的柏拉图式表示：统一的视觉语言代码还是智能体诱导的新颖性？

Satiyabooshan Murugaboopathy, Connor T. Jerzak, Adel Daoud

机构 * AI and Global Development Lab（人工智能与全球发展实验室） ； Institute for Analytical Sociology（分析社会学研究所） ； Institute of Computer Science（计算机科学研究所） ； Department of Government（政府系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.AI

AI总结 研究社会经济指标在卫星图像和网络文本中的信息印记，开发多模态框架经五条管道预测家庭财富，贡献包括融合视觉与文本提升预测、发现部分表示对齐证据、发布大规模多模态数据集。

Comments ICSC 2026

Unveiling the Visual Counting Bottleneck in Vision-Language Models

揭示视觉语言模型中的视觉计数瓶颈

Xingzhou Pang, Yifan Hou, Junling Wang, Mrinmaya Sachan

机构 * Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 通过分解视觉计数为三个认知阶段，发现视觉语言模型在符号映射阶段失败，提出断裂数量假说：模型学习到分离的模态特定统计流形，无法实现跨模态对齐。

Comments ICML 2026

Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation

用于机器人操作的视觉-语言-动作模型中的双潜记忆

Hongyu Qu, Jianzhe Gao, Xiaobin Hu, Shaohuan Yang, Xinlei Yu, Rui Yan, Wenguan Wang, Xiangbo Shu, Shuicheng Yan

机构 * Nanjing University of Science and Technology（南京理工大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对主流VLA模型处理长期任务的不足，提出LaMem-VLA框架，通过四个协调组件将历史经验重构为潜记忆令牌并与VLA推理直接交织，实现在同一潜空间处理历史经验，经实验验证该框架具有优越性。

Comments Project page: https://github.com/quhongyu/LaMem-VLA

Creativity from Friction: Human-AI Interaction for Exploratory Structural Design

摩擦产生创造力：用于探索性结构设计的人机交互

Ricardo Maia Avelino, Rita Sevastjanova, Tom Van Mele, Philippe Block, Mennatallah El-Assady

机构 * Block Research Group, Department of Architecture, ETH Zurich（建筑系，苏黎世联邦理工学院） ； IVIA Lab, Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 探讨当前生成式AI目标与结构设计师等创作者需求的偏差，提出允许受限人机共同创作的系统设计维度，通过试点设计界面和专家研究，展示其对设计空间探索的支持及设计师看法。

Comments Accepted at ICML 2026, Workshop on Human-AI Co-Creativity

LEMUR 2: Unlocking Neural Network Diversity for AI

LEMUR 2：释放人工智能的神经网络多样性

Tolgay Atinc Uzun, Waleed Khalid, Saif U Din, Sai Revanth Mulukuledu, Akashdeep Singh, Chandini Vysyaraju, Raghuvir Duvvuri, Avi Goyal, Yashkumar Rajeshbhai Lukhi, Muhammad A. Hussain, Krunal Jesani, Usha Shrestha, Yash Mittal, Roman Kochnev, Pritam Kadam, Mohsin Ikram, Harsh R. Moradiya, Alice Arslanian, Dmitry Ignatov, Radu Timofte

机构 * University of Würzburg（维尔茨堡大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 LEMUR 2旨在释放神经网络多样性，通过统一生成、评估和部署管道，利用多种方式生成超14000个不同架构及大量训练记录，采用特定管道进行自动部署和延迟基准测试，涵盖多模态任务，为LLM微调提供数据基础，推动相关新兴范式发展。

Comments 10 pages, 9 figures, 1 table

A Good Initialization is All You Need for Faithful Visual Attribution

忠实视觉归因只需一个良好的初始化

Zihan Gu, Jiayu Wang, Hua Zhang, Yue Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 图文多模态 ：MLLM(abstract)；分类 cs.CV

AI总结 研究忠实视觉归因中掩码优先问题，介绍CoPAIR和TRACE两种仅向前方法，用于构建紧凑的top-k证据掩码。在多个模型和任务上实验，初始化搜索方法达新前沿，TRACE+贪心在多模态语言模型归因中表现优，直接的TRACE掩码有高修复率。

Activation Quantization of Vision Encoders Needs Prefixing Registers

视觉编码器的激活量化需要前缀寄存器

Seunghyeon Kim, Taesun Yeom, Jinho Kim, Wonpyo Park, Kyuyeun Kim, Jaeho Lee

机构 * POSTECH ； Dankook University（Dankook 大学） ； Google（谷歌） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出RegCache算法，通过引入前缀标记减少视觉编码器中的异常值，提升低比特量化模型性能，尤其在极低比特情况下效果显著。

Comments Accepted to ECCV 2026. Code: https://github.com/spbob0418/RegCache

UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

UP：用于打破探索-稳定性困境的无界正不对称优化

Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin

机构 * ByteDance Seed（字节跳动种子） ； Michigan State University（密歇根州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究针对强化学习探索-稳定性困境，提出无界正不对称优化（UP）方法，通过特殊设计重组优化过程，在多种算法、模型架构及训练模式下增强探索能力，实现卓越推理精度，是通用即插即用的强化学习训练增强方法。