多模态大模型

Proteo-R1: Reasoning Foundation Models for De Novo Protein Design

Proteo-R1：用于从头蛋白质设计的推理基础模型

Fang Wu, Weihao Xuan, Heli Qi, Hanqun Cao, Heng-Jui Chang, Zeqi Zhou, Haokai Zhao, Ma Jian, Carl Ma, Yu-Chi Cheng, Kuan Pang, Xiangru Tang, Zehong Wang, Guanlue Li, Hanchen Wang, Kejun Ying, Pan Lu, Chiho Im, Seungju Han, Peng Xia, Tinson Xu, Yinxi Li, Deyao Zhu, Pheng-Ann Heng, Naoto Yokoya, Masashi Sugiyama, Li Erran Li, Jure Leskovec, Yejin Choi

专题命中 多模态生成 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 针对现有从头蛋白质设计模型缺乏推理能力的问题，本文提出 Proteo-R1 双专家架构框架，通过 MLLM 识别关键功能残基作为硬约束，结合扩散模型实现稳定可解释的蛋白质设计。

Journal ref ICML 2026

HSSBench: Benchmarking Humanities and Social Sciences Ability for Multimodal Large Language Models

HSSBench: 多模态大语言模型在人文学与社会科学能力评估中的基准测试

Zhaolu Kang, Junhao Gong, Jiaxu Yan, Wanke Xia, Yian Wang, Ziwen Wang, Huaxuan Ding, Zhuo Cheng, Wenhao Cao, Zhiyuan Feng, Siqi He, Shannan Yan, Junzhe Chen, Xiaomin He, Chaoya Jiang, Wei Ye, Kaidong Yu, Xuelong Li

机构 * National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院） ； Tsinghua University（清华大学） ； Chinese Academy of Sciences（中国科学院） ； University of British Columbia（不列颠哥伦比亚大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 HSSBench是一个专门评估多模态大语言模型在人文学与社会科学任务能力的基准测试，包含多语言样本，通过协作生成数据提升跨学科推理能力。

Comments ICLR 2026 (OpenReview: https://openreview.net/forum?id=iQsKotob31)

MRIComp4Flow: Compression of 3D Brain MRI for Training Multi-Modal Generative Models

MRIComp4Flow：用于训练多模态生成模型的三维脑部MRI压缩

Lisa K. Fischer, Mykhailo Riabets, Daniel Rueckert, Benedikt Wiestler, Anke Meyer-Baese, Sandeep Nagar

机构 * Technical University of Munich (TUM)（慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Imperial College London（帝国理工学院） ； Florida State University（佛罗里达州立大学） ； Institute for Advanced Study, TUM (TUM-IAS)（慕尼黑工业大学高等研究院） ； TUM University Hospital（慕尼黑工业大学医院） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对大规模多模态MRI的存储与I/O问题，采用JPEG2000或JPEG-LS压缩三维脑肿瘤MRI，在20:1压缩率下训练Wavelet Flow Matching模型，证实其合成质量与未压缩数据训练的模型相当，为可扩展三维MRI生成建模提供了实用方案。

Comments Accepted: MICCAI 2026 SASHIMI workshop

LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning

LaViT：对齐潜在视觉思维以进行多模态推理

Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung

机构 * City University of Hong Kong（香港城市大学） ； University of Science and Technology of China（中国科学技术大学） ； Utrecht University（乌特勒支大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LaViT通过对齐潜在视觉思维提升多模态推理能力，实现视觉感知增强和模型性能突破。

TimeRoute: Time-Aware Modality Routing and Diffusion for Multi-Modal Recommendation

TimeRoute：面向多模态推荐的时间感知模态路由与扩散模型

Pengyu Zhang, Yangqin Jiang, Klim Zaporojets, Congfeng Cao, Paul Groth

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 TimeRoute通过时间感知模态路由器和带FiLM的双流去噪扩散图重构器，解决多模态推荐的模态时间尺度不匹配问题，在三个公开数据集上提升了推荐指标。

Disentanglement of Variations with Multimodal Generative Modeling

Yijie Zhang, Yiyang Shen, Weiran Wang

机构 * Department of Computer Science University of Iowa（计算机科学系 印第安纳大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Comments 22 pages, 14 figures, 7 tables

Journal ref International Conference on Learning Representations (ICLR), 2026

Linguistically-Aligned and Visually-Grounded Preference Optimization for Clinically-Augmented Medical Report Generation

面向临床增强型医疗报告生成的语言对齐与视觉 grounded 的偏好优化

Qiang Hu, Yuxuan Luo, Yingjie Guo, Hao Wang, Qimei Wang, Qiang Li, Zhiwei Wang

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对现有医疗报告生成方法的临床事实错误与视觉-语言对齐不足问题，提出DPO-Clin框架，通过ECD模块、M²DPO及反事实偏好数据构建提升模型可靠性，在多医学数据集上取得优异性能。

Comments Accepted by ECCV 2026

FoR-SALE: Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing

FoR-SALE：基于参考坐标系引导的LLM驱动扩散编辑中的空间调整

Tanawan Premsri, Parisa Kordjamshidi

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Michigan State University（密歇根州立大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 FoR-SALE是SLD的扩展，通过参考坐标系引导的潜在空间操作调整图像朝向与深度，在三个空间理解基准上仅单轮校正就将SOTA T2I模型性能提升最高7.0个百分点，解决了非相机视角空间表达的生成偏差问题。

Comments Published in COLM 2026. 10 main pages, 4 tables, 4 figures

DreamOmni3: Scribble-based Editing and Generation

DreamOmni3：基于涂鸦的编辑与生成

Bin Xia, Bohao Peng, Jiyang Liu, Sitong Wu, Jingyao Li, Junjia Huang, Xu Zhao, Yitong Wang, Ruihang Chu, Bei Yu, Jiaya Jia

机构 * CUHK（香港中文大学） ； ByteDance Inc（字节跳动公司） ； HKUST（香港科技大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 DreamOmni3通过结合文本、图像和自由手绘涂鸦，实现更灵活的图形用户界面编辑与生成，解决了复杂编辑任务中的数据创建和框架设计问题。

Scale-CDA: A Scalable Retrofit Platform for Cooperative Driving Automation in Production Vehicles

Scale-CDA：一款用于量产车的、可扩展的原型，旨在普及AI辅助的协同驾驶自动化（CDA）

Hao Zhou, Shengming Yuan, Yuhang Wang, Alina Hagen, Haibin Wen

专题命中 多模态生成 ：MLLM(abstract_cn)

AI总结 本研究提出Scale-CDA这一开源工具链，基于OpenDBC与Openpilot构建，成本低于1000美元，可实现AI辅助CDA的即插即用改装，通过多车辆测试验证了其低时延与数据隐私保护能力，为普及协同自动驾驶提供了实用方案。