多模态大模型

HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction

HiPath: 用于结构化病理报告预测的分层视觉-语言对齐

Ruicheng Yuan, Zhenxuan Zhang, Anbang Wang, Liwei Hu, Xiangqian Hua, Yaya Peng, Jiawei Luo, Guang Yang

机构 * College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Department of Bioengineering and Imperial-X, Imperial College London（帝国理工学院伦敦校区生物工程系） ； Department of Pathology, Xiangtan Maternal and Child Health Hospital（湘潭 maternal and child health hospital pathology department） ； Department of Pathology, The First People’s Hospital of Xiangtan City（湘潭市第一人民医院病理科） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出HiPath框架，通过分层补丁聚合器、对比学习和槽位掩码诊断预测，在冻结UNI2和Qwen3骨干上实现结构化病理报告预测，准确率达68.9%，安全率97.3%。

Comments 10 pages, 1 figures, 3 tables

MedP-CLIP: Medical CLIP with Region-Aware Prompt Integration

MedP-CLIP：具有区域感知提示集成的医学CLIP

Jiahui Peng, He Yao, Jingwen Li, Yanzhou Su, Sibo Ju, Yujie Lu, Jin Ye, Hongchun Lu, Xue Li, Lincheng Jiang, Min Zhu, Junlong Cheng

机构 * Sichuan University（四川大学） ； Xinjiang University（新疆大学） ； Alibaba Group（阿里巴巴集团） ； Fuzhou University（福州大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Southwest Jiaotong University（西南交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MedP-CLIP，一种区域感知医学视觉语言模型，通过特征级区域提示集成机制，支持多种提示形式，在保持全局上下文的同时聚焦局部区域，在零样本识别、交互式分割等任务中显著优于基线方法。

Comments Accepted by Medical Image Analysis (MedIA)

Journal ref Medical Image Analysis, 113 (2026), 104193

MSPL: Multi-Step Pseudo-Labeling for Open-Vocabulary Object Detection

MSPL: 用于开放词汇目标检测的多步伪标签方法

Hojun Choi, Youngsun Lim, Jaeyo Shin, Hyunjung Shim

机构 * KAIST AI（韩国韩世大学AI研究所） ； Boston University（波士顿大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出MSPL框架，通过多步视觉推理（目标定位、类别识别、背景确认）生成伪标签，解决开放词汇检测中单步图像-文本匹配忽略中间推理步骤的问题，在OV-COCO和OV-LVIS上取得最优性能。

Comments This paper has been accepted by ECCV 2026

A novel Framework for Open-Vocabulary Multi-Object Recognition using CLIP

一种基于CLIP的开放词汇多目标识别新框架

Wei Yu Chen, Ying Dai

机构 * Faculty of Software and Information Science（软件与信息科学学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种两阶段开放词汇目标识别框架，先分割后识别，利用CLIP生成嵌入进行跨模态匹配，在多个数据集上达到最优性能。

An Approach to Simultaneous Acquisition of Real-Time MRI Video, EEG, and Surface EMG for Articulatory, Brain, and Muscle Activity During Speech Production

一种用于言语产生过程中发音、大脑和肌肉活动的实时MRI视频、脑电图和表面肌电图同步采集方法

Jihwan Lee, Parsa Razmara, Kevin Huang, Sean Foley, Aditya Kommineni, Haley Hsu, Woojae Jeong, Prakash Kumar, Xuan Shi, Yoonjeong Lee, Tiantian Feng, Takfarinas Medani, Ye Tian, Sudarsana Reddy Kadiri, Krishna S. Nayak, Dani Byrd, Louis Goldstein, Richard M. Leahy, Shrikanth Narayanan

机构 * Signal Analysis and Interpretation Laboratory, University of Southern California（南加州大学信号分析与解释实验室） ； Ming Hsieh Dept. of Electrical and Computer Engineering, University of Southern California（南加州大学明希斯电气与计算机工程系） ； Dept. of Linguistics, University of Southern California（南加州大学语言学系） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 本文首次实现了言语产生过程中实时MRI、EEG和表面EMG的同步采集，并提出了针对三模态设置的伪影抑制流程，为言语神经科学和脑机接口提供新视角。

Comments Accepted for Interspeech 2026

EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation

EchoFoley: 面向视频接地创意声音生成的事件中心层次化控制

Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

机构 * ByteDance Intelligent Creation（字节跳动智能创作） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Merced（加州大学默塞德分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出EchoFoley任务，通过事件级局部控制和层次化语义控制实现视频接地声音生成，构建EchoFoley-6k基准并设计EchoVidia框架，在可控性和感知质量上分别提升40.7%和12.5%。

Comments CVPR-2026 Main Conference

MILE: A Mechanically Isomorphic Hand Exoskeleton and Visuotactile Robotic Hand for Data Collection in Dexterous Manipulation

MILE：一种用于灵巧操作的指尖视觉触觉传感的机械同构外骨骼数据采集系统

Jinda Du, Jieji Ren, Qiaojun Yu, Ningbin Zhang, Yu Deng, Xingyu Wei, Yufei Liu, Guoying Gu, Xiangyang Zhu

机构 * State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China（机械系统与振动国家重点实验室，上海交通大学机械工程学院，上海200240，中国） ； Shanghai Key Laboratory of Intelligent Robotics, Shanghai Jiao Tong University, Shanghai 200240, China（智能机器人上海重点实验室，上海交通大学，上海200240，中国） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） ； Humanoid Robot (Shanghai) Co., Ltd., Shanghai, China（上海人形机器人有限公司，上海，中国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有灵巧操作数据采集系统运动重定向不准确、效率低、缺乏高分辨率指尖触觉传感的问题，提出MILE系统，通过从人手到外骨骼再到机械手的机械同构设计，实现无重定向精确控制，并集成指尖视觉触觉模块，采集多模态数据集，显著提升遥操作成功率。

Comments 18 pages including supplementary material. Main manuscript and supplementary material included in this version

CMADiff: Cross-Modal Aligned Diffusion for Controllable Protein Generation

CMADiff: 用于可控蛋白质生成的跨模态对齐扩散

Changjian Zhou, Yuexi Qiu, Jiafeng Li, Jia Song, Wensheng Xiang

专题命中 多模态生成 ：cross-modal(title)

AI总结 提出CMADiff框架，通过条件变分自编码器整合理化特征，并利用对比学习模块BioAligner对齐文本描述与蛋白质特征，实现基于文本驱动的可控蛋白质序列生成。

Ensemble Learning for Large Language Models in Text and Code Generation: A Survey

面向文本与代码生成的大语言模型集成学习综述

Mari Ashiga, Wei Jie, Fan Wu, Vardan Voskanyan, Fateme Dinmohammadi, Paul Brookes, Jingzhi Gong, Zheng Wang

机构 * School of Computing and Engineering, University of West London（西伦敦大学计算机与工程学院） ； Turing Intelligence Technology Limited（图灵智能科技有限公司） ； School of Computer Science, University of Leeds（利兹大学计算机科学学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了七种大语言模型集成方法（权重合并、知识融合、混合专家、奖励集成、输出集成、路由和级联），分析了它们在文本与代码生成中提升多样性、输出质量和应用灵活性的能力。

Comments Accepted by IEEE TAI 2025

Resonant Minds: Closed-Loop Social Avatars with Theory of Mind

共鸣心智：具备心智理论的闭环社交虚拟人

Jianxu Shangguan, Jing Xu, Hang Ye, Xiaoxuan Ma, Yizhou Wang, Jenq-Neng Hwang, Wentao Zhu

机构 * University of Washington（华盛顿大学） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Eastern Institute of Technology, Ningbo（宁波工程技术学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一个闭环双智能体框架，通过整合感知、社会推理（基于心智理论）和多模态生成，实现具备社交智能的虚拟人，并在信息不对称数据集上取得优于全信息脚本模式的对话质量。

Comments Project page: https://resonantminds.github.io/

FlowerDance: MeanFlow for Efficient and Refined 3D Dance Generation

FlowerDance: MeanFlow实现高效精细的3D舞蹈生成

Kaixing Yang, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Puwei Wang, Jun He, Hongyan Liu

机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Malou Tech Inc（Malou科技公司） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出FlowerDance，结合MeanFlow与物理一致性约束，以少量采样步骤生成高质量舞蹈，并采用BiMamba骨干和通道级跨模态融合实现高效非自回归生成，支持运动编辑，在AIST++和FineDance上达到最优。

Comments Accepted by ECCV 2026

Pathwise Learning of Stochastic Dynamical Systems with Partial Observations

部分观测下随机动力系统的路径学习

Nicole Tianjiao Yang

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出一种摊销路径生成方法，通过变分推断和受控SDE表示，从噪声观测中学习随机动力系统的滤波分布，实现不确定性量化。

CanadaFireSat: Toward high-resolution wildfire forecasting with multiple modalities

CanadaFireSat：面向多模态高分辨率野火预测

Hugo Porta, Emanuele Dalsasso, Jessica L. McCarty, Devis Tuia

机构 * EPFL（瑞士联邦理工学院） ； Université Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔INP，LJK实验室） ； NASA Ames Research Center, Earth Science Division（美国航空航天局阿姆斯研究中心，地球科学部门） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出CanadaFireSat基准数据集，利用多模态数据（高分辨率多光谱卫星图像、中分辨率卫星产品和环境因子）结合深度学习模型，实现加拿大100米分辨率野火预测，多模态输入在2023年野火季F1分数达60.3%。

Comments 37 pages, 11 figures. Published in ISPRS Journal of Photogrammetry and Remote Sensing (2026)

Journal ref ISPRS Journal of Photogrammetry and Remote Sensing, Volume 239, September 2026, Pages 555-572

Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting

响应感知的多模态学习用于治疗后视力预测

Phuoc-Nguyen Bui, Van-Vi Vo, Duc-Tai Le, Junghyun Bum, Van-Nguyen Pham, Ki-Young Kim, Seung-Young Yu, Hyunseung Choo

机构 * Research Convergence Institute（研究融合研究所） ； Sungkyunkwan University（全北大学） ； Dept. of AI Systems Engineering（人工智能系统工程系） ； Dept. of Ophthalmology（眼科系） ； Kyung Hee University Medical Center（庆熙大学医学院） ； Dept. of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ReVA框架，利用基线与第1个月OCT影像及表格数据，通过多模态融合预测糖尿病性黄斑水肿患者抗VEGF治疗后3-24个月的视力轨迹。

Comments To appear in MICCAI 2026

MOCHA: Multi-modal Objects-aware Cross-arcHitecture Alignment

MOCHA: 多模态对象感知的跨架构对齐

Elena Camuffo, Francesco Barbato, Mete Ozay, Simone Milani, Umberto Michieli

机构 * University of Padova（帕多瓦大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MOCHA蒸馏框架，将冻结VLM教师的多模态区域知识迁移至轻量视觉检测器，通过双重损失实现局部对齐与全局关系一致性，在少样本个性化检测中平均提升10.1%。

Comments 18 pages main paper, 10 pages supplementary material

Journal ref Proceedings of ECCV 2026

FISHER: A Foundation Model for Multi-Modal Industrial Signal Comprehensive Representation

FISHER：多模态工业信号综合表示的基础模型

Pingyi Fan, Anbai Jiang, Shuwei Zhang, Xinhu Zheng, Zhiqiang Lv, Bing Han, Wenrui Liang, Junjie Li, Wei-Qiang Zhang, Yanmin Qian, Xie Chen, Jia Liu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学智能感知与机器人研究院） ； Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系） ； Huakong AI Plus Company Limited（华冠AIplus有限公司） ； Didi International Business Group（滴滴国际商务集团） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI、cs.MM

AI总结 针对工业信号分析中的数据异质性（M5问题），提出FISHER基础模型，采用子带建模处理多采样率问题，通过教师-学生自蒸馏预训练，在19个数据集上以较小规模超越24个SOTA编码器。

Comments Accepted by IEEE TII. FISHER open-sourced on https://github.com/jianganbai/FISHER . RMIS open-sourced on https://jianganbai.github.io/RMIS

Quantifying mandibular positioning error and simulated temporomandibular joint-space changes in patient-specific occlusal splints

咬合定位夹板对颞下颌关节状况定量影响的评估

Agnieszka Anna Tomaka, Krzysztof Domino, Michał Tarnawski, Dariusz Pojda

机构 * Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息研究所） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种利用咬合定位夹板分析颞下颌关节配置的计算方法，通过多模态数据建模夹板作为下颌的刚体变换，评估定位精度并模拟关节空间变化。

Comments 28 pages, 9 figures