多模态大模型

Multi-Modal Beamforming with Model Compression and Modality Generation for V2X Networks

用于车联网的基于模型压缩和模态生成的多模态波束成形

Chen Shang, Dinh Thai Hoang, Jiadong Yu

专题命中 多模态生成 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 针对6G车联网中ISAC范式的不足，提出基于分层Transformer的多模态学习框架BeamTransFuser，利用跨模态相关性提升波束预测性能，开发剪枝方案减少延迟，引入生成模型处理模态缺失，实验证明该方案优于现有基线。

Comments 15 pages, 5 figures

Journal ref IEEE Transactions on Mobile Computing, 2026

Latent graph encoding of multimodal neuroimaging features with generative AI architectures

基于生成式人工智能架构的多模态神经影像特征的潜在图编码

Ishaan Batta, Meenu Ajith, Vince Calhoun

机构 * Center for Translational Research in Neuroimaging and Data Science (TReNDS)（转化神经影像与数据科学研究中心） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究旨在设计多模态生成框架用于神经影像特征分析，通过评估多种策略和模型，利用GMV和sFNC特征分析多个生成框架，提出的gMMVAE在多指标上超替代变体，有潜力用于稳健的多模态神经影像分析。

Comments 6 pages, accepted in IEEE International Conference on Image Processing (ICIP) 2026

MMDiff: Extending Diffusion Transformers for Multi-Modal Generation

MMDiff: 扩展扩散变换器用于多模态生成

Yagmur Akarken, Orest Kupyn, Christian Rupprecht

机构 * University of Oxford, Visual Geometry Group（牛津大学视觉几何组） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出MMDiff框架，利用冻结的扩散变换器通过轻量解码器联合生成图像及多种密集感知模态，发现多时间步特征融合与空间变化聚合权重是关键，在语义分割等任务上取得优异性能。

HIVE: Understanding Post-Hallucination Reasoning in Vision Language Models

HIVE：理解视觉语言模型中的幻觉后推理

Feng He, Zhenting Wang, Qifan Wang, Qiang Guan, Dongfang Liu, Ruixiang Tang, Qiankun Li

机构 * Purdue University（普渡大学） ； Rutgers University（罗格斯大学） ； Meta AI ； Kent State University（肯特州立大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型中幻觉后推理阶段，引入HIVE评估基础设施，通过九个任务和九个模型观察到模态依赖模式，发现幻觉线索能拓宽语义覆盖并重塑推理动态，强调理解此阶段对提升多模态推理系统可靠性和可解释性的重要性。

Comments Accepted by ECCV 2026

Heterogeneity-Adaptive Diffusion Schrodinger Bridge for PET-Guided Whole-Body MRI Translation

用于PET引导的全身MRI转换的异质性自适应扩散薛定谔桥

Chengbo Wang, Jiacheng Yu, Linjie Bian, Ming Qi, Xiaosheng Liu, Tongtong Che, Jichang Zhang, Shuyu Li, Shaoli Song, Xiuying Wang

机构 * The University of Sydney（悉尼大学） ； Fudan University Shanghai Cancer Center（复旦大学附属上海肿瘤医院） ； Beijing Normal University（北京师范大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对PET-MR扫描时间长的问题，提出异质性自适应扩散薛定谔桥（HA-DSB）框架，通过整合视觉语言模型嵌入及PET先验，利用双阶段引导机制，实现全身MRI转换，提升不同区域尤其是病变区域的转换质量。

Comments Accepted at MICCAI 2026

Tree-of-Thoughts Reasoning for Text-to-Image In-Context Learning

用于文本到图像上下文学习的思维树推理

Stepanida Alekseeva, Jenifer Kalafatovich, Seong-Whan Lee

机构 * Korea University（韩国大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究文本到图像上下文学习中模型的推理问题，提出思维树推理框架，通过多阶段推理和选择层减轻提示模糊性与组合错误，实验表明该结构化多分支推理能提升图像生成效果，无需额外训练或微调。

Comments 6 pages, 3 figures, 4 tables. Accepted at IEEE SMC 2026. Code available at https://github.com/Pandastep/ToT-T2I-ICL

JuZhou 1.0 Technical Report: The First Edge-Native Text-to-Image Foundation Model Trained Entirely on China-Developed AI Accelerators

JuZhou 1.0 技术报告：首个完全在中国开发的AI加速器上训练的边缘原生文本到图像基础模型

Ce Chen, Congrui Wang, Yonglin Li, Zhenchen Wan, Mingyang Geng, Junhao Xiao, Zhengpeng Xing, Yaqing Hu, Yao Wu, Zhaoyang Qu, Long Lan, Xinwang Liu, Yingqi Peng, Shijia Li, Zufeng Zhang, Chen Ma, Jingjing Zhou, Xingyu Wang, Qilin Lu, Bin Jiang, Qilin Sun, Shanzhi Gu, Yaoguang Jin, Tongliang Liu, Kede Ma, Yifan Peng

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出JuZhou 1.0，一个超轻量级文本到图像基础模型，通过紧凑骨干网络、Rectified Flow训练、DMD2蒸馏和中文语义对齐，实现完全离线设备端运行，性能优于SDXL等模型。

Structured drift design for denoising diffusion models

去噪扩散模型的结构化漂移设计

Mahsa Taheri

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出几何感知Ornstein-Uhlenbeck过程，通过方差感知各向异性漂移嵌入数据几何结构，改善扩散模型对多模态、高相关分布的模式分离和相关性保持。

Bifidelity Parameter Estimation Using Conditional Diffusion Models

使用条件扩散模型的双保真参数估计

Caroline Tatsuoka, Minglei Yang, Dongbin Xiu, Guannan Zhang

机构 * UT-Battelle, LLC（UT-巴特勒公司） ； US Department of Energy（美国能源部） ； The Ohio State University（俄亥俄州立大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； Oak Ridge（橡树岭） ； Computer Science and Mathematics Division（计算机科学与数学 division） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 针对复杂系统参数估计不确定性量化，提出双保真方法。先构建低保真条件生成模型，特定情况时用其细化采样空间，再训练高保真无条件生成模型，经数值示例和实际应用验证了方法的有效性。