AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
FLUX3D: 基于扩散对齐稀疏表示的高保真3D高斯生成
机构 * The Australian National University（澳大利亚国立大学） ； ByteDance（字节跳动）
专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出FLUX3D框架，通过扩散对齐结构化潜变量（DA-SLAT）和稀疏结构感知扩散变压器（SMDiT）解决稀疏体素表示中高频细节丢失和跨模态对齐问题，实现高保真图像到3D高斯生成。
CMADiff: 用于可控蛋白质生成的跨模态对齐扩散
专题命中 多模态生成 ：cross-modal(title)
AI总结 提出CMADiff框架，通过条件变分自编码器整合理化特征，并利用对比学习模块BioAligner对齐文本描述与蛋白质特征，实现基于文本驱动的可控蛋白质序列生成。
IV-CoT: 面向结构感知文本到图像生成的隐式视觉思维链
机构 * NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； Ant Group（蚂蚁集团） ； The University of Hong Kong（香港大学）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出隐式视觉思维链（IV-CoT）框架，通过结构到语义的级联分解和训练时草图监督，在不增加推理开销的情况下提升文本到图像生成的结构感知能力。
HilDA：利用扩散的分层蒸馏推进自监督LiDAR预训练
机构 * KTH Royal Institute of Technology（瑞典皇家理工学院） ； Linköping University（林雪平大学） ； TRATON AB（TRATON公司） ； Qualcomm Auto Ltd Sweden Filial（高通汽车有限公司瑞典分公司）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出HilDA框架，通过分层蒸馏（多层蒸馏和全局上下文蒸馏）结合时间占用扩散目标，自监督预训练LiDAR骨干网络，在3D检测、场景流和语义占用预测任务上达到最先进水平。
Comments Accepted to ECCV 2026. Maciej and Jesper contributed equally
面向文本与代码生成的大语言模型集成学习综述
机构 * School of Computing and Engineering, University of West London（西伦敦大学计算机与工程学院） ； Turing Intelligence Technology Limited（图灵智能科技有限公司） ； School of Computer Science, University of Leeds（利兹大学计算机科学学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 本文综述了七种大语言模型集成方法（权重合并、知识融合、混合专家、奖励集成、输出集成、路由和级联），分析了它们在文本与代码生成中提升多样性、输出质量和应用灵活性的能力。
Comments Accepted by IEEE TAI 2025
S1-Omni-Image：面向科学图像理解、生成与编辑的统一模型
机构 * XScience Lab（XScience实验室） ； Wenge AI（文阁人工智能）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出S1-Omni-Image，基于S1-VL-32B和“先思考后生成”范式，统一实现科学图像的理解、生成与编辑，在多个基准上达到领先性能。
Comments 32 pages, 15 figures
Prob-BBDM：用于MRI序列图像到图像翻译的概率布朗桥扩散模型
机构 * University of Poitiers, CNRS, XLIM, France（波尔多大学，法国国家科学研究中心，XLIM，法国） ； University of Poitiers, CNRS, Laboratory of Applied Mathematics, France（波尔多大学，法国国家科学研究中心，应用数学实验室，法国） ； Poitiers University Hospital（波尔多大学医院） ； I3M common laboratory CNRS-Siemens Healthinners, Poitiers University Hospital and University of Poitiers, France（I3M共同实验室，法国国家科学研究中心-西门子医疗，波尔多大学医院和波尔多大学，法国）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI
AI总结 提出基于概率布朗桥扩散模型（Prob-BBDM）的MRI序列图像翻译方法，通过变分编码器引导扩散机制，在BraTS 2021数据集上实现高效高质量合成，仅需4步扩散，SSIM达88.46%，PSNR达26.09 dB。
Journal ref Computerized Medical Imaging and Graphics, 2026, 130, pp.102745
PixJail：面向文本到图像越狱评估的自演化论文到流水线复现
机构 * The Hong Kong University of Technology and Science (Guangzhou)（香港科技与应用科技大学（广州）） ； East China Normal University（华东师范大学） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Wuhan University（武汉大学） ； Institute of Deep Perception Technology, JITRI（视觉感知技术研究院，JITRI） ； CAIR, Hong Kong Institute of Science and Innovation (HKISI)（创新科技研究院，香港科学与创新研究院（HKISI）） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 提出PixJail框架，通过自演化论文到流水线代理，自动构建攻击模块和可运行评估流水线，忠实复现原始实验结果，平均误差仅2.1%。
共鸣心智：具备心智理论的闭环社交虚拟人
机构 * University of Washington（华盛顿大学） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Eastern Institute of Technology, Ningbo（宁波工程技术学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出一个闭环双智能体框架，通过整合感知、社会推理（基于心智理论）和多模态生成，实现具备社交智能的虚拟人，并在信息不对称数据集上取得优于全信息脚本模式的对话质量。
Comments Project page: https://resonantminds.github.io/
FlowerDance: MeanFlow实现高效精细的3D舞蹈生成
机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Malou Tech Inc（Malou科技公司）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出FlowerDance，结合MeanFlow与物理一致性约束，以少量采样步骤生成高质量舞蹈，并采用BiMamba骨干和通道级跨模态融合实现高效非自回归生成，支持运动编辑，在AIST++和FineDance上达到最优。
Comments Accepted by ECCV 2026
MONAQ：面向资源受限设备的时间序列分析多目标神经架构查询
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 MONAQ通过多目标神经架构查询框架，结合大语言模型能力，实现对时间序列数据的高效处理与部署，实验表明其模型性能优于传统方法。
Comments EMNLP 2025 (Findings), Project Page: https://kaist-dmlab.github.io/MONAQ
将生成式策略基于物理：面向机器人控制的优化引导扩散
机构 * ETH Zurich（苏黎世联邦理工学院） ； EPFL（洛桑联邦理工学院）
专题命中 多模态生成 ：multimodal(abstract)
AI总结 提出推理时优化框架，通过将扩散引导建模为约束优化问题，在采样中施加物理可行性约束，无需重训练即可提升机器人任务成功率。
部分观测下随机动力系统的路径学习
专题命中 多模态生成 ：multimodal(abstract)
AI总结 提出一种摊销路径生成方法，通过变分推断和受控SDE表示，从噪声观测中学习随机动力系统的滤波分布，实现不确定性量化。
用于高效多模态推理的潜在视觉状态
机构 * Sun Yat-sen University（中山大学） ； The Hong Kong Polytechnic University（香港理工大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； Yinwang Intelligent Technology Co. Ltd（银旺智能科技有限公司）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出EVA框架，通过生成连续潜在视觉表示（Latent_slot tokens）作为中间推理思考，并设计D-GSPO解决优化策略偏差，构建EVA-230K数据集，在多个基准上提升性能与推理效率。
OmniPath: 用于审计轮椅可达性的多模态智能体框架
机构 * Causal AI Lab, Department of Information Systems, University of Maryland Baltimore County（因果AI实验室，信息系统系，马里兰大学巴尔的摩分校） ； Department of Computer Science & Software Engineering, Miami University（计算机科学与软件工程系，迈阿密大学）
专题命中 多模态评测 ：multi-modal(title,comments)；分类 cs.AI
AI总结 提出OmniPath框架，融合OSM网络拓扑与机载LiDAR数据，通过虚拟遍历量化坡度、横坡等物理摩擦点，按ADA标准分级评估轮椅可达性，经实地验证有效识别标准地图遗漏的障碍。
Comments 10 pages, 13 figures. Submitted to IEEE COMPSAC 2026. OmniPath: A Multi-Modal Agentic Framework for Auditing Wheelchair Accessibility
基于多模态教材特征的情境感知学生测验表现预测
机构 * Stanford University（斯坦福大学）
专题命中 多模态评测 ：multimodal(title)；分类 cs.AI
AI总结 本研究通过提取CourseKata教材中复习题的文字和图像特征，结合学生历史表现，将章节测验预测准确率相对提升9.1%，表明情境感知模型能利用内容特征改进预测。
Comments 4 pages, 2 figures, 2 tables
PHANTOM：面向视觉-语言模型的多模态对抗攻击大规模数据集
机构 * The Italian Institute of Artificial Intelligence (AI4I)（意大利人工智能研究所（AI4I）） ； HikmaAI S.r.l.（HikmaAI有限责任公司）
专题命中 多模态评测 ：multimodal(title)；分类 cs.AI
AI总结 提出一个大规模开源对抗攻击数据集PHANTOM，涵盖10个高级类别和55个子类别的有害意图，包含47,524个对抗样本，旨在降低对抗研究门槛，促进VLM鲁棒性和安全性的系统评估。
Comments The dataset has been released at: https://huggingface.co/datasets/it4lia/PHANTOM
PointVG-R: 通过视觉思维链在多模态大语言模型中内化几何推理以实现精确指向定位
机构 * Tsinghua University（清华大学） ； Dalian University of Technology（大连理工大学） ； Northwestern Polytechnical University（西北工业大学） ； Wuhan University（武汉大学）
专题命中 多模态评测 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 提出PointVG-R，通过强化学习和冷启动数据内化几何推理，结合视觉思维链数据集EgoPoint-CoT，在指向性视觉定位任务中实现mIoU提升15.86个点的SOTA性能。
RetiSEM：泛化碎片化生物医学数据的因果模型
机构 * University of Southampton（南安普顿大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出RetiSEM框架，通过领域约束的结构方程模型从碎片化生物医学数据中恢复因果图并进行中介分析，在合成和真实数据上优于无约束基线。
REALM: 面向物理世界视觉语言模型的统一红队基准
机构 * University of Central Florida（中佛罗里达大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出REALM，首个统一红队基准，集成12种攻击方法、3种防御和13个视觉语言模型，通过代理目标生成管道实现公平比较，发现文本注入攻击最有效。
Comments 20 pages, 5 figures. Preprint
重新思考通用BCI：对超过340,000种独特的算法配置进行基准测试以解码EEG心理命令解码
机构 * Inclusive Brains（包容大脑） ； Wavestone ； Human Technology Foundation（人类科技基金会） ； Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） ； Institute for Artificial Intelligence, Biotech Dental Group（人工智能研究所，生物技术牙科集团） ； IBM Technology（IBM技术） ； IBM France Lab（IBM法国实验室）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文通过评估超过340,000种独特的空间和非线性EEG分类组合，重新审视通用BCI，发现非线性方法在特定个体中表现更优，强调个性化流程选择的必要性。
Comments 28 pages, 8 figures, 2 tables
CanadaFireSat：面向多模态高分辨率野火预测
机构 * EPFL（瑞士联邦理工学院） ； Université Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔INP，LJK实验室） ； NASA Ames Research Center, Earth Science Division（美国航空航天局阿姆斯研究中心，地球科学部门）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出CanadaFireSat基准数据集，利用多模态数据（高分辨率多光谱卫星图像、中分辨率卫星产品和环境因子）结合深度学习模型，实现加拿大100米分辨率野火预测，多模态输入在2023年野火季F1分数达60.3%。
Comments 37 pages, 11 figures. Published in ISPRS Journal of Photogrammetry and Remote Sensing (2026)
Journal ref ISPRS Journal of Photogrammetry and Remote Sensing, Volume 239, September 2026, Pages 555-572
FlowR2A: 学习奖励到动作分布用于多模态驾驶规划
机构 * The University of Hong Kong（香港大学） ； Changan Automobile（长安汽车）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出FlowR2A，通过流匹配解码器学习奖励条件动作分布，统一了基于评分和基于锚点的方法，实现密集监督与动态生成，在NAVSIM基准上取得最优结果。
Comments Project page: https://lixirui142.github.io/flowr2a-ad
响应感知的多模态学习用于治疗后视力预测
机构 * Research Convergence Institute（研究融合研究所） ； Sungkyunkwan University（全北大学） ； Dept. of AI Systems Engineering（人工智能系统工程系） ； Dept. of Ophthalmology（眼科系） ； Kyung Hee University Medical Center（庆熙大学医学院） ； Dept. of Electrical and Computer Engineering（电气与计算机工程系）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出ReVA框架，利用基线与第1个月OCT影像及表格数据，通过多模态融合预测糖尿病性黄斑水肿患者抗VEGF治疗后3-24个月的视力轨迹。
Comments To appear in MICCAI 2026
具有开放词汇理解的紧凑对象级表示用于室内视觉重定位
机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Ant Group（蚂蚁集团）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV
AI总结 提出OpenReLoc系统，利用基础模型实现多模态开放词汇语义匹配、基于DIOU的参考帧选择和双路径2D ICP损失，仅用对象单元实现室内视觉重定位，提升可解释性和准确性。
Comments Accepted by RA-L 2026
NoContactNoWorries: 通过视觉和本体感觉估计手内灵巧操作的接触
机构 * Robotics Research Center (RRC), International Institute of Information Technology (IIIT), Hyderabad, India（印度海得拉巴国际信息技术研究所机器人研究中心） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出一种基于Transformer的多模态框架，融合RGB-D视觉和机器人本体感觉推断二值接触状态，作为手物交互的伪触觉信号，支持下游强化学习实现手内物体重定向并泛化至新物体。
Comments Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS) 2026
NavWM：一种用于前瞻性规划的统一导航世界模型
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beihang University（北京航空航天大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 提出NavWM统一导航世界模型，通过潜在世界令牌提取几何与语义先验，结合锚点多模态轨迹预测框架生成多样化动作空间，利用视觉前瞻评估最优路径，在多种机器人数据集上显著提升未来状态生成与零样本导航成功率。
Comments 13 pages, 5 figures, accepted to ECCV 2026
ChartWalker: 跨图表RAG任务的基准测试
专题命中 多模态Agent ：multi-modal(abstract)
AI总结 提出ChartWalker框架，通过层次化知识图谱和结构感知采样生成跨图表RAG基准，揭示现有方法性能差距。
注意头：多模态大语言模型的拓扑表示对齐
机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） ； University of Pisa（比萨大学） ； AMD Silo AI
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出头级表示对齐（HeRA）方法，在注意力头级别强制跨模态对齐，通过对比目标匹配局部拓扑结构，选择对齐最差的头进行训练，有效提升视觉任务性能并减少幻觉。
多模态大语言模型中基于谱演化引导的令牌剪枝
机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Zhejiang Key Laboratory of Digital-Intelligence Service Technology（浙江省数字化服务技术重点实验室） ； The University of Queensland（昆士兰大学） ； Singapore Management University（新加坡管理大学） ； The University of Southern Queensland（南昆士兰大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.CV
AI总结 提出跨层谱演化（CLSE）框架，通过频域分析令牌表示在Transformer层间的演化来评估重要性，实现无训练剪枝，在保持性能的同时减少计算开销。
Comments Accepted to ECCV 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈