AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
用联合稀疏自编码器引导视觉-语言模型
机构 * yunshanai（云山AI） ； HKUST(Guangzhou)（香港科技大学（广州）） ； Zidongtaichu（紫东太初） ； University of British Columbia（不列颠哥伦比亚大学）
专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出联合稀疏自编码器（JSAE），通过显式对齐约束联合分解视觉和语言激活，得到可解释的跨模态特征，并在LLaVA等模型上验证了层依赖的干预效果。
Comments 19pages,10 figures
面向3D计算机断层扫描的疾病中心视觉语言预训练与混合视觉编码
机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab, 310023, Hangzhou, China（虎扑实验室，杭州，中国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） ； Zhejiang University, China（浙江大学，中国） ； Fudan University, China（复旦大学，中国）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出一种结合CNN-ViT混合编码器、疾病级对比学习和诊断感知提示的视觉语言预训练框架，在CT-RATE和Rad-ChestCT上取得最优性能，并提升零样本诊断可靠性。
Comments ICML 2026
我们到了吗？探索多模态大语言模型在辅助人工智能应用中的能力
机构 * IIT BHU India（印度理工学院瓦拉纳西校区） ； CVIT, IIIT Hyderabad India（印度海得拉巴国际信息技术学院计算机视觉与信息技术中心）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文通过真实世界任务评估多模态大语言模型在辅助AI中的表现，开发NetraLink系统收集基准数据，揭示其优势与局限。
Jolia: 用于3D CT对比学习的概念级视觉-语言对齐
机构 * Raidium ； Department of Vascular and Oncological Interventional Radiology, Hôpital Européen Georges Pompidou, AP-HP（欧洲乔治·蓬皮杜医院血管与肿瘤介入放射科，AP-HP） ； Faculté de Santé, Université Paris-Cité（巴黎西岱大学健康学院） ； HEKA, INRIA（HEKA，法国国家信息与自动化研究所） ； Imaging Department, Fondation Ophtalmologique Adolphe de Rothschild（阿道夫·罗斯柴尔德眼科基金会影像科）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV
AI总结 提出ConQuer方法，通过概念查询将报告拆分为特定概念部分，学习交叉注意力查询以匹配图像特征，实现概念级对齐，在胸部与腹部CT上训练的Jolia模型在多项任务中超越CLIP基线。
WOLF-VLA：面向视觉-语言-动作学习的全身人形最优运动框架
机构 * Robotics Innovation Center, DFKI GmbH（德国人工智能研究中心机器人创新中心） ； University of Oldenburg（奥尔登堡大学） ； AG Robotik University of Bremen（不来梅大学机器人工作组）
专题命中 图文多模态 ：multi-modal(abstract)
AI总结 提出WOLF-VLA框架，结合全身最优控制运动合成与大规模多模态数据集，训练VLA模型从自然语言指令生成人形运动策略，在多种任务中展现强鲁棒性和竞争力。
MJEPA：一种简单且可扩展的音频-视觉联合嵌入预测架构
机构 * FAIR at Meta（Meta AI研究实验室） ； New York University（纽约大学）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出MJEPA，使用统一编码器和单一预测目标进行跨模态预测，在音频分类任务上超越先前方法，并减少视频数据需求。
SpeechEQ: 社交感知语音对话模型的情商基准测试
机构 * New York University（纽约大学） ； NVIDIA（英伟达） ； Carnegie Mellon University（卡内基梅隆大学） ； NYU Shanghai（上海纽约大学）
专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 提出SpeechEQ框架，基于EQ-i 2.0理论构建2265个对话数据集，通过口语情商(SEQ)评分评估语音语言模型在主动多轮对话中的副语言社交线索推理能力，揭示端到端模型存在模态捷径、安全陷阱和上下文遗忘等瓶颈。
错误感知的TF-IDF检索增强生成用于ASR错误纠正
机构 * Department of Computer Engineering, Qom University of Technology（库姆科技大学计算机工程系） ； Asa Electronic Akhtaran（阿萨电子阿赫塔兰公司）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 提出一种纯词法的错误感知检索增强生成框架，通过对称文本归一化和基于历史错误的稀疏对角惩罚矩阵，将FLEURS波斯语子集的错误感知命中率从53.7%提升至90.9%，最终词错误率从23.06%降至18.83%。
Comments 4 pages, 1 figure, 2 tables
面向多模态大语言模型的长视频快速有效理解：自适应准高斯采样
机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出自适应无训练帧采样方法AdaQ，基于高斯分布3-σ规则动态调整采样区间，在仅用64帧下使Qwen3-VL-8B平均超越GPT4o 15.8%，显著提升长视频理解的鲁棒性和效率。
Comments NeurIPS 2026 submission. 15 pages, 8 figures
M-EPDet：基于多模态数据的EP-WXT流水线实时真实-虚假分类与瞬变候选判断
专题命中 视频多模态 ：multi-modal(title)
AI总结 提出M-EPDet三阶段框架，结合ResNet臂滤波器、双分支时-谱宇宙射线滤波器和背景感知贝叶斯块模块，实现EP-WXT数据实时候选筛选，真实源召回率98.31%，候选量减少99.25%。
Comments 20 pages, 13 figures, accepted by ApJS
面向高效流式视频理解的动态固定预算记忆库
机构 * Xiamen University（厦门大学）
专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV
AI总结 提出无训练方法CausalMem，通过在线语义基动态更新记忆库，在有限预算下最大化流式视频信息量，实现20倍视觉令牌压缩和82MB存储。
FeVOS：前瞻性表达视频目标分割
机构 * Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院大数据研究所）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出前瞻性表达视频目标分割任务，通过推理时空线索预测未来目标，并构建FeVOS数据集和FeVOS-R1模型，实现最先进性能。
Comments Accepted by ECCV 2026. Homepage: https://henghuiding.com/FeVOS/
MemDreamer: 通过分层图记忆和智能体检索机制解耦感知与推理以实现长视频理解
机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Central South University（中南大学） ； HKUST(GZ)（香港科技大学(广州)）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出MemDreamer框架，通过分层图记忆和智能体检索机制解耦感知与推理，将长视频理解转化为智能体探索过程，在四个基准上达到SOTA，推理上下文窗口仅占全量2%且准确率提升12.5点。
跨具身机器人操作的动作先验学习
机构 * Renmin University of China（中国人民大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Toronto（多伦多大学） ； Amazon（亚马逊）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出两阶段训练框架，先通过流匹配预训练动作模块学习跨具身时间运动结构，再迁移至VLA训练，提升数据效率与任务成功率。
SurgAtlas：一个包含2,391小时开放和微创手术的大规模手术视频-语言数据集
机构 * University of Michigan（密歇根大学） ； University of Edinburgh（爱丁堡大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； University of Colorado（科罗拉多大学） ； University of Rochester（罗切斯特大学） ； Michigan Medicine（密歇根医学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出SurgAtlas，最大手术视频-语言数据集（15,291视频，2,391小时，18专科，5,000+术式），首次大规模纳入开放手术并建立基准，通过多层级自动标注管道生成丰富注释，微调Qwen3-VL-8B在多个基准上达到领先。
UniTeD: 面向自动驾驶联合感知与规划的时域统一扩散模型
机构 * Nullmax ； Westlake University（西湖大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出UniTeD框架，通过共享生成空间的迭代去噪统一建模感知与规划，引入时域过渡模块和锚点刷新策略，在多个基准上达到最先进性能。
Comments Accept to ECCV 2026
时空模态专家混合扩散：从不完整MR序列合成定量DCE-MRI
机构 * Interdisciplinary Program in Cancer Biology, Seoul National University College of Medicine（首尔大学医学院癌症生物学跨学科项目） ； Department of Radiology, Seoul National University Hospital（首尔大学医院放射科） ； Department of Radiology, Seoul National University College of Medicine（首尔大学医学院放射科） ； Healthcare AI Research Institute, Seoul National University Hospital（首尔大学医院医疗人工智能研究所）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出时空模态专家混合（ST-MoME）条件扩散框架，通过时空门控网络融合多模态专家特征，从任意子集合成3D DCE参数图，在386例脑肿瘤数据上16种缺失场景下取得最优NMSE。
状态空间模型遇上遥感：综述
机构 * Shen Yuan Honors College, Beihang University（北航沈元荣誉学院） ； Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University（北京航空航天大学宇航学院航天智能科学与技术系） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； Qian Xuesen Laboratory of Space Technology, China Academy of Space Technology（中国空间技术研究院钱学森空间技术实验室）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 本文综述了状态空间模型（SSM）在遥感中的应用，分析了其在密集视觉预测、多模态和时序遥感数据中的优势，并总结了架构设计进展与未来挑战。
Comments 25 pages, 5 figures, has been published in SCIS SCIQ1 IF=8.1 https://doi.org/10.1007/s11432-025-4780-1
AeroCast: 基于Transformer-MDN架构的非合作空中障碍物概率3D轨迹预测
机构 * Department of Engineering, Texas A&M University–Corpus Christi（德克萨斯A&M大学科珀斯克里斯蒂分校工程系）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI
AI总结 提出AeroCast框架，结合Transformer编码器和混合密度网络，预测非合作空中障碍物的多模态轨迹，在五秒预测范围内将位移误差降低约50%，并支持实时部署。
当多传感器融合无法泛化：动物级别和时间分布偏移下的牛姿势分类
机构 * Institute of Computer Science, University of Potsdam（波茨坦大学计算机科学研究所） ； Department of Sensors and Modelling, Leibniz Institute for Agricultural Engineering and Bioeconomy - ATB（莱布尼茨农业工程与生物经济研究所传感器与建模系） ； Department of Data Science in Bioeconomy, Leibniz Institute for Agricultural Engineering and Bioeconomy - ATB（莱布尼茨农业工程与生物经济研究所生物经济数据科学系）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 研究评估多传感器融合在牛姿势分类中的鲁棒性，发现跨年评估性能大幅下降（F1从0.94降至0.49），表明常用评估高估实际性能，融合可能降低而非提升鲁棒性。
Comments 20 pages, 6 figures
ForceBand: 利用表面肌电信号学习有力操作
机构 * Amazon FAR（亚马逊 FAR） ； University of Maryland（马里兰大学） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 提出ForceBand，一种低成本腕戴式sEMG系统，通过预测手指力来增强人类演示数据，用于机器人有力操作策略学习，在多种物体上实现87%的成功率。
迈向可扩展的多任务强化学习与大决策模型
专题命中 视频多模态 ：multi-modal(abstract)
AI总结 提出LDM-v0，一个在大规模异构强化学习环境上离线预训练的Transformer策略，通过监督下一动作预测实现多任务学习，在约1000个环境中达到与独立训练策略相当的性能。
基于迭代能量多模态Transformer的Sentinel-1与Sentinel-2时序联合反演小麦土壤水分、叶面积指数和株高
机构 * Department of Urban and Environmental Policy and Program, Tufts University（Tufts大学城市与环境政策与项目系） ； Electrical and Computer Engineering Department, Mississippi State University（密苏里州立大学电气与计算机工程系） ； Department of Physics, Indian Institute of Technology (BHU)（印度理工学院（BHU）物理系） ； Institute of Environment and Sustainable Development, Banaras Hindu University（巴纳尔斯赫尔大学环境与可持续发展研究所）
专题命中 跨模态检索 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV
AI总结 提出迭代能量Transformer（iEBT），通过嵌入多模态预测器并迭代更新目标向量，从Sentinel-1和Sentinel-2时序数据中联合反演土壤水分、叶面积指数和株高，在印度瓦拉纳西实测数据上取得高精度，并利用终端能量作为质量诊断指标。
CMDS-AD: 跨模态双流解耦用于少样本异常检测
机构 * Shenzhen University（深圳大学） ； Guangzhou Maritime University（广州航海学院） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
专题命中 多模态生成 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV
AI总结 提出跨模态双流异常检测框架CMDS-AD，通过扩散模型生成多样本并利用低频正常估计辅助解耦高频缺陷，在1-shot设置下MVTec 3D-AD上I-AUROC提升5.7%。
Comments Accepted to ECCV 2026! Project page: https://cmds-ad.github.io/
导航用户行为以实现个性化多模态生成
机构 * South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
专题命中 多模态生成 ：multimodal(title)；分类 cs.AI
AI总结 提出NaviGen，通过双标识符编码用户行为并采用两阶段SFT+RL训练，将交互历史转化为可执行指令，提升个性化图像和视频生成质量。
Comments 16 pages, 15 figures, 5 tables. Code is available at https://github.com/iLearn-Lab/NaviGen
基于全局与局部重建的点云扩散用于实例级3D异常检测
机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Department of Automation, Tsinghua University（清华大学自动化系） ； Guangdong Artificial Intelligence and Digital Economy Laboratory (SZ)（广东人工智能与数字经济实验室（深圳））
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出PCDiff框架，通过实例级多模态条件生成弱缺陷异常，并采用联合局部-全局重建算法恢复前景缺陷同时保持背景正常结构，在3D异常检测中显著优于现有方法。
解剖条件约束的潜在扩散模型用于数据高效的小样本跨域3D胶质瘤MRI合成
机构 * Analytics Everywhere Lab, University of New Brunswick, Canada（新不伦瑞克大学分析无处不在实验室，加拿大）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出解剖条件约束的潜在扩散模型（ALDM），通过两阶段框架（3D变分自编码器学习解剖先验，ControlNet引导的潜在扩散生成结构一致体积）在仅16张目标图像的小样本设置下优于GAN基线，实现FID 85.40和分类AUC 0.987。
Comments Published in Canadian AI 2026
VPA-Guard：防御与基准测试图像到视频生成中的视觉提示攻击
机构 * Tsinghua University（清华大学） ； Central South University（中南大学） ； South China Normal University（华南师范大学） ； ByteDance Inc.（字节跳动公司） ； Pengcheng Laboratory（鹏城实验室）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出首个针对图像到视频生成中视觉提示攻击的系统基准VVA-Bench，并设计检索增强自进化防御框架VPA-Guard，平均降低攻击成功率44.2%和危害评分73.4%。
Comments Dataset Page: https://huggingface.co/datasets/CSU-JPG/VVA-Bench
阶段感知与粗糙度约束的扩散策略用于多阶段机器人抛光
机构 * State Key Laboratory of Intelligent Manufacturing Equipment and Technology, Huazhong University of Science and Technology（华中科技大学智能制造装备与技术国家重点实验室） ； Shanghai Spaceflight Precision Machinery Institute（上海航天精密机械研究所）
专题命中 多模态生成 ：multimodal(abstract)
AI总结 提出阶段感知与粗糙度约束扩散策略（SRDP），通过多模态观测推断阶段后验并约束去噪过程，实现无外部标签的阶段一致动作生成，提升多阶段抛光质量。
ShutterMuse: 基于多模态大语言模型的拍摄时刻摄影指导
机构 * Fudan University（复旦大学） ； StepFun
专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 提出CaptureGuide-Bench基准测试，评估MLLM在摄影师构图与主体姿态推荐方面的能力，并构建ShutterMuse统一模型，通过监督与强化微调实现最佳综合性能。
Comments Project Page:https://lijayutnt.github.io/ShutterMuse
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈