AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
认知：从评估到对抗多模态大语言模型CAPTCHA求解器
机构 * Missouri University of Science and Technology（密苏里科技大学） ； University of South Florida（佛罗里达州立大学） ； Visa Inc.（Visa公司） ； George Mason University（乔治·马歇尔大学）
专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI
AI总结 本文研究多模态大语言模型如何削弱视觉CAPTCHA的安全性，评估7种主流MLLM在18种CAPTCHA任务中的表现，揭示其解决能力及防御策略。
Comments Accepted by USENIX Sec'26
ClinHallu: 用于诊断医学多模态大语言模型推理中阶段式幻觉的基准
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学）
专题命中 多模态评测 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出ClinHallu基准，包含7031个实例，每个实例带有结构化推理轨迹（视觉识别、知识回忆、推理整合），通过阶段替换干预和轨迹监督微调，实现细粒度幻觉诊断与缓解。
Comments Code and datasets: https://github.com/alibaba-damo-academy/ClinHallu
NEST3D：织布鸟树巢的高分辨率多模态数据集
机构 * Institute for Geoinformatics (ifgi), University of Münster（明斯特大学地理信息学研究所） ； École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院） ； Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所） ； University of Konstanz（康斯坦茨大学） ； Kuzikus Research Station（库兹库斯研究站） ； Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 针对织布鸟巢缺乏精细3D结构数据的问题，提出包含104棵巢树、1.4TB多模态无人机数据集，并基准测试语义分割方法，PT-v3达86.35% mIoU。
Comments 14 pages, 4 figures. Dataset available at https://huggingface.co/NEST3D
MVAD：多模态AI生成视频-音频检测基准数据集
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 针对现有数据集缺乏多模态真实性的问题，提出MVAD数据集，包含三种伪造模式、高质量样本及多样化的视觉风格和内容类别，用于检测AI生成的视频-音频内容。
Comments 10 pages,2 figures
HiST：用于跨模态空间转录组建模的分层稀疏Transformer
机构 * New Jersey Institute of Technology（新泽西理工学院） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Karolinska Institutet（卡罗林斯卡学院） ； Dartmouth College（达特茅斯学院）
专题命中 多模态评测 ：cross-modal(title)；分类 cs.CV
AI总结 提出HiST，一种分层稀疏Transformer，通过稀疏窗口注意力和分辨率变换算子实现高效的多尺度空间转录组推断，显著降低计算开销并提升预测性能。
Journal ref ICML 2026
GaSe分子束外延生长条件的多模态机器学习分析
专题命中 多模态评测 ：multi-modal(title)
AI总结 提出机器学习引导的GaSe薄膜MBE生长框架，利用RHEED原位诊断与XRD、AFM非原位表征，通过无监督学习、互信息分析和监督学习揭示生长条件对薄膜质量的影响，实现异常检测与预测优化。
GarmentSketch：大规模草图到时尚基准
专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV
AI总结 为解决时尚草图到图像合成缺乏大规模配对数据的问题，构建了包含26249对草图-文本描述的GarmentSketch数据集，并基于多模态大模型与人工精炼生成描述，评估了现有生成模型的性能。
Comments ICCCI 2026. Project page: https://khangbdd.github.io/garmentsketch
ContactWorld: 视觉-触觉世界模型中什么对接触丰富操作至关重要
机构 * School of Industrial Engineering, Purdue University（普渡大学工业工程学院） ； Department of Mechanical Engineering, Texas A&M University（德克萨斯农工大学机械工程系）
专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)
AI总结 通过12项接触丰富操作任务，发现空间结构化和时间连续的表征（如点云）能显著提升规划成功率，且触觉传感的有效性依赖于跨模态表征兼容性。
Comments 32 pages, 12 figures, supplementary material included
消失深度：基于正弦深度预处理的预训练RGB编码器通用深度适配器训练
机构 * Fraunhofer IPK（弗劳恩霍夫研究所） ； TU-Berlin（技术大学柏林）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出自监督训练方法，为预训练RGB编码器添加深度适配器，结合正弦深度编码实现通用鲁棒的深度特征提取，在分割、姿态估计和深度补全等下游任务中提升基线性能，SUN-RGBD分割达56.05 mIoU。
Comments Accepted to IntelliSys 2026
CisTransCell：通过基因功能、调控控制和细胞上下文进行单细胞扰动预测
机构 * [q-bio.GN]
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI
AI总结 提出CisTransCell框架，结合调控序列和编码序列先验与细胞表达状态，建模扰动响应级联，实现零样本单细胞扰动预测。
特征空间平面搜索器：一种通用领域自适应框架，兼顾可解释性与计算效率
机构 * School of Mathematics and Institute for Artificial Intelligence, Harbin Institute of Technology, China（数学学院和人工智能研究院，哈尔滨工业大学，中国） ； School of Earth and Space Sciences, Institute for Artificial Intelligence, Peking University, China（地球和空间科学学院，人工智能研究院，北京大学，中国）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出特征空间平面搜索器（FPS），通过冻结特征编码器并利用特征空间几何模式优化决策边界，实现高效、可解释的领域自适应，在多个基准上达到竞争性能。
生物医学拉曼光谱的机器学习：从光谱采集到临床转化
机构 * National Institute of Research and Development for Biological Sciences（罗马尼亚生物科学研究院） ； University of Bucharest（布加勒斯特大学） ； University of Turku（图尔库大学）
专题命中 多模态评测 ：multimodal(abstract)
AI总结 综述机器学习在生物医学拉曼光谱全流程中的应用，包括预处理、诊断分类、可解释性分析及临床转化障碍，强调标准化与鲁棒验证的必要性。
Comments 52 pages, 2 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈