arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-06-24 至 2026-06-24 共收录 75 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 图文多模态 9 篇

2606.24774 2026-06-24 cs.CV 新提交 70%

Revealing Training Data Exposure in Vision Language Large Models via Parameter Gradients

揭示视觉语言大模型中的训练数据暴露:基于参数梯度的方法

Zhihao Zhu, Hongyi Tang, Yi Yang, Ahmed Abbasi

机构 * Department of Information Systems, Business Statistics and Operations Management (ISOM), Hong Kong University of Science and Technology, Hong Kong, China(信息系统、商业统计与运营管理系(ISOM),香港科技大学,香港,中国) Department of IT, Analytics, and Operations, University of Notre Dame, Notre Dame, Indiana, USA(信息技术、分析与运营系,诺丁汉大学,诺丁汉,印第安纳州,美国)

专题命中 图文多模态 :cross-modal(abstract);image-text(abstract);分类 cs.CV

AI总结 提出梯度审计框架GradAudit,通过分析模型参数梯度特征检测训练数据,在医疗和通用数据集上显著优于现有方法,并揭示现有方法低估了未经授权数据使用程度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24759 2026-06-24 cs.CV cs.AI 新提交 62%

UniDrive: A Unified Vision-Language and Grounding Framework for Interpretable Risk Understanding in Autonomous Driving

UniDrive: 面向自动驾驶可解释风险理解的统一视觉-语言与定位框架

Xiaowei Gao, Pengxiang Li, Yitai Cheng, Ruihan Xu, James Haworth, Stephen Law, Yun Ye

机构 * organization= Department of Earth Science \& Engineering, Imperial College London , city= London , postcode= SW7 2AZ , country= United Kingdom organization= SpaceTimeLab, Department of Civil, Environmental Geomatic Engineering, University College London , city= London , postcode= WC1E 6BT , country= United Kingdom organization= Department of Computing, The Hong Kong Polytechnic University , city= Hong Kong , country= China organization= Trinity College, University of Oxford , city= Oxford , postcode= OX1 3BH , country= United Kingdom organization= Department of Geography, University College London , city= London , postcode= WC1E 6BT , country= United Kingdom organization= Centre for Global Infrastructure Resilience, The Bartlett School of Sustainable Construction, University College London , city= London , postcode= WC1E 7HB , country= United Kingdom

专题命中 图文多模态 :multimodal(abstract);分类 cs.CV、cs.AI

AI总结 提出UniDrive框架,通过融合时序推理与高分辨率感知分支,联合生成风险描述和边界框定位,在DRAMA-Reasoning基准上超越现有方法,提升小目标定位和可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.07558 2026-06-24 cs.CV cs.AI cs.DL 新提交 62%

Page image classifier fine-tuned on century-spanning archives of scanned documents for further content-specific processing

基于百年跨度扫描文档档案微调的页面图像分类器,用于进一步的内容特定处理

Kateryna Lutsai, Dana Křivánková, Pavel Straňák, David Novák

机构 * Institute of Formal and Applied Linguistics, Charles University MFF(查尔斯大学数学与物理学院形式与应用语言学研究所) Institute of Archaeology, Czech Academy of Sciences(捷克科学院考古研究所)

专题命中 图文多模态 :multimodal(abstract);分类 cs.CV、cs.AI

AI总结 针对历史文档数字化中手动分类不可行的问题,提出基于视觉内容类型(文本、表格、图形)的自动页面图像分类系统,采用微调深度网络(RegNetY-16GF达99.16%准确率)实现近完美分类,并公开模型、数据集和代码。

Comments 29 pages, 19 figures, 13 tables. arXiv admin note: text overlap with arXiv:2507.21114

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19957 2026-06-24 cs.CV cs.AI cs.LG 版本更新 62%

HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction

HiPath: 用于结构化病理报告预测的分层视觉-语言对齐

Ruicheng Yuan, Zhenxuan Zhang, Anbang Wang, Liwei Hu, Xiangqian Hua, Yaya Peng, Jiawei Luo, Guang Yang

机构 * College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院) Department of Bioengineering and Imperial-X, Imperial College London(帝国理工学院伦敦校区生物工程系) Department of Pathology, Xiangtan Maternal and Child Health Hospital(湘潭 maternal and child health hospital pathology department) Department of Pathology, The First People’s Hospital of Xiangtan City(湘潭市第一人民医院病理科)

专题命中 图文多模态 :cross-modal(abstract);分类 cs.CV、cs.AI

AI总结 提出HiPath框架,通过分层补丁聚合器、对比学习和槽位掩码诊断预测,在冻结UNI2和Qwen3骨干上实现结构化病理报告预测,准确率达68.9%,安全率97.3%。

Comments 10 pages, 1 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24292 2026-06-24 cs.CV 新提交 57%

ActiveScope: Actively Seeking and Correcting Perception for MLLMs

ActiveScope: 主动寻求和纠正MLLMs的感知

Yajing Wang, Chao Bi, Junshu Sun, Shufan Shen, Zhaobo Qi, Shuhui Wang, Qingming Huang

机构 * University of Chinese Academy of Sciences(中国科学院大学) State Key Lab of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院人工智能安全国家重点实验室,计算技术研究所,北京,中国) Harbin Institute of Technology (Weihai)(哈尔滨工业大学(威海))

专题命中 图文多模态 :multimodal(abstract);分类 cs.CV

AI总结 提出ActiveScope框架,通过语义锚点定位和干扰抑制细化模块,解决MLLMs在高分辨率图像中的细粒度感知问题,在V* Bench上达到96.34%准确率。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23843 2026-06-24 cs.CV cs.IR 新提交 57%

HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

HANCLIP:双曲角否定视觉语言模型系列

Hoang-Bao Le, Aiden Durrant, Thai Son Mai, Binh T. Nguyen, Liting Zhou, Cathal Gurrin

机构 * ADAPT Centre Dublin City University, Ireland(爱尔兰都柏林城市大学ADAPT中心) University of East Anglia Norwich, UK(英国东英吉利大学) Queen’s University Belfast Belfast, UK(英国贝尔法斯特女王大学) University of Science Vietnam National University Ho Chi Minh City, Vietnam(越南胡志明市国家大学理科大学)

专题命中 图文多模态 :image-text(abstract);分类 cs.CV

AI总结 针对视觉语言模型对否定语义脆弱的问题,提出HANCLIP系列,通过双曲空间和角度三元组目标重构嵌入空间,在20K数据上训练,增强否定敏感性同时保持预训练表示,在NegBench等基准上取得一致提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11197 2026-06-24 cs.CV 版本更新 57%

MedP-CLIP: Medical CLIP with Region-Aware Prompt Integration

MedP-CLIP:具有区域感知提示集成的医学CLIP

Jiahui Peng, He Yao, Jingwen Li, Yanzhou Su, Sibo Ju, Yujie Lu, Jin Ye, Hongchun Lu, Xue Li, Lincheng Jiang, Min Zhu, Junlong Cheng

机构 * Sichuan University(四川大学) Xinjiang University(新疆大学) Alibaba Group(阿里巴巴集团) Fuzhou University(福州大学) Shanghai AI Laboratory(上海人工智能实验室) Southwest Jiaotong University(西南交通大学)

专题命中 图文多模态 :multimodal(abstract);分类 cs.CV

AI总结 提出MedP-CLIP,一种区域感知医学视觉语言模型,通过特征级区域提示集成机制,支持多种提示形式,在保持全局上下文的同时聚焦局部区域,在零样本识别、交互式分割等任务中显著优于基线方法。

Comments Accepted by Medical Image Analysis (MedIA)

Journal ref Medical Image Analysis, 113 (2026), 104193

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.14792 2026-06-24 cs.CV 版本更新 57%

MSPL: Multi-Step Pseudo-Labeling for Open-Vocabulary Object Detection

MSPL: 用于开放词汇目标检测的多步伪标签方法

Hojun Choi, Youngsun Lim, Jaeyo Shin, Hyunjung Shim

机构 * KAIST AI(韩国韩世大学AI研究所) Boston University(波士顿大学)

专题命中 图文多模态 :image-text(abstract);分类 cs.CV

AI总结 提出MSPL框架,通过多步视觉推理(目标定位、类别识别、背景确认)生成伪标签,解决开放词汇检测中单步图像-文本匹配忽略中间推理步骤的问题,在OV-COCO和OV-LVIS上取得最优性能。

Comments This paper has been accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.05962 2026-06-24 cs.CV 版本更新 57%

A novel Framework for Open-Vocabulary Multi-Object Recognition using CLIP

一种基于CLIP的开放词汇多目标识别新框架

Wei Yu Chen, Ying Dai

机构 * Faculty of Software and Information Science(软件与信息科学学院)

专题命中 图文多模态 :cross-modal(abstract);分类 cs.CV

AI总结 提出一种两阶段开放词汇目标识别框架,先分割后识别,利用CLIP生成嵌入进行跨模态匹配,在多个数据集上达到最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 音频语音多模态 4 篇

2606.24286 2026-06-24 cs.CL cs.CV 新提交 84%

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

AVOC:通过检索启发的令牌压缩增强全模态大语言模型中的小时级音视频理解

Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院) Huawei Inc.(华为技术有限公司)

专题命中 音频语音多模态 :omni-modal(title,abstract);multimodal(abstract);分类 cs.CV、cs.CL

AI总结 提出AVOC框架,通过检索启发的令牌压缩模块,将多模态令牌压缩视为top-K检索问题,结合相关性、重要性和多样性三个标准,实现长时音视频理解,在小时级基准上取得最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23712 2026-06-24 eess.SP cs.AI 新提交 83%

Audio-visual Contrastive Alignment for Diffusion-based Visual-conditioned Speech Enhancement

基于扩散的视觉条件语音增强中的音视频对比对齐

Colombe Mboungou, Mostafa Sadeghi, Jean-Eudes Ayilo, Romain Serizel

机构 * Université de Lorraine, CNRS, Inria, Loria, Nancy, France(洛林大学、法国国家科学研究中心、法国国家信息与自动化研究所、Loria研究所、法国南希)

专题命中 音频语音多模态 :audio-visual(title,abstract);cross-modal(abstract);分类 cs.AI

AI总结 提出在扩散训练目标中加入对比音视频损失,增强视觉信息利用,提升语音增强性能,尤其在低信噪比下改善显著。

Journal ref INTERSPEECH, Sep 2026, Sydney, Australia

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.04840 2026-06-24 eess.AS cs.AI cs.CL 版本更新 67%

An Approach to Simultaneous Acquisition of Real-Time MRI Video, EEG, and Surface EMG for Articulatory, Brain, and Muscle Activity During Speech Production

一种用于言语产生过程中发音、大脑和肌肉活动的实时MRI视频、脑电图和表面肌电图同步采集方法

Jihwan Lee, Parsa Razmara, Kevin Huang, Sean Foley, Aditya Kommineni, Haley Hsu, Woojae Jeong, Prakash Kumar, Xuan Shi, Yoonjeong Lee, Tiantian Feng, Takfarinas Medani, Ye Tian, Sudarsana Reddy Kadiri, Krishna S. Nayak, Dani Byrd, Louis Goldstein, Richard M. Leahy, Shrikanth Narayanan

机构 * Signal Analysis and Interpretation Laboratory, University of Southern California(南加州大学信号分析与解释实验室) Ming Hsieh Dept. of Electrical and Computer Engineering, University of Southern California(南加州大学明希斯电气与计算机工程系) Dept. of Linguistics, University of Southern California(南加州大学语言学系)

专题命中 音频语音多模态 :multimodal(abstract);分类 cs.CL、cs.AI、eess.AS

AI总结 本文首次实现了言语产生过程中实时MRI、EEG和表面EMG的同步采集,并提出了针对三模态设置的伪影抑制流程,为言语神经科学和脑机接口提供新视角。

Comments Accepted for Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24523 2026-06-24 cs.CL cs.AI 新提交 62%

Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

海报:探索基于音频的土耳其电话诈骗检测的极限

Arda Eren, Micheal Cheung, Youqian Zhang, Grace Ngai, Eugene Yujun Fu

机构 * The Hong Kong Polytechnic University(香港理工大学) The Education University of Hong Kong(香港教育大学)

专题命中 音频语音多模态 :multi-modal(abstract);分类 cs.CL、cs.AI

AI总结 针对土耳其语电话诈骗,构建首个多模态数据集(100对音频-文本),评估7个LLM在三种输入条件下的检测性能,发现基于文本的输入优于直接音频处理。

Comments Poster paper accepted at 47th IEEE Security & Privacy 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 视频多模态 13 篇

2606.24404 2026-06-24 cs.CV 新提交 79%

Modality-Aware Out-of-Distribution Detection for Multi-Modal Action Recognition

面向多模态动作识别的模态感知分布外检测

Lars Doorenbos, Duc Manh Vu, Serdar Ozsoy, Juergen Gall

机构 * University of Bonn(波恩大学) Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)

专题命中 视频多模态 :multi-modal(title,abstract);分类 cs.CV

AI总结 提出一种后处理混合检测器,利用多模态与单模态预测关系及特征空间得分,在推理时显式考虑模态信息,提升多模态分布外检测性能。

Comments Accepted at ECCV '26

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24248 2026-06-24 cs.CV 新提交 79%

M^2C-EvDet: Multi-Domain Multi-Order Cross-Modal Knowledge Distillation for Event-based Object Detection

M^2C-EvDet:面向事件目标检测的多域多阶跨模态知识蒸馏

Wei Bao, Siqi Li, Shouan Pan, Yi Xie, Yue Gao

机构 * BNRist, THUIBCS, BLBCI, School of Software, Tsinghua University(清华大学软件学院、北京信息科学与技术国家研究中心、清华-英特尔先进计算与智能技术联合研究中心、北京国家区块链与物联网技术研究中心) Yangtze Delta Region Institute, Tsinghua University(清华大学长三角研究院) School of Economics and Management, Beijing Forestry University(北京林业大学经济管理学院)

专题命中 视频多模态 :cross-modal(title,abstract);分类 cs.CV

AI总结 提出M^2C-EvDet框架,通过频率学习和超图计算,结合自适应频率解耦特征蒸馏和多阶关系蒸馏,缩小事件数据与帧数据在目标检测上的性能差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11129 2026-06-24 cs.CV 新提交 70%

WorldOlympiad: Can Your World Model Survive a Triathlon?

WorldOlympiad:你的世界模型能经受铁人三项考验吗?

Yuke Zhao, Wangbo Zhao, Weijie Wang, Zeyu Zhang, Dakai An, Akide Liu, Yinghao Yu, Jiasheng Tang, Fan Wang, Wei Wang, Bohan Zhuang

机构 * Zhejiang University(浙江大学) DAMO Academy, Alibaba Group(阿里巴巴达摩院) The Hong Kong University of Science and Technology(香港科技大学) Monash University(莫纳什大学) TRE, Alibaba Group(阿里巴巴TRE)

专题命中 视频多模态 :MLLM(abstract,abstract_cn);分类 cs.CV

AI总结 提出WorldOlympiad基准,从物理忠实性、几何一致性和交互保真度三个维度诊断视频世界模型,揭示现有模型在物理推理、3D一致性和长程交互方面的显著不足。

Comments Project Page: https://alibaba-damo-academy.github.io/WorldOlympiad/, Code: https://github.com/alibaba-damo-academy/WorldOlympiad

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23705 2026-06-24 stat.AP cs.AI 新提交 57%

Event-Aligned Analysis of Multi-Rater Pain Assessments Using Continuous Wearable Physiology

使用连续可穿戴生理数据进行多评估者疼痛评估的事件对齐分析

Saba A. Farahani, Elahe Khatibi, Thomas D. Hughes, Ariana M. Nelson, Hung Cao, Amir M. Rahmani

机构 * University of California, Irvine(加州大学伊维奇分校)

专题命中 视频多模态 :multimodal(abstract);分类 cs.AI

AI总结 提出一种考虑评估者身份的事件对齐框架,将稀疏的疼痛评分转化为离散事件,并对齐连续可穿戴生理信号,揭示评估者间差异及生理模式依赖。

Comments 6 pages, 3 figures. Accepted at IEEE EMBC 2026 (Toronto, Canada, July 26-30, 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24636 2026-06-24 cs.AI 新提交 57%

CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning

CineCap: 基于时空锚点的结构化推理用于电影化视频描述

Xinyu Mao, Yuhui Zeng, Xiaokun Liu, Wenyu Qin, Meng Wang, Xin Tao, Pengfei Wan, Xiaohan Xing, Max Meng

机构 * The Chinese University of Hong Kong(香港中文大学) Xiamen University(厦门大学) Kling Team, Kuaishou Technology(快手科技Kling团队) National University of Singapore(新加坡国立大学) Southern University of Science and Technology(南方科技大学)

专题命中 视频多模态 :multimodal(abstract);分类 cs.AI

AI总结 提出CineCap框架,通过时空锚点结构化推理和强化学习(覆盖完整性、准确性和门控覆盖奖励)生成电影化视频描述,在CineCap Bench基准上达到新最优。

Comments 10 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24602 2026-06-24 cs.CV 新提交 57%

ViTexQA: A Multi-Frame Temporal Perception Dataset for Video Text Question Answering

ViTexQA: 面向视频文本问答的多帧时序感知数据集

Zhentao Guo, Chen Duan, Tongkun Guan, Zining Wang, Kai Zhou, Pengfei Yan

机构 * Meituan(美团) Shanghai Jiao Tong University(上海交通大学)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 提出ViTexQA数据集和FrameThinker方法,通过跨帧文本融合的问答对和两阶段训练(CoT微调+时序强化学习),解决多帧时序文本感知难题,ROUGE-L提升6.3%。

Comments Accepted by ECCV2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24282 2026-06-24 cs.CV 新提交 57%

UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance

UniRED: 基于事件引导的统一RGB-D视频帧插值

Yinuo Zhang, Guangshun Wei, Yuanfeng Zhou, Yiran Shen

机构 * School of Software, Shandong University(山东大学软件学院)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 提出统一多模态框架UniRED,融合RGB外观、深度几何和事件时间线索,通过双向流估计与运动基细化实现高质量RGB-D视频帧插值,并构建RGB-D-Event数据集缓解数据稀缺。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24175 2026-06-24 cs.CV 新提交 57%

Tri-Efficient Transfer Learning for Point Cloud Videos

点云视频的三效迁移学习

Yiding Sun, Dongxu Zhang, Jihua Zhu, Haozhe Cheng, Zhengqiao Li, Pengcheng Li, Chaowei Fang, Yonghao Dong, Lin Chen

机构 * School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院) School of Information and Communication Engineering, Xi’an Jiaotong University(西安交通大学信息与通信工程学院) SIGS, Tsinghua University(清华大学深圳国际研究生院)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 提出PoinTriE框架,通过伪运动轨迹合成、几何-运动对偶网络和时空侧网络,实现数据、参数和内存三方面高效的点云视频迁移学习,在动作识别和语义分割任务上取得新最优结果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.24731 2026-06-24 cs.CV 版本更新 57%

EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation

EchoFoley: 面向视频接地创意声音生成的事件中心层次化控制

Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

机构 * ByteDance Intelligent Creation(字节跳动智能创作) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) University of California, Merced(加州大学默塞德分校) University of California, Los Angeles(加州大学洛杉矶分校)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 提出EchoFoley任务,通过事件级局部控制和层次化语义控制实现视频接地声音生成,构建EchoFoley-6k基准并设计EchoVidia框架,在可控性和感知质量上分别提升40.7%和12.5%。

Comments CVPR-2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00324 2026-06-24 cs.RO cs.CV cs.HC 版本更新 57%

MILE: A Mechanically Isomorphic Hand Exoskeleton and Visuotactile Robotic Hand for Data Collection in Dexterous Manipulation

MILE:一种用于灵巧操作的指尖视觉触觉传感的机械同构外骨骼数据采集系统

Jinda Du, Jieji Ren, Qiaojun Yu, Ningbin Zhang, Yu Deng, Xingyu Wei, Yufei Liu, Guoying Gu, Xiangyang Zhu

机构 * State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China(机械系统与振动国家重点实验室,上海交通大学机械工程学院,上海200240,中国) Shanghai Key Laboratory of Intelligent Robotics, Shanghai Jiao Tong University, Shanghai 200240, China(智能机器人上海重点实验室,上海交通大学,上海200240,中国) Shanghai Artificial Intelligence Laboratory, Shanghai, China(上海人工智能实验室,上海,中国) Humanoid Robot (Shanghai) Co., Ltd., Shanghai, China(上海人形机器人有限公司,上海,中国)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 针对现有灵巧操作数据采集系统运动重定向不准确、效率低、缺乏高分辨率指尖触觉传感的问题,提出MILE系统,通过从人手到外骨骼再到机械手的机械同构设计,实现无重定向精确控制,并集成指尖视觉触觉模块,采集多模态数据集,显著提升遥操作成功率。

Comments 18 pages including supplementary material. Main manuscript and supplementary material included in this version

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23791 2026-06-24 hep-ph 新提交 50%

One Generator, Any Process: LLM-Conditioning for the LHC

一个生成器,任意过程:LHC的LLM条件生成

Henning Bahl, Tilman Plehn, Daniel Schiller, Thanush Sivagnanalingam

专题命中 视频多模态 :multi-modal(abstract)

AI总结 提出利用预训练LLM为自回归变压器提供描述性嵌入,通过连续参数、过程标签和费曼图的条件化方案,实现LHC事件生成网络的快速收敛、更优结果及对未见过程的泛化。

Comments 33 pages, 23 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23729 2026-06-24 cond-mat.mtrl-sci 新提交 50%

Interpretable Material Spatial Intelligence for Discovery of Governing Microstructural Features

可解释的材料空间智能用于发现主导微观结构特征

Mathieu Calvat, Gregory Sparks, Dhruv Anjaria, Chris Bean, Haoren Wang, Paul Gradl, Timothy M. Smith, Allison M. Beese, Gabriel Demeneghi, Kenneth Vecchio, Morad Behandish, J. C. Stinville

专题命中 视频多模态 :multimodal(abstract)

AI总结 提出材料空间智能(MSI)框架,通过多模态表示学习直接从空间观测数据中编码微观结构信息,实现性能预测、解释和优化,并识别主导力学行为的关键特征。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.02786 2026-06-24 cs.LG 50%

FiMMIA: scaling semantic perturbation-based membership inference across modalities

FiMMIA: 在多模态领域中扩展基于语义扰动的成员推断

Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

机构 * SberAI

专题命中 视频多模态 :multimodal(abstract)

AI总结 本文提出FiMMIA框架,用于多模态大语言模型中的成员推断攻击,通过识别数据分布偏移和改进基线流程,提升对抗检测性能。

Comments System demo track paper for EACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 跨模态检索 2 篇

2606.23881 2026-06-24 cs.CL cs.CV cs.IR 新提交 85%

Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification

先定位再排序:基于知识的视觉问答中无训练实体识别的再探讨

Qian Ma, Qiong Wu, Zhengyi Zhou, Yao Ma

机构 * Rensselaer Polytechnic Institute(伦斯勒理工学院) AT&T Chief Data Office(AT&T首席数据办公室)

专题命中 跨模态检索 :MLLM(summary_cn,abstract);multi-modal(abstract);分类 cs.CV、cs.CL

AI总结 针对知识型视觉问答中实体与证据双重定位瓶颈,提出解耦实体识别与段落排序的无训练IBA框架,利用MLLM候选名称选择与文本重排序器,在降低复杂度同时提升性能。

Comments Accepted by ACL 2026 Findings. Project page https://github.com/VAN-QIAN/ACL26-IBA/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22220 2026-06-24 cs.CV cs.AI cs.LG 新提交 84%

MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learning

MultiMem: 多模态对比学习中的记忆化测量与缓解

Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic

机构 * CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)

专题命中 跨模态检索 :multi-modal(title,abstract);cross-modal(abstract);分类 cs.CV、cs.AI

AI总结 提出首个多模态对比学习记忆化度量MultiMem,发现跨模态语义错位是主要驱动因素,文本模态影响最大,并通过跨模态增强有效降低记忆化并提升性能。

Comments Accepted at The 19th European Conference on Computer Vision (ECCV), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 多模态生成 15 篇

2606.24301 2026-06-24 cs.CV 新提交 83%

MM-TRELLIS: Point-Cloud Guided Multi-Modal 3D Vehicle Generation in Autonomous Driving

MM-TRELLIS: 自动驾驶中基于点云引导的多模态3D车辆生成

Hongli Xiao, Youjian Zhang, Yucai Bai, Chaoyue Wang, Yaohui Jin, Xiaoguang Ren, Wenjing Yang, Long Lan

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院教育部人工智能重点实验室) Academy of Military Science(军事科学院) Bosch innovation software development (Wuxi) Co., Ltd.(博世创新软件开发(无锡)有限公司) College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院) Shopee Pte. Ltd.(Shopee私人有限公司)

专题命中 多模态生成 :multi-modal(title,abstract);multimodal(abstract);分类 cs.CV

AI总结 提出MM-TRELLIS,融合多视图图像与LiDAR点云,通过点云引导和体素过滤策略,实现高质量3D车辆生成,在Waymo数据集上优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24333 2026-06-24 cs.CV 新提交 79%

UniTranslator: A Unified Multi-modal Framework for End-to-end In-Image Machine Translation

UniTranslator:一种用于端到端图像内机器翻译的统一多模态框架

Jiahao Lyu, Pei Fu, Zhenhang Li, Shaojie Zhang, Jiahui Yang, Yu Zhou, Can Ma, Zhenbo Luo, Jian Luan

机构 * MiLM Plus, Xiaomi Inc(小米公司MiLM Plus) Binghamton University(宾汉姆顿大学)

专题命中 多模态生成 :multi-modal(title);multimodal(abstract);分类 cs.CV

AI总结 提出UniTranslator统一框架,通过理解-生成对齐模块和空间掩码解码器解决翻译理解与文本编辑的冲突及空间错位问题,在多个基准上实现最先进性能。

Comments Accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏