arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 502 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态训练与对齐 502 篇

2607.19600 2026-07-23 stat.ME cs.CV cs.LG q-bio.QM stat.ML 新提交 79%

Deep Shape Regression for Planar Curves with Multimodal Covariates

具有多模态协变量的平面曲线深度形状回归

Manuel Pfeuffer, Roshan Prakash Rane, Hadya Yassin, Kerstin Ritter, Sonja Greven

机构 * Humboldt-Universität zu Berlin, Berlin, Germany(柏林洪堡大学) Hertie Institute for AI in Brain Health, Universität Tübingen, Tübingen, Germany(人工智能与脑健康赫特研究所) Universität Tübingen, Tübingen, Germany(图宾根大学) Hasso Plattner Institut, Universität Potsdam, Potsdam, Germany(哈索·普拉特纳研究所)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 该研究针对平面曲线提出深度形状回归模型,允许多模态高维协变量。用复值函数表示曲线,提出含模态特定编码器的协方差平滑器,模型具多种不变性,还提供弹性均值估计算法,经模拟和实际应用验证了方法有效性。

Comments 17 pages, 4 figures, 1 algorithm. Submitted to the ShapeMI Workshop, MICCAI 2026. Code is available at https://github.com/mpff/dnn-shapes

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17351 2026-07-21 cs.AI cs.RO 新提交 79%

DeeperRadar: End-to-End MIMO Radar Design and Multi-Modal Fusion for Autonomous Vehicle Perception

深度雷达:用于自动驾驶车辆感知的端到端MIMO雷达设计与多模态融合

Eli Goldenshluger, Barak Pinkovich, Chaim Baskin

机构 * Technion–Israel Institute of Technology(以色列理工学院) Ben-Gurion University of the Negev(内盖夫本-古里安大学)

专题命中 多模态训练与对齐 :multi-modal(title,abstract);分类 cs.AI

AI总结 深度雷达以雷达为中心,通过端到端学习稀疏采集模式,共同设计雷达传感与多模态3D检测。其可学习的MIMO设计模块在融合网络中训练,由其他传感器监督。在RADIal数据集上评估,能发现稀疏配置,降低成本与复杂性,表明最优设计取决于融合堆栈和感知任务。

Comments Accepted for publication at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17257 2026-07-21 cs.RO cs.AI 新提交 79%

Asynchronous Multimodal Diffusion Policy Composition via Latency-Aware Guidance Fusion

通过延迟感知引导融合实现异步多模态扩散策略组合

Zihao He, Hongjie Fang, Shirun Tang, Cewu Lu, Haoshu Fang

机构 * Shanghai Jiao Tong University(上海交通大学) Noematrix(无矩阵) Shanghai Innovation Institute(上海创新研究院)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.AI

AI总结 研究针对多模态扩散策略在模态差异下的融合问题,提出LAG - Fusion框架,通过延迟感知引导融合实现异步策略组合,推导参考帧重定位规则,在接触丰富操纵实验中提升了策略响应性和任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16366 2026-07-21 cs.RO cs.AI 新提交 79%

PRISM: Multimodal Terrain Mapping for Rover Navigation in Unstructured Environments

PRISM:非结构化环境中用于漫游车导航的多模态地形映射

Raul Castilla-Arquillo, Carlos Perez-del-Pulgar, Levin Gerdes, Alfonso Garcia-Cerezo, Miguel A. Olivares-Mendez

机构 * SnT, University of Luxembourg(卢森堡大学安全、可靠性和信任跨学科中心) Department of Automation and Systems Engineering, Universidad de Málaga, Andalucía Tech(马拉加大学自动化与系统工程系,安达卢西亚技术大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.AI

AI总结 研究针对非结构化环境中漫游车导航问题,提出PRISM多模态感知系统,利用定制传感器套件和OmniUnet网络,经新数据集验证及现场实验,可在资源受限设备上高效生成可通行性地图,实现漫游车自主导航。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16233 2026-07-21 cs.LG cs.AI 新提交 79%

Token-Level Cross-Modal Transformer with Contrastive Multi-Task Learning for Breast Cancer Subtype Classification and Survival Prediction

用于乳腺癌亚型分类和生存预测的具有对比多任务学习的令牌级跨模态变换器

Suxing Liu Byungwon Min

机构 * Jiangxi Arts & Ceramics Technology Institute(江西艺术陶瓷科技职业学院) Mokwon University(木浦大学)

专题命中 多模态训练与对齐 :cross-modal(title,abstract);分类 cs.AI

AI总结 针对整合异质模态进行癌症亚型分类和生存预测的挑战,提出令牌级跨模态变换器及对比多任务学习方法,克服现有方法在模态交互、融合方式及目标优化上的局限。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.13931 2026-07-16 cs.CV 新提交 79%

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL:用于多模态强化学习的灵敏度不变视觉对齐

Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

机构 * Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Shanghai Jiao Tong University(上海交通大学) Sichuan University(四川大学) The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) University of Macau(澳门大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 研究多模态强化学习中视觉语言模型预测与视觉证据结合问题,提出SIVA-RL框架,通过特定方法构建局部干预并以奖励下降为权重驱动对齐,在多基准测试中相比基线改进了模型。

Comments 27 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12372 2026-07-15 cs.CV 新提交 79%

UMSS: Towards Unsupervised Multi-modal Semantic Segmentation

UMSS:迈向无监督多模态语义分割

Haitian Zhang, Thai Duy Nguyen, Xiangyuan Wang, Mohan Liu, Lin Wang

机构 * EmPACT Lab, School of EEE, Nanyang Technological University(电气与电子工程学院电磁脉冲与天线研究室,南洋理工大学) The University of Hong Kong(香港大学)

专题命中 多模态训练与对齐 :multi-modal(title);multimodal(abstract);分类 cs.CV

AI总结 本文针对无监督多模态语义分割问题,提出基于DINOv3的UniM2框架,通过跨模态对应协同学习统一潜在空间提取语义线索,并引入跨模态协调器缓解冲突,实验证明该框架相比现有框架有明显优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11131 2026-07-14 cs.CL 新提交 79%

TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding

TIGER:用于多模态推测解码的文本条件视觉门控路由与接受对齐

Quynh Vo, Cong-Duy Nguyen, Ponhvoan Srey, Luu Anh Tuan, Thong Nguyen

机构 * National University of Singapore(新加坡国立大学) Nanyang Technological University(南洋理工大学) Center of AI Research, VinUniversity(Vin大学人工智能研究中心)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CL

AI总结 针对多模态推测解码中草稿模型视觉关键内容易偏差及现有方法不足的问题,提出TIGER框架,基于文本状态动态选视觉令牌,用接受对齐分组策略训练优化草稿模型,实验证明其在多方面取得良好效果。

Comments Work in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11106 2026-07-14 cs.CV 新提交 79%

Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools

超越视觉:通过自我调节的隐式视觉工具实现高效多模态推理

Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang

机构 * Sun Yat-sen University(中山大学) The Hong Kong Polytechnic University(香港理工大学) Yinwang Intelligent Technology Co., Ltd.(银望智能科技有限公司)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 研究针对多模态大语言模型推理效率问题,提出超越视觉(BEE)的隐式视觉工具范式,通过将视觉工具调用行为纳入训练目标,经两阶段训练,包括形式化思维链监督微调与自我调节奖励驱动对齐,提升了模型在细粒度视觉感知任务中的性能和推理效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10798 2026-07-14 cs.CL 新提交 79%

Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG

融合前的信任:用于受污染多模态RAG的QIMG-7和源感知分辨率

Saadeldine Eletter, Owais Aijaz, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CL

AI总结 研究多模态检索增强生成中受污染内容问题,提出QIMG-7基准。针对朴素多模态融合脆弱问题,提出源感知信任分辨率(SATR),Field-Selector变体效果最佳,结果支持选择性信任,显式文本可靠性建模是收益主要驱动因素。

Comments 23 pages, 6 figures, 23 tables. Preprint under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10599 2026-07-14 cs.AI eess.SP 新提交 79%

MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis

MRUF:用于鲁棒多模态情感分析的具有不确定性感知融合的多粒度路由

Haoran Ma, Yinfeng Yu, Liejun Wang

机构 * School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院) Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing(丝绸之路多语言认知计算国际联合研究实验室) Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center(新疆多模态智能处理与信息安全工程技术研究中心) Pengcheng Laboratory Xinjiang Network Node(鹏城实验室新疆网络节点) Embodied Intelligence Joint Laboratory(具身智能联合实验室)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.AI

AI总结 针对多模态情感分析中模态质量不一问题,提出MRUF方法,结合多粒度路由与不确定性感知校准,总结情感表示、进行路由并监督模态重要性估计,预测模态不确定性并细化模态门,实验显示相比基线有改进,验证了高不确定性模态获低融合权重。

Comments Main paper (6 pages). Accepted for publication by IEEE International Conference on Systems and Man and and Cybernetics 2026 (IEEE SMC 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09777 2026-07-14 cs.CV 新提交 79%

Time Imprint: Learning Time-Aware Representations in Multi-Modal Knowledge Graphs

时间印记:在多模态知识图谱中学习时间感知表示

Pengyu Zhang, Klim Zaporojets, Congfeng Cao, Jia-Hong Huang, Paul Groth

机构 * University of Amsterdam(阿姆斯特丹大学) Aarhus University(奥胡斯大学)

专题命中 多模态训练与对齐 :multi-modal(title,abstract);分类 cs.CV

AI总结 研究多模态知识图谱中难以区分相似实体的问题,提出Time Imprint框架将时间视为实体级模态,通过三视图对比目标联合对齐多模态表示,还研究时间戳选择与聚合,实验表明该方法提升了链接预测性能,明确了时间作为模态的优势及条件。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.07016 2026-07-09 cs.LG cs.AI 新提交 79%

Multimodal Spatiotemporal-Frequency Fusion with Peak Enhancement for Cellular Traffic Forecasting

用于蜂窝流量预测的具有峰值增强的多模态时空频率融合

Qingzhong Li, Yue Hu, Hui Ma, Yajun Zhang, Xinjun Pei, Ming Yan, Fei Xing

机构 * Xinjiang University(新疆大学) College of Geography and Remote Sensing Sciences, Xinjiang University(新疆大学地理与遥感科学学院)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.AI

AI总结 针对蜂窝网络流量预测难题,提出MSPF-Net框架,它集成外部上下文信息,含时空频率流量编码器、峰值增强模块等,能联合建模流量动态、突发模式和新闻上下文信号,实验证明可有效提升预测性能。

Comments Accepted in the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06943 2026-07-09 cs.CV 新提交 79%

General Incomplete Multimodal Learning via Dynamic Quality Perception

通过动态质量感知进行通用不完全多模态学习

Xiangyu Meng, Shicai Wei

机构 * University of Electronic Science and Technology of China(电子科技大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 针对多模态学习中模态间缺失和模态内退化共存问题,提出通用不完全多模态学习框架GIML,通过动态质量感知处理上述问题,引入噪声感知质量估计器和噪声语义解耦模块,经实验验证其有效性和通用性。

Comments Accepted by ECCV 2026. Corresponding author: Shicai Wei

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08336 2026-07-09 cs.CV 新提交 79%

Synesthesia via Direct Latent Augmentation:Bypassing the Decode-Encode Loop for Cross-Modal Distillation

超越原始信号:作为特权合成数据的未解码生成潜变量

Cristian Sbrolli, Nicolas Michel, Matteo Matteucci, Toshihiko Yamasaki

机构 * Politecnico di Milano(米兰理工大学) The University of Tokyo(东京大学)

专题命中 多模态训练与对齐 :cross-modal(title);multimodal(abstract);分类 cs.CV

AI总结 提出直接潜变量增强(DLA)方法,利用未解码的生成潜变量作为特权信息,并通过多层显式模拟联觉(MESSy)将密集知识迁移到纯视觉学生模型,避免了解码-编码循环的低效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05019 2026-07-08 cs.LG cs.CV 新提交 79%

Beyond Modality Fusion: Deep Ensembles for Multimodal Classification

超越模态融合:用于多模态分类的深度集成

Ilya Burenko, Dmitry Vetrov

机构 * ScaDS.AI, Technische Universität Dresden(ScaDS.AI,德累斯顿工业大学) Constructor University Bremen(不来梅建造者大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 研究多模态分类,对比深度集成与模态融合网络,证明单模态网络深度集成可有效分类,提出选模型数量方法,还给出合成框架探索优化挑战,估计集成渐近性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03959 2026-07-07 eess.IV cs.CV cs.LG 新提交 79%

Cross-Modal Fusion of OCT and OCT angiography enface for Improved Diagnostics of Diabetic Retinopathy

用于改善糖尿病视网膜病变诊断的OCT与OCT血管造影en face跨模态融合

Rashadul Hasan Badhon, Atalie Carina Thompson, Jennifer I. Lim, Theodore Leng, Minhaj Nur Alam

专题命中 多模态训练与对齐 :cross-modal(title,abstract);分类 cs.CV

AI总结 针对糖尿病视网膜病变精准筛查需求,提出双向跨模态注意力网络融合OCT与en face OCTA实现自动分类,实验验证该方案性能优于单模态模型,生成式OCTA可降低硬件依赖。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05311 2026-07-07 cs.CV 新提交 79%

Deep Learning for Semen Analysis in Male Infertility: Computer Vision, Multimodal Fusion, and Clinical Translation

男性不育症精液分析深度学习技术:计算机视觉、多模态融合与临床转化

Runwei Guan, Shaofeng Liang, Jiacheng Weng, Xiaoyi Gu, Jia Weng, Daizong Liu, Duo Pan, Qingxin Zhang, Xiao Liang, Weiping Ding, Suoyu Zhu, Ming Yuan, Yanhua Fei

机构 * Department of Gynaecology and Obstetrics, The Affiliated Jiangyin Hospital of Nantong University(南通大学附属江阴医院妇产科) Department of Oncology, the Affiliated Jiangyin Hospital of Nantong University(南通大学附属江阴医院肿瘤科) Thrust of AI, Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)人工智能推力实验室) FertiTech AI(生殖科技人工智能公司) Department of Oncology, Suzhou Xiangcheng People’s Hospital(苏州市相城区人民医院肿瘤科) Department of Biological Sciences and Bioinformatics, School of Science, Xi’an Jiaotong-Liverpool University(西交利物浦大学理学院生物科学与生物信息学系) School of Artificial Intelligence and Computer Science, Nantong University(南通大学人工智能与计算机科学学院)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 针对传统精液分析的主观性强等缺陷,综述聚焦计算机视觉与深度学习驱动的精子分析技术,梳理方法、数据集与落地障碍,提出分阶段临床转化路线。

Comments 46 pages, 14 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03817 2026-07-07 cs.CV 新提交 79%

Global Logic and Local Search: Dual-Stream Multimodal In-Context Learning for Verifiable Industrial Anomaly Detection

全局逻辑与局部搜索:用于可验证工业异常检测的双流多模态上下文学习

Runzhi Deng, Yundi Hu, Yiming Zhong, Zhao Wang, Xixi Liu, Hongsong Wang, Caifeng Shan, Fang Zhao

机构 * Nanjing University(南京大学) China Mobile Zijin Innovation Institute(中国移动紫金创新研究院) Southeast University(东南大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 针对工业异常检测难题,提出无训练框架GLLS,利用视觉逻辑图谱组织参考和规范,结合全局逻辑流与细粒度动作流,实验表明其优于基线且决策可追溯

Comments Accepted by ECCV 2026. 18 pages, 3 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02372 2026-07-03 cs.CV 新提交 79%

Learning Spectral and Polarimetric Clues for One-to-Multimodal Novel View Synthesis

学习光谱和偏振线索用于一对多模态新视角合成

Federico Lincetto, Gianluca Agresti, Mattia Rossi, Piergiorgio Sartor, Pietro Zanuttigh

机构 * MEDIA Lab(媒体实验室) University of Padova(帕多瓦大学) Sony EUISPC(索尼欧洲影像处理中心) Sony Semiconductor Solutions Europe(索尼半导体解决方案欧洲分公司)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 提出SPoILeR方法,通过多模态预训练学习模态间相关性,在仅RGB监督下实现未见场景的多模态新视角渲染。

Comments Accepted at ECCV 2026. Project page: https://medialab.dei.unipd.it/paper_data/SPoILeR/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01627 2026-07-03 cs.LG cs.AI 新提交 79%

MKGR: Multimodal Knowledge-Graph Representation Learning for Cold-Start Protein-Protein Interaction Prediction

MKGR: 面向冷启动蛋白质-蛋白质相互作用预测的多模态知识图谱表示学习

Wenbo Zhang

机构 * College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.AI

AI总结 提出MKGR框架,结合区域感知蛋白质序列编码与四个生物医学知识图谱,通过桥接重建目标和成对门控模块,在冷启动场景下显著提升PPI预测性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00974 2026-07-02 cs.IT cs.CV math.IT 新提交 79%

QuaMoE-DRF: Proactive Beam and Rate Adaptation via Multimodal Dynamic Radio Map Forecasting in ISAC Networks

QuaMoE-DRF:ISAC网络中通过多模态动态无线电地图预测实现主动波束和速率自适应

Zhihan Zeng, Kaihe Wang, Zhongpei Zhang, Chongwen Huang

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 针对静态无线电地图无法捕捉移动物体短时遮挡的问题,提出QuaMoE-DRF框架,通过质量感知的多模态动态无线电地图预测未来波束SINR场,联合优化波束、MCS和速率,在动态城市基准上实现402.5 Mbps有效速率和0.0417中断概率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31383 2026-07-01 cs.CV 新提交 79%

MS-Resampler: Multi-Scope Visual Resampling for Efficient Multimodal LLMs

MS-Resampler: 用于高效多模态大语言模型的多范围视觉重采样

Zhongyang Li, Yaqian Li, Faming Fang, Rinyoichi Takezoe, Zi-Hao Bo, Cheng Qian, Mo Guang, Guixu Zhang, Kaiwen Long

机构 * Li Auto Inc.(理想汽车) East China Normal University(华东师范大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 提出MS-Resampler,通过多范围视觉重采样框架,注入显式空间范围先验,使模型在固定令牌预算内同时捕获局部细节和全局上下文,提升多模态理解与推理。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27484 2026-06-29 cs.CV 新提交 79%

Fine-tuning a multimodal large language model for clinician-grade autism behavioral scoring from short home videos

微调多模态大语言模型用于从短视频中对自闭症行为进行临床级评分

Mohammadmahdi Honarmand, Parnian Azizian, Aaron Kline, Kae Nurge, Zerin Nasrin Tumpa, Saimourya Surabhi, Kaitlyn Dunlap, Yang Qian, Ali Kargarandehkordi, Sameer Neupane, Peter Washington, Dennis P. Wall

机构 * Stanford University(斯坦福大学) University of Hawaii at Manoa(夏威夷大学马诺阿分校) University of California San Francisco(加利福尼亚大学旧金山分校)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 微调Gemini 2.5 Pro模型,从400个临床评分的家庭视频中提取30个行为特征,在99名儿童上实现与临床医生评分的一致性提升40%,并零样本达到53%的自闭症诊断F1提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27317 2026-06-26 cs.CV cs.RO 新提交 79%

OctoSense: Self-Supervised Learning for Multimodal Robot Perception

OctoSense: 多模态机器人感知的自监督学习

Anthony Bisulco, Jeremy Wang, Kostas Daniilidis, Randall Balestriero, Pratik Chaudhari

专题命中 多模态训练与对齐 :multimodal(title);multi-modal(abstract);分类 cs.CV

AI总结 提出OctoSense传感器平台和数据集,通过“晚融合”掩码自编码器实现多模态自监督学习,在多种退化条件下鲁棒预测光流、深度、语义分割和自运动。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26416 2026-06-26 cs.CV 新提交 79%

Methane-Plume Segmentation From Hyperspectral Satellite Imagery Via Multimodal Deep Learning

基于多模态深度学习的高光谱卫星图像甲烷羽流分割

Brayan Quintero, Jeferson Acevedo, Samuel Traslaviña, Hoover Rueda-Chacón

机构 * Department of Computer Science, Universidad Industrial de Santander(计算机科学系,圣安德烈斯工业大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 提出一种多模态深度学习模型,集成特征引导的甲烷增强机制,在MPDataset上取得优于现有方法的性能,实现高精度与高效率的甲烷羽流分割。

Comments Accepted at IEEE International Geoscience and Remote Sensing Symposium (IGARSS) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24156 2026-06-24 cs.CV 新提交 79%

Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction

利用先验校正的令牌缩减加速多模态大语言模型

Zengjie Chen, Yuxiang Cai, Jingcai Guo, Taotao Cai, Jianwei Yin, Zhi Chen

机构 * School of Software Technology, Zhejiang University(浙江大学软件学院) Zhejiang Key Laboratory of Digital-Intelligence Service Technology(浙江省数字化服务技术重点实验室) Hong Kong Polytechnic University(香港理工大学) The University of Southern Queensland(南昆士兰大学)

专题命中 多模态训练与对齐 :multimodal(title,abstract);分类 cs.CV

AI总结 提出PriorTR方法,通过分离任务条件注意力与模型先验注意力,在单次前向传播中估计先验并校正令牌重要性,实现无训练令牌缩减,提升多模态大语言模型效率与准确性。

Comments Accepted to ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21892 2026-06-23 cs.LG cs.CV 新提交 79%

AgroSense 2.0: Cross-Modal Transformer Fusion with Geospatial Raster Integration and Interpretable Multi-Task Learning for Precision Crop Recommendation

AgroSense 2.0:基于跨模态Transformer融合、地理空间栅格集成与可解释多任务学习的精准作物推荐

Vishal Pandey, Rishav Tewari, Ruzina Haque Laskar

机构 * Research Engineer London, UK(英国伦敦研究工程师) Independent Researcher Kolkata, IN(印度加尔各答独立研究员) Centre for Development of Telematics(电信发展中心)

专题命中 多模态训练与对齐 :cross-modal(title,abstract);分类 cs.CV

AI总结 提出AgroSense 2.0,通过跨模态Transformer融合、地理空间栅格集成和多任务学习,解决精准农业中作物推荐系统的模态鸿沟问题,实现可解释的作物推荐。

Comments 14 Pages, 3 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.13007 2026-06-23 cs.LG cs.AI 新提交 79%

scLLM-DSC: LLM-Knowledge Enhanced Cross-Modal Deep Structural Clustering for Single-Cell RNA Sequencing

scLLM-DSC:基于LLM知识增强的跨模态深度结构聚类用于单细胞RNA测序

Ping Xu, Pengjiang Li, Tian Du, Zaitian Wang, Jiawei Gu, Zhiyuan Ning, Ziyue Qiao, Pengfei Wang, Yuanchun Zhou

机构 * Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心) University of Chinese Academy of Sciences(中国科学院大学) Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院) School of Computing and Information Technology, Great Bay University(大湾区大学计算机科学与技术学院) School of Engineering, Westlake University(西湖大学工学院)

专题命中 多模态训练与对齐 :cross-modal(title,abstract);分类 cs.AI

AI总结 提出scLLM-DSC框架,通过知识驱动语义视图与结构感知拓扑视图的跨模态对比对齐,利用LLM增强单细胞RNA测序数据的聚类性能,显著优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15573 2026-06-17 cs.AI cs.CR 新提交 79%

QoS-Aware Token Scheduling and Private Data Valuation for Multi-Modal Agentic Networks

面向多模态代理网络的QoS感知令牌调度与私有数据估值

Yao Du, Jing Liu, Pengfei Xu, Zehua Wang, Victor C. M. Leung, Cyril Leung, Victoria Lemieux

机构 * University of British Columbia(不列颠哥伦比亚大学) Lazai Network(Lazai网络)

专题命中 多模态训练与对齐 :multi-modal(title,abstract);分类 cs.AI

AI总结 针对去中心化代理系统中数据异构和资源受限问题,提出基于差分隐私的多模态表示与公平令牌分配方案,在保障服务质量的同时提升数据隐私和贡献公平性。

Comments Accepted to IEEE ICME 2026

详情

展开后加载摘要…

URL PDF HTML 收藏