arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 3460 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 3460 篇

2603.13774 2026-03-17 cs.DB 50%

AgenticScholar: Agentic Data Management with Pipeline Orchestration for Scholarly Corpora

AgenticScholar: 基于管道编排的代理数据管理用于学术语料

Hai Lan, Tingting Wang, Zhifeng Bao, Guoliang Li, Daomin Ji, Ge Lee, Feng Luo, Zi Huang, Hailang Qiu, Gang Hua

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 本文提出AgenticScholar系统,整合结构化知识表示层、LLM中心混合查询规划层和统一执行层,实现多模态学术数据的端到端推理,有效提升学术数据管理的效率和可解释性。

Comments 54 pages, 25 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.07611 2026-03-10 cs.HC 50%

Beyond Semantic Similarity: Open Challenges for Embedding-Based Creative Process Analysis Across AI Design Tools

超越语义相似性:基于嵌入的AI设计工具创意过程分析的开放挑战

Seung Won Lee, Semin Jin, Kyung Hoon Hyun

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文探讨了基于嵌入的AI设计工具创意过程分析中超越语义相似性的开放挑战,提出通过上下文感知干预提升分析敏感性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.06927 2026-03-10 cs.RO 50%

A Contrastive Fewshot RGBD Traversability Segmentation Framework for Indoor Robotic Navigation

一种用于室内外机器人导航的对比式少样本RGBD可 traversability 分割框架

Qiyuan An, Tuan Dang, Fillia Makedon

机构 * Department of Computer Science and Engineering, University of Texas at Arlington(计算机科学与工程系,德克萨斯大学阿灵顿分校) Uber(优步) Cognitive Robotics Lab, Department of Electrical Engineering and Computer Science, University of Arkansas(认知机器人实验室,电气工程与计算机科学系,阿肯色大学)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 本文提出了一种基于对比学习的少样本RGBD分割框架,利用负例原型和稀疏深度信息提升室内机器人导航的可 traversability 分割性能。

Journal ref IEEE International Conference on Robotics & Automation 2026 (ICRA)

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.03201 2026-03-06 cs.NE cond-mat.dis-nn math.DS q-bio.NC 50%

A Dynamical Theory of Sequential Retrieval in Input-Driven Hopfield Networks

输入驱动型Hopfield网络中序列检索的动力学理论

Simone Betteti, Giacomo Baggio, Sandro Zampieri

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 本文提出输入驱动型Hopfield网络中序列检索的动力学理论,通过双时间尺度架构分析记忆转换条件,揭示联想记忆模型的序列性机制。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.19096 2026-03-03 cs.LG 50%

The Power of Decaying Steps: Enhancing Attack Stability and Transferability for Sign-based Optimizers

衰减步骤的力量:提升基于符号的优化器的攻击稳定性和可迁移性

Wei Tao, Yang Dai, Jincai Huang, Qing Tao

专题命中 跨模态检索 :cross-modal(abstract)

AI总结 本文提出MDCS方法,通过衰减步长提升基于符号优化器的攻击稳定性和可迁移性,理论证明其收敛率最优。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00632 2026-03-03 cs.IR cs.LG 50%

Stop Treating Collisions Equally: Qualification-Aware Semantic ID Learning for Recommendation at Industrial Scale

停止对碰撞一视同仁:面向大规模工业场景的语义ID学习方法

Zheng Hu, Yuxin Chen, Yongsen Pan, Xu Yuan, Yuting Yin, Daoyuan Wang, Boyang Xia, Zefei Luo, Hongyang Wang, Songhao Ni, Dongxu Liang, Jun Wang, Shimin Cai, Tao Zhou, Fuji Ren, Wenwu Ou

机构 * University of Electronic Science and Technology of China(电子科技大学)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 QuaSID通过冲突感知机制和双塔对比目标,提升大规模推荐中语义ID的碰撞处理与多样性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.16964 2026-02-20 cs.IR 50%

SAGE: Structure Aware Graph Expansion for Retrieval of Heterogeneous Data

SAGE:面向异构数据检索的结构感知图扩展

Prasham Titiya, Rohit Khoja, Tomer Wolfson, Vivek Gupta, Dan Roth

专题命中 跨模态检索 :cross-modal(abstract)

AI总结 SAGE通过构建结构感知的图扩展框架,在异构数据检索中提升召回率,采用混合检索与代理策略实现多模态证据链检索。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.14170 2026-02-17 eess.SP 50%

Explainable Interictal Epileptiform Discharge Detection Method Based on Scalp EEG and Retrieval-Augmented Generation

基于头皮 EEG 和检索增强生成的可解释性癫痫发作前放电检测方法

Yu Zhu, Jiayang Guo, Jun Jiang, Peipei Gu, Xin Shu, Duo Chen

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文提出了一种基于头皮 EEG 和检索增强生成的可解释性癫痫发作前放电检测方法,通过双编码器和对比学习提升诊断性能和临床可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11223 2026-02-13 cs.SE cs.HC 50%

Patient Digital Twins for Chronic Care: Technical Hurdles, Lessons Learned, and the Road Ahead

慢性病护理中的患者数字双胞胎:技术障碍、经验教训与未来之路

Micheal P. Papazoglou, Bernd J. Krämer, Mira Raheem, Amal Elgammal

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文探讨了患者医疗数字双胞胎在慢性病护理中的技术挑战与未来发展方向,提出了基于本体驱动建模和联邦分析的实施方法,并强调了标准对齐、隐私治理和多模态推理等关键技术。

Comments Feature Article, Patient Medical Digital Twins, Under Review in IEEE SOftware

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09401 2026-02-11 cs.IR 50%

SARM: LLM-Augmented Semantic Anchor for End-to-End Live-Streaming Ranking

SARM: 基于大语言模型的语义锚点用于端到端实时直播排序

Ruochen Yang, Yueyang Liu, Zijie Zhuang, Changxin Lao, Yuhui Zhang, Jiangxia Cao, Jia Xu, Xiang Chen, Haoke Xiao, Xiangyu Wu, Xiaoyou Zhou, Xiao Lv, Shuang Yang, Tingwen Liu, Zhaojie Liu, Han Li, Kun Gai

专题命中 跨模态检索 :multimodal(abstract)

AI总结 SARM通过整合自然语言语义锚点到端到端排序优化中,提升实时直播内容排序的精度和效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09132 2026-02-11 cs.DB cs.ET cs.MA 50%

SciDataCopilot: An Agentic Data Preparation Framework for AGI-driven Scientific Discovery

SciDataCopilot: 一种面向AGI驱动科学发现的代理数据准备框架

Jiyong Rao, Yicheng Qiu, Jiahui Zhang, Juntao Deng, Shangquan Sun, Fenghua Ling, Hao Chen, Nanqing Dong, Zhangyang Gao, Siqi Sun, Yuqiang Li, Dongzhan Zhou, Guangyu Wang, Lijun Wu, Conghui He, Xuhong Wang, Jing Shao, Xiang Liu, Yu Zhu, Mianxin Liu, Qihao Zheng, Yinghui Zhang, Jiamin Wu, Xiaosong Wang, Shixiang Tang, Wenlong Zhang, Bo Zhang, Wanli Ouyang, Runkai Zhao, Chunfeng Song, Lei Bai, Chi Zhang

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 SciDataCopilot通过自主代理框架实现端到端的数据准备,提升科学发现效率与一致性,推动实验驱动的科学通用智能发展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.01317 2026-02-10 cs.HC cs.CY 50%

DietGlance: Dietary Monitoring and Personalized Analysis at a Glance with Knowledge-Empowered AI Assistant

DietGlance: 通过知识增强的AI助手实现饮食监控与个性化分析

Zhihan Jiang, Running Zhao, Lin Lin, Yue Yu, Handi Chen, Xinchen Zhang, Xuhai Xu, Yifang Wang, Xiaojuan Ma, Edith C. H. Ngai

专题命中 跨模态检索 :multimodal(abstract)

AI总结 DietGlance利用知识增强的AI助手,通过眼镜实现日常饮食行为的自动监控和个性化分析,提供营养分析和饮食建议。

Comments 47 pages, 14 figures. Accepted by ACM Transactions on Computing for Healthcare

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.05484 2026-02-06 cs.CR 50%

Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection

镜面迷雾:针对基于大语言模型的钓鱼检测的隐秘提示注入攻击

Takashi Koide, Hiroki Nakano, Daiki Chiba

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文首次全面评估了针对基于大语言模型的钓鱼检测的提示注入攻击,提出InjectDefuser防御框架以降低攻击成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.03517 2026-01-30 cs.LG 50%

Understanding Self-Supervised Learning via Gaussian Mixture Models

通过高斯混合模型理解自监督学习

Parikshit Bansal, Ali Kavis, Sujay Sanghavi

机构 * UT Austin(得克萨斯大学)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 本文通过高斯混合模型分析自监督学习,证明对比学习能有效找到最优低维子空间,优于传统谱技术,并验证了多模态对比学习的理论结果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18759 2026-01-29 cs.HC 50%

UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing

UI Remix:通过交互式示例检索与混搭支持 UI 设计

Junling Wang, Hongyi Lan, Xiaotian Su, Mustafa Doga Dogan, April Yi Wang

专题命中 跨模态检索 :multimodal(abstract)

AI总结 UI Remix 通过交互式示例检索与混搭,帮助终端用户更高效地进行移动UI设计,提升设计可控性与信任度。

Comments Accepted at the 31st International Conference on Intelligent User Interfaces (IUI 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.13223 2026-01-26 cs.LG 50%

Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models

数据最为关键:审计对比视觉语言模型中的社会偏见

Zahraa Al Sahili, Ioannis Patras, Matthew Purver

机构 * Queen Mary University of London(伦敦女王学院) Institut Jožef Stefan(Jožef Stefan研究所)

专题命中 跨模态检索 :image-text(abstract)

AI总结 研究通过对比CLIP和OpenCLIP模型,发现数据来源是偏见的主要驱动因素,不同去偏策略在不同模型和数据规模下效果各异。

Comments Published at TMLR; updated version

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.04259 2026-01-23 cs.HC cs.CY 50%

Cognitive AI framework 2.0: advances in the simulation of human thought

认知AI框架2.0:人类思维模拟的进展

Rommel Salas-Guerra

专题命中 跨模态检索 :multimodal(abstract)

AI总结 认知AI框架2.0通过统一的记忆架构和受控的知识更新,提升人机交互的个性化与适应性,解决可扩展性、偏见缓解和伦理合规等挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.09985 2026-01-16 cs.LG cs.AR cs.IR 50%

FaTRQ: Tiered Residual Quantization for LLM Vector Search in Far-Memory-Aware ANNS Systems

FaTRQ:面向远内存感知的ANNS系统中的分层残差量化

Tianqi Zhang, Flavio Ponzina, Tajana Rosing

机构 * San Diego State University(圣地亚哥州立大学)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 FaTRQ通过分层残差量化和自定义加速器,提升ANNS系统的存储效率和吞吐量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.06389 2026-01-15 cs.IR 50%

FastLane: Efficient Routed Systems for Late-Interaction Retrieval

FastLane: 高效的路由系统用于晚期交互检索

Ramnath Kumar, Prateek Jain, Cho-Jui Hsieh

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 FastLane通过动态路由机制显著降低计算复杂度,实现高效且可扩展的检索,适用于大规模应用场景。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.04458 2026-01-09 cs.LG 50%

Using Large Language Models to Detect Socially Shared Regulation of Collaborative Learning

利用大语言模型检测协作学习中的社会共享调节

Jiayi Zhang, Conrad Borchers, Clayton Cohn, Namrata Srivastava, Caitlin Snyder, Siyuan Guo, Ashwin T S, Naveeduddin Mohammed, Haley Noh, Gautam Biswas

机构 * University of Pennsylvania(宾夕法尼亚大学) Carnegie Mellon University(卡内基梅隆大学) Vanderbilt University(范德堡大学) University of Detroit Mercy(底特律默克大学) New York University(纽约大学)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文利用大语言模型检测协作学习中的社会共享调节行为,通过嵌入方法提升学习分析的预测能力。

Comments Short research paper accepted at Learning Analytics and Knowledge (LAK '26)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.02807 2026-01-07 cs.IR cs.LG 50%

COFFEE: COdesign Framework for Feature Enriched Embeddings in Ads-Ranking Systems

COFFEE:广告排序系统中特征增强嵌入的协同设计框架

Sohini Roychowdhury, Doris Wang, Qian Ge, Joy Mu, Srihari Reddy

机构 * Meta Platforms, Inc.(Meta平台公司)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 COFFEE框架通过整合多样化事件源、延长用户历史和多模态嵌入,提升广告排序系统中用户-广告表示的准确性和规模效应。

Comments 4 pages, 5 figures, 1 table

Journal ref WSDM, Web and Graph Workshop, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20290 2026-01-01 cs.CR 50%

APT-CGLP: Advanced Persistent Threat Hunting via Contrastive Graph-Language Pre-Training

APT-CGLP: 通过对比图-语言预训练实现高级持续威胁狩猎

Xuebo Qiu, Mingqi Lv, Yimei Zhang, Tieming Chen, Tiantian Zhu, Qijie Song, Shouling Ji

专题命中 跨模态检索 :cross-modal(abstract)

AI总结 APT-CGLP通过对比图-语言预训练实现高级持续威胁狩猎,提升跨模态语义匹配的准确性和效率。

Comments Accepted by SIGKDD 2026 Research Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.20781 2025-12-25 cs.IR 50%

Soft Filtering: Guiding Zero-shot Composed Image Retrieval with Prescriptive and Proscriptive Constraints

软过滤:通过规劝性与禁止性约束指导零样本复合图像检索

Youjin Jung, Seongwoo Cho, Hyun-seok Min, Sungchul Choi

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文提出SoFT方法,通过规劝性和禁止性约束提升零样本复合图像检索的准确性与鲁棒性。

Comments Accepted to AAAI 2026 Workshop on New Frontiers in Information Retrieval

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.19972 2025-12-24 cs.DC 50%

Rethinking Knowledge Distillation in Collaborative Machine Learning: Memory, Knowledge, and Their Interactions

重新思考协同机器学习中的知识蒸馏:记忆、知识及其交互

Pengchao Han, Xi Huang, Yi Fang, Guojun Han

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 本文重新审视协同机器学习中的知识蒸馏,探讨记忆与知识的交互作用,分析不同学习模式下的挑战与未来方向。

Comments Published in IEEE TNSE

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.01146 2025-12-19 q-bio.OT 50%

Retrieval-Augmented Generation in Biomedicine: A Survey of Technologies, Datasets, and Clinical Applications

生物医学中的检索增强生成:技术、数据集和临床应用的综述

Jiawei He, Boya Zhang, Hossein Rouhizadeh, Yingjian Chen, Rui Yang, Jin Lu, Xudong Chen, Nan Liu, Douglas Teodoro

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文综述了生物医学中检索增强生成技术的发展,探讨了其在临床应用中的挑战与未来发展方向。

Comments 49 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.09548 2025-12-11 cs.MA 50%

Supporting Dynamic Agentic Workloads: How Data and Agents Interact

支持动态代理工作负载:数据与代理如何相互作用

Ioana Giurgiu, Michael E. Nidd

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 本文提出了一种以代理为中心的数据织物,旨在高效支持动态、多模态的代理工作负载,通过注意力引导的数据检索、语义微缓存等机制提升数据处理效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.01653 2025-12-02 eess.SP cs.LG 50%

Cuffless Blood Pressure Estimation from Six Wearable Sensor Modalities in Multi-Motion-State Scenarios

无袖带血压估计:基于六种可穿戴传感器模态在多运动状态场景中的应用

Yiqiao Chen, Fazheng Xu, Zijian Huang, Juchi He, Zhenghui Feng

机构 * Faculty of Frontier Sciences, Harbin Institute of Technology, Shenzhen(前沿科学学院,哈尔滨工业大学深圳校区) University of Melbourne(墨尔本大学) University of New South Wales(新南威尔士大学)

专题命中 跨模态检索 :cross-modal(abstract)

AI总结 本文提出了一种基于六种可穿戴传感器模态的无袖带血压估计框架,通过联合利用ECG、PPG、压力、温度和运动传感器数据,实现多运动状态下的血压准确估计。

Comments 13 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.06478 2025-12-02 eess.SP 50%

Retrieving Filter Spectra in CNN for Explainable Sleep Stage Classification

在CNN中检索滤波器光谱以实现可解释的睡眠阶段分类

Stephan Goerttler, Yucheng Wang, Fei He, Min Wu

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本研究提出了一种在CNN中检索滤波器光谱的工具,用于提高睡眠阶段分类的可解释性,通过分析EEG通道的光谱信息来增强模型性能。

Comments 6 pages, 3 figures, conference paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00379 2025-12-02 q-bio.BM cs.LG 50%

EnzyCLIP: A Cross-Attention Dual Encoder Framework with Contrastive Learning for Predicting Enzyme Kinetic Constants

EnzyCLIP:一种基于对比学习的跨注意力双编码框架,用于预测酶动力学常数

Anas Aziz Khan, Md Shah Fahad, Priyanka, Ramesh Chandra, Guransh Singh

机构 * SCOPE Vellore Institute of Technology(维洛雷理工学院) BIT Department of Computer Science(计算机科学系) Department of Bioengineering and Biotechnology(生物工程与生物技术系)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 EnzyCLIP通过对比学习和跨注意力机制,结合蛋白质序列和底物分子结构预测酶动力学参数,提升Kcat和Km预测性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20227 2025-11-26 cs.IR 50%

HKRAG: Holistic Knowledge Retrieval-Augmented Generation Over Visually-Rich Documents

HKRAG:面向视觉丰富文档的综合知识检索增强生成

Anyang Tong, Xiang Niu, ZhiPing Liu, Chang Tian, Yanyan Wei, Zenglin Shi, Meng Wang

专题命中 跨模态检索 :multimodal(abstract)

AI总结 HKRAG通过综合检索和生成机制,提升视觉丰富文档中显著与细节知识的检索与生成能力。

详情

展开后加载摘要…

URL PDF HTML 收藏