arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-07-15 至 2026-07-15 共收录 9 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态评测 9 篇

2409.07482 2026-07-15 eess.SP cs.AI 86%

VSLLaVA: a pipeline of large multimodal foundation model for industrial vibration signal analysis

VSLLaVA:一种用于工业振动信号分析的大型多模态基础模型流水线

Qi Li, Xinran Zhang, Jinfeng Huang, Hongliang He, Feibin Zhang, Zhaoye Qin, Fulei Chu

机构 * State Key Laboratory of Tribology, Department of Mechanical Engineering, Tsinghua University(摩擦学国家重点实验室,清华大学机械工程系) Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系)

专题命中 多模态评测 :multimodal(title,abstract);multimodal foundation model(title);分类 cs.AI

AI总结 VSLLaVA通过专家知识引导的指令微调和双模式评估框架,提升工业振动信号分析的端到端多模态模型性能。

Journal ref Advanced Engineering Informatics 76 (2026): 105023

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12278 2026-07-15 cs.CV cs.LG 新提交 79%

Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks

全切片图像多模态基准测试中的数据泄露审计

Wenhao Zhang, Zhongliang Zhou, John Kang, Sheng Li

机构 * University of Virginia(弗吉尼亚大学) Merck & Co., Inc.(默克公司)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 研究针对计算病理学中WSI VQA基准测试数据泄露问题,通过追踪标识符发现患者级和机构级泄露,证明其可从基础模型特征空间解码,导致准确率差距,当前评估无法区分推理与检索,最后给出无污染评估建议。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12911 2026-07-15 cs.CV 新提交 77%

Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition

Open-KNEAD:通过智能分解实现基于知识的营养估计

Bruce Coburn, Jingbo Yue, Jinge Ma, Siddeshwar Raghavan, Gautham Vinod, Fengqing Zhu

机构 * Purdue University(普渡大学)

专题命中 多模态评测 :MLLM(abstract,abstract_cn);multimodal(abstract);分类 cs.CV

AI总结 研究探讨多模态大语言模型用于膳食评估时检索增强基础方法是否仍有价值。提出无需训练、可本地部署的Open-KNEAD框架,通过营养感知检索关联食物项与FNDDS代码,提高份量估计,还能恢复非美国烹饪风格估计偏差,优势显著并开源相关框架与知识库。

Comments 10 pages main paper, 5 pages supplementary

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11931 2026-07-15 cs.HC 新提交 71%

Reading the Eyes in VR: Multimodal Modeling of Social Intelligence

在虚拟现实中解读眼神:社会智能的多模态建模

Mohammad Fahim Abrar, Shayla Sharmin, Roghayeh Leila Barmaki

专题命中 多模态评测 :multimodal(title)

AI总结 研究通过在 Unity 中为桌面和 VR 实现 RMET 并进行 2x2 混合研究,探究呈现媒介和反馈对 RMET 行为的影响。结果表明即时反馈影响注视和脑电,呈现媒介无客观差异,VR 可用性高,为 RMET 在受控环境作过程感知评估任务提供证据。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12497 2026-07-15 cs.CV 新提交 57%

TerraLogic: A Benchmark for Hierarchical Geospatial Reasoning in Earth Observation

TerraLogic:地球观测中分层地理空间推理的基准

Yuhang Yan, Linchao Mou, Bokang Yang, Qingyu Li

机构 * The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)) Technical University of Munich(慕尼黑工业大学)

专题命中 多模态评测 :cross-modal(abstract);分类 cs.CV

AI总结 针对遥感中认知地理空间推理研究不足的问题,引入TerraLogic基准及HieraPlan工具增强智能体,通过545个任务推动评估向认知级发展,实验显示HieraPlan在分层地理空间推理上表现出色,为相关研究提供强大基线。

Comments 8 pages, 3 figures, and 7 tables. Dataset and agent code are available at https://github.com/Ireliya/TerraLogic

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.17183 2026-07-15 cs.CV cs.CY 版本更新 57%

Benchmarking Nighttime Traffic Sign Recognition with Illumination-Adaptive Detection and Semantic Attribute Reasoning

在低光照条件下学习:用于交通标志识别的数据集和算法

Aditya Mishra, Akshay Agarwal, Haroon Lone

机构 * IISER Bhopal(印度比哈尔州国际研究学院)

专题命中 多模态评测 :multimodal(abstract);分类 cs.CV

AI总结 本文提出INTSD数据集和LENS-Net算法,解决夜间交通标志识别中的低光照和干扰问题,通过大规模数据和先进模型验证了夜间识别的挑战与方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11656 2026-07-15 q-bio.NC cs.LG 版本更新 50%

Imputation-free transformer learning enables robust Alzheimer's disease prediction and calibrated uncertainty quantification across heterogeneous clinical cohorts

无插补变压器学习实现跨异构临床队列的稳健阿尔茨海默病预测和校准不确定性量化

Christelle Schneuwly Diaz, Narmina Baghirova, Duy-Thanh Vu, Duy-Cat Can, Gilles Allali, Philippe Ryvlin, Oliver Y. Chén

机构 * Platform of Bioinformatics(生物信息平台) Lausanne University Hospital(洛桑大学医院) Faculty of Biology and Medicine(生物学与医学学院) University of Lausanne(洛桑大学) Leenaards Memory Centre(Leenaards记忆中心) Department of Clinical Neurosciences(临床神经科学系)

专题命中 多模态评测 :multimodal(abstract)

AI总结 针对阿尔茨海默病临床数据问题,提出无插补变压器NITROGEN,通过特定注意力联合建模。经训练和评估,在跨队列任务中优势明显,还引入调整方法。证明无插补学习在队列转移下的区分能力,强调多方面评估模型对临床部署的重要性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.16095 2026-07-15 stat.ME math.ST stat.TH 版本更新 50%

On the spherical cardioid distribution and its goodness-of-fit

关于球形心脏线分布及其拟合优度

Eduardo García-Portugués

专题命中 多模态评测 :multimodal(abstract)

AI总结 研究球形心脏线分布,确定其易于处理的特性,推导矩估计法和最大似然估计法的相关内容及自举拟合优度检验机制,通过对长周期彗星轨道建模展示该分布在实际数据分析中的作用。

Comments 26 pages, 5 figures, 3 tables. Supplementary material: 34 pages, 4 figures, 4 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.06796 2026-07-15 cs.RO 版本更新 50%

RoboDesign1M: A Large-scale Dataset for Robot Design Understanding

RoboDesign1M:用于机器人设计理解的大规模数据集

Tri Le, Toan Nguyen, Quang Tran, Quang Nguyen, Baoru Huang, Hoan Nguyen, Minh Nhat Vu, Tung D. Ta, Anh Nguyen

机构 * FPT Software AI Center(FPT软件人工智能中心) University of Liverpool(利物浦大学) University of Information Technology(信息技术大学) Automation & Control Institute(自动化与控制研究所) Department of Creative Informatics(创意信息系) Faculty of Environment and Information Studies(环境与信息科学系)

专题命中 多模态评测 :multimodal(abstract)

AI总结 针对机器人设计领域缺乏大规模数据集的问题,介绍了含100万个样本的RoboDesign1M数据集,提出半自动数据收集管道,经多项实验评估,该数据集可推动机器人设计理解研究及相关自动化发展。

Comments 8 pages, accepted to IROS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏