多模态大模型

Leveraging Multimodality for Real-Time Classification of Transients and Variables found by the Zwicky Transient Facility

利用多模态对Zwicky瞬变设施发现的瞬变和变星进行实时分类

Ved G. Shah, Nabeel Rehemtulla, Adam A. Miller, Sushant Sharma Chaudhary, Michael W. Coughlin, Antoine Le Calloch, Matthew J. Graham, Joahan Castaneda Jaimes, Theophile Jegou du Laz, Ashish A. Mahabal, Frank J. Masci, Josiah Purdum, Reed Riddle, Jesper Sollerman, Anastasia Wei, Mansi M. Kasliwal

机构 * Department of Physics and Astronomy, Northwestern University（西北大学物理与天文学系） ； Center for Interdisciplinary Exploration and Research in Astrophysics (CIERA)（天体物理跨学科探索与研究中心） ； NSF-Simons AI Institute for the Sky (SkAI)（NSF-西蒙斯天空人工智能研究所） ； School of Physics and Astronomy, University of Minnesota（明尼苏达大学物理与天文学学院） ； Division of Physics, Mathematics, and Astronomy, California Institute of Technology（加州理工学院物理、数学与天文学部） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 针对时域巡天中实时分类的挑战，本文提出ORACLE-2模型，结合光变曲线、元数据和图像进行多模态层次分类，在ZTF数据上宏F1达0.73，较仅用光变曲线提升40%。

Comments 29 Pages, 15 Figures, 8 Tables. Comments welcome

RoboTacDex: A Dexterous Visual-Tactile-Action Dataset for Humanoid Manipulation

RoboTacDex：用于人形机器人操作的灵巧视觉-触觉-动作数据集

Xinyi Wang, Donghan Li, Zi'Ang Chen, Chong Yu, Chen Xin, Peng Ye, Yingkai Sun, Tao Chen

机构 * Fudan University（复旦大学） ； ByteDance Intelligent Creation（字节跳动智能创作） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出RoboTacDex，一个包含6k轨迹、19个任务、23种技能和22个物体的大规模多模态灵巧操作数据集，基于Unitree G1人形机器人构建，提供多视角RGB-D、触觉反馈和语义标注，并评估了三种模仿学习模型。

Robocalls: A Worldwide or US-only Problem? Analyzing Spam and Fraud in International Phone Calls

机器人电话：全球性问题还是美国独有问题？分析国际电话中的垃圾电话和欺诈电话

Kemal Altwlkany, Andro Merćep, Tomislav Đuričić, Ante Kapetanović, Emanuel Lacic

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本研究通过收集65个国家的机器人电话数据，构建了首个多模态国际机器人电话数据集，分析发现美国面临的机器人电话威胁显著高于其他国家。

AtomiMed: Hierarchical Atomic Fact-Checking for Universal Clinical-Aware Medical Report Evaluation

AtomiMed：用于通用临床感知医学报告评估的分层原子事实核查

Yuan Wang, Wanxing Chang, Songtao Jiang, Shujian Gao, Xiaotian Zhang, Ruifeng Yuan, Weiwei Cao, Bowen Shi, Ling Zhang, Zuozhu Liu, Jianpeng Zhang

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出AtomiMed框架，将复杂医学叙述分解为分层原子临床事实，通过代理交叉验证循环模拟多放射科医生同行评审，实现诊断检测和描述准确性的解耦评估。

Comments 11 pages, 4 figures

Constraining primordial oscillations and inflationary particle production with Planck, ACT DR6, and DESI DR2

利用Planck、ACT DR6和DESI DR2约束原初振荡与暴胀粒子产生

Simran K. Nerval, Renee Hlozek, Hidde T. Jense, J. Richard Bond

专题命中 多模态评测 ：multimodal(abstract)

AI总结 利用CMB和LSS数据，通过pocoMC采样器约束原初功率谱振荡模板及暴胀粒子产生模型，发现振幅上限约2% A_s，贝叶斯证据仍偏好ΛCDM。

Comments 34 pages, 24 figures, and 5 tables

Tuning the optoelectronic properties of wide bandgap perovskites: Data-driven insights from combinatorial synthesis and high-throughput experimentation

调谐宽带隙钙钛矿的光电性能：来自组合合成和高通量实验的数据驱动洞察

Alexander Wieczorek, Sergey Tsarev, Nathan Rodkey, Oleksandr Pshyk, Stefanie Frick, Maksym V. Kovalenko, Sebastian Siol

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 通过组合物理气相沉积和自动化表征，在Cs-Pb-Br-Cl四元空间中快速筛选出宽带隙钙钛矿的最佳Cs/Pb比为1.05-1.20，并发现高能光学跃迁是高PL产率的稳健决定因素。

Simulating Unified Tensor Resharding in heterogeneous AI systems

模拟异构AI系统中的统一张量重分片

Sumit Kumar, Sayantan Dasgupta, Kushal Mitra, Meet Dadhania, Rohan Sudhir Basugade, Praveen Tammana, Satananda Burla, Abed Mohammad Kamaluddin, Rinku Shah

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出异构感知模拟器Xsim，通过非均匀负载划分、定制环构建和分块分区等方法，准确模拟异构分布式LLM训练，误差小于5%。

Listening Like a Judge: A Music-Aware Framework for Automatic Singing Performance Evaluation

像法官一样聆听：一种用于自动歌唱表现评估的音乐感知框架

Neelam Saini, Sourav Ghosh

机构 * Samsung R&D Institute Bangalore, India（三星研发中心班加罗尔，印度） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出MusicJudge框架，通过模态引导的块对齐多模态分析，结合歌词正确性与音高节奏保真度，实现自动歌唱质量评估，实验验证与人类专家判断高度一致。

Comments Accepted at Interspeech 2026. Supplementary material: https://neelam472.github.io/MusicJudge/Supp.pdf (backup mirror: https://sourav-ghosh.github.io/MusicJudge/Supp.pdf )

Bridging Spherical Black-Box Optimizers

桥接球形黑箱优化器

Johannes Ackermann, Stefano Peluchetti

机构 * The University of Tokyo（东京大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 将进化策略、共识优化和积分优化统一为理论框架，通过引入混合优化器控制平坦偏好和模态，在连续控制和语言模型合并任务中提升性能与鲁棒性。

Comments Accepted for publication at ICML 2026

Deep learning-based detection of cessation of breathing in pre-term infants

基于深度学习的早产儿呼吸停止检测

Dineo Serame, Lionel Tarassenko, Mauricio Villarroel

机构 * Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（牛津大学工程科学系生物医学工程研究所） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本研究利用深度学习模型，基于阻抗呼吸描记、心电图和光电容积描记信号，检测早产儿呼吸暂停相关呼吸停止事件，发现信号模态比架构复杂度更重要，单模态IP模型性能最优。

Comments 14 pages main text, 8 figures. Submitted to IEEE Journal of Biomedical and Health Informatics (JBHI)

SemCEB: A Cardinality Estimation Benchmark for Semantic Operators

SemCEB：面向语义操作符的基数估计基准

Andreas Zimmerer, Claudius Kühn, Yang Li, Mihail Stoian, Renata Borovica-Gajic, Andreas Kipf

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出SemCEB基准，用于评估语义过滤和连接操作符的基数估计方法，基于真实多模态数据，评估采样和语义直方图方法的准确性、成本、延迟和内存开销。

Intrinsic Flow Matching on Quantum Pure-State Manifolds with Phase-Aligned Transport

量子纯态流形上的内禀流匹配与相位对齐输运

Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

机构 * RIKEN iTHEMS（日本理化学研究所跨学科理论与数学科学项目） ； RIKEN AIP（日本理化学研究所人工智能项目） ； South China University of Technology（华南理工大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出内禀流匹配（IFM）框架，在复射影空间上通过Pancharatnam相位对齐条件路径学习切向速度场，实现确定性输运，改善高维和相干敏感任务的生成建模。

A Survey of Large Language Models for Perception and Measurement of Human Psychology

大型语言模型在人类心理感知与测量中的综述

Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文系统综述了大型语言模型（LLMs）作为人类心理测量工具的应用，从理论可行性、测量方法和应用效果三个维度构建分析框架，探讨其在人格评估和心理健康评价中的有效性及局限。

Comments Accepted by IEEE Transactions on Cognitive and Developmental Systems

Classification of Eclipsing Binary Light Curves in Gaia DR3: A Machine Learning Approach

盖亚DR3中食双星光变曲线的分类：一种机器学习方法

Bedri Keskin, Özgür Baştürk

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出多模态深度学习模型，结合CNN和MLP，基于光变曲线形态对盖亚DR3中约200万颗食双星自动分类，准确率超95%。

Comments 16 pages, 15 figures

Journal ref New Astronomy, Volume 127, 2026, 102585

Computational Methods and Challenges in Cell-Free DNA Analysis for Multi-Cancer Early Detection

基于无细胞DNA分析的多癌早期检测的计算方法与挑战

Nicko Starkey, Marcin W. Wojewodzic, Krzysztof Rzecki

机构 * AGH University of Krakow（AGH克拉科夫大学） ； Norwegian Institute of Public Health（挪威公共卫生研究所） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 综述2022-2025年cfDNA多癌早期检测的计算方法，重点分析片段组学和表观遗传特征提取技术，指出多模态集成方法最具临床整合潜力，但需标准化评估协议。

Viking Hill Dataset: A Lidar-Radar-Camera Dataset for Detection and Segmentation in Forest Scenes

Viking Hill数据集：用于森林场景检测与分割的激光雷达-雷达-相机数据集

Vladimír Kubelka, Oleksandr Kotlyar, Unal Artan, Martin Magnusson

机构 * Örebro University（奥雷布罗大学） ； AASS research centre（AASS研究中心） ； Robot Navigation and Perception Lab（机器人导航与感知实验室） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出首个包含4D成像雷达的森林多传感器数据集，通过MinkowskiUNet实现雷达与激光雷达点云的语义分割，并评估树干分割质量与树木尺寸的关系。

Comments 33 pages, 11 figures

ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models

ROBOSHACKLES: 面向具身基础模型中人体伤害预防的安全数据集

Zhuowen Yin, Chongyang Liu, Wenzhang Yang, Renjue Li, Yinxing Xue

机构 * Institute of Al for Industries, Chinese Academy of Sciences（工业人工智能研究所，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 为解决机器人伤害人类数据难以安全收集的问题，提出基于真实观测的安全数据构建流水线，生成包含1万条视频的ROBOSHACKLES数据集，涵盖直接和间接伤害类别，评估发现现有模型在安全关键场景下100%产生不安全动作。

Beyond AHI: An Interpretable Causal-Discovery-Guided Framework for Sleep Recovery in Connected Health

超越AHI：一种可解释的因果发现引导的睡眠恢复框架在互联健康中的应用

Saba A. Farahani, Elahe Khatibi, Manoj Vishwanath, Amir M. Rahmani, Hung Cao

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出一种可解释的因果发现引导框架，从多模态PSG中推导层次化睡眠恢复评分(SRS)，在两大队列中SRS与感知恢复的关联强度是AHI的2.5倍。

Comments 6 pages, 2 figures, 2 tables. Accepted at the 2nd Workshop on Sensing and Computing for Smart and Connected Health (SCH), co-located with IEEE/ACM CHASE 2026

Evolution & Foundation: AI Shares Creative Control

进化与基础模型：AI共享创意控制

Dylan Banarse, Stephen Todd, William Latham, Frederic Fol Leymarie

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出一种结合遗传算法与多模态AI基础模型的框架，实现自动化设计3D有机形态，将艺术家角色从直接选择转变为系统设计，加速创意探索。

SoK: Security and Privacy of Foundation-Model-Powered Robots

SoK: 基础模型驱动机器人的安全与隐私

Xueluan Gong, Chen Chen, Jinxin Liu, Qian Wang, Kwok-Yan Lam

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出F-E-S-G结构边界框架，系统分析基础模型驱动机器人的安全与隐私风险，并基于96篇论文揭示威胁模式、防御不匹配和评估差距。

Comments 21 pages, 2 figures

Machine Learning for Biomedical Raman Spectroscopy: From Spectral Acquisition to Clinical Translation

生物医学拉曼光谱的机器学习：从光谱采集到临床转化

Bogdan Oancea, Ana Maria Seciu-Grama, Nicoleta Siminea, Laura Mihaela Stefan, Alice Stoica, Joel Sjoberg, Marian Necula, Ana-Maria Prelipcean, Corneliu Ovidiu Vrancianu, Eduard Milea, Andrei Păun, Ion Petre, Mihaela Păun

机构 * National Institute of Research and Development for Biological Sciences（罗马尼亚生物科学研究院） ； University of Bucharest（布加勒斯特大学） ； University of Turku（图尔库大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 综述机器学习在生物医学拉曼光谱全流程中的应用，包括预处理、诊断分类、可解释性分析及临床转化障碍，强调标准化与鲁棒验证的必要性。

Comments 52 pages, 2 figures

Towards Reliable Sequential Object Picking in Clutter: The Runner-up Solution to RGMC 2025

面向杂乱环境中的可靠顺序物体抓取：RGMC 2025 亚军方案

Wei Yu, Xidan Zhang, Ziyi Zheng, Weijie Kong, Huixu Dong

机构 * School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 针对杂乱环境中的顺序物体抓取任务，提出集成硬件-软件流水线，结合多功能夹爪设计与物体分布及遮挡关系新表示，实现高效识别、搜索与顺序抓取，获RGMC 2025亚军。

Comments First, Second and Third Coauthor contributed equally to this work

Artificial Intelligence for Instability in Inorganic Perovskites: From Mechanism Discovery to Engineering Strategies

无机钙钛矿不稳定性的人工智能：从机理发现到工程策略

Xue Zhao, Chuan-Xin Cui, Zi-Hao Xu, Yuan-Long Pang, Jun-Jie Li, Jin-Wu Jiang

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文综述了人工智能在三维全无机卤化物钙钛矿CsPbX3不稳定性研究中的应用，涵盖稳定性判别、微观机制分析、可靠性建模及工程增强，并讨论了数据质量、可解释性等挑战与未来方向。

Comments 6 figures

When More Cores Hurts: The Vector Database Scaling Paradox in HPC

当更多核心有害：HPC中的向量数据库扩展悖论

Seth Ockerman, Song Young Oh, Amal Gueroudji, Rochana Chaturvedi, Philip Carns, Nicholas Chia, Matthieu Dorier, Robert Latham, Tanwi Mallick, Swan Perarnau, Robert Underwood, Kyle Chard, Ian Foster, Robert Ross, Shivaram Venkataraman

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文评估了三种向量数据库在HPC系统上的扩展性能，发现工作负载特性限制延迟降低，增加核心可降低查询吞吐量达30.67%，扩展16倍仅提升5.46倍，揭示了云导向设计与HPC系统的不匹配。

Language as a Sensor: Calibrated Spatial Belief Estimation in 3D Scenes from Natural Language

语言作为传感器：从自然语言在3D场景中进行校准的空间信念估计

Aryan Naveen, Jason Xinyu Liu, Luca Carlone, Andreea Bobu

机构 * MIT Laboratory for Information & Decision Systems（麻省理工学院信息与决策系统实验室） ； MIT Computer Science & Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出语言传感器模型（LSM）将自然语言描述转化为校准的空间分布，并融合到VL-Map概率框架中，实现更准确的目标定位。

Comments 18 pages, 7 figures, 3 tables

A dual-system approach for epilepsy diagnosis: integrating mamba-Bi-LSTM architecture with SHAP-based verification

一种双系统癫痫诊断方法：融合Mamba-Bi-LSTM架构与基于SHAP的验证

Mufeng Chen, Jia Xie, Fuchang Luo, Quansheng Ren

专题命中 多模态评测 ：cross-modal(abstract)

AI总结 提出双系统智能诊断框架，主判别系统结合Mamba与Bi-LSTM实现高精度，验证系统通过SHAP提供可解释性，准确率从92.6%提升至98.7%。

Comments 18 pages, 11 figures, 16 tables

Journal ref Biomedical Engineering Advances 11 (2026) 100218

Constraint-Aware Optimization for Robust Protein Stability Prediction

约束感知优化用于鲁棒蛋白质稳定性预测

A Shivram, Aneesh S. Chivukula, Manik Gupta, Sourav Chowdhury

机构 * Birla Institute of Technology and Science Pilani, Hyderabad Campus（比拉理工学院海得拉巴校区） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出约束感知优化框架，结合平衡均方误差、孪生反对称正则化器和OOD边缘一致性损失，在不改变SPURS架构下提升蛋白质稳定性预测的鲁棒性，在多个基准上取得显著改进。

Dementia-Agents: A Multi-Modal Multi-Agent System for Dementia Staging and Phenotyping

Dementia-Agents：用于痴呆分期和表型分析的多模态多智能体系统

Yaling Shen, Maja Christensen, Yiwen Jiang, Jenna Dennison, David Darby, Amy Brodtmann, Zongyuan Ge

机构 * Monash University（莫纳什大学） ； Eastern Health（东部健康） ； Lived Experience Advisor（生活经验顾问） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 提出Dementia-Agents多智能体框架，通过数据翻译、专家预测和协调聚合三步流程，在真实临床队列中实现优于单一MLLM和先前多智能体系统的痴呆综合征级分期与表型分析。

Comments 8 pages

MODF-SIR: A Multi-agent Omni-modal Distilled Framework for Social Intelligence Reasoning

MODF-SIR：面向社交智能推理的多智能体全模态蒸馏框架

Shang Ma, Jisheng Dang, Wencan Zhang, Yifan Zhang, Bimei Wang, Hong Peng, Bin Hu, Qi Tian, Tat-Seng Chua

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； School of Medical Technology, Beijing Institute of Technology（北京理工大学医学技术学院） ； Cloud and AI BU, Huawei（华为云与AI业务部） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 多模态Agent ：omni-modal(title)；MLLM(abstract,abstract_cn)；multimodal(abstract)；multi-modal(abstract)

AI总结 提出基于轻量级多模态大语言模型的多智能体协作框架，通过知识蒸馏增强训练与推理，结合测试时适应、长尾事件提取和链式思维提示，在多个基准上取得最优结果。

AgentPatch: Coarse-to-Fine Weak-Task Repair for Merging Agentic Multimodal Large Language Models

AgentPatch：用于合并智能体多模态大语言模型的由粗到细弱任务修复

Zibo Shao, Baochen Xiong, Chengdong Xu, Linhui Xiao, Kaichen Li, Haoran Gong, Yan Li, Yaguang Song, Xiaoshan Yang

专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对智能体多模态大语言模型合并时的弱任务退化与关键行为遗忘问题，提出无需训练的AgentPatch框架，通过由粗到细修复实现能力平衡，提升合并模型性能。