多模态大模型

Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

通过高级模态条件与交互驯服文本到发声视频生成

Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao

机构 * Renmin University of China（中国人民大学） ； Apple（苹果公司） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出分层视觉基础字幕框架（HVGC）生成解耦的视频和音频字幕，并基于此引入双塔扩散变换器BridgeDiT，通过双交叉注意力机制实现对称双向信息交互，在三个基准数据集上达到最先进结果。

Comments The 19th European Conference on Computer Vision -- ECCV 2026

Multimodal Evaluator Preference Collapse: Cross-Modal Coupling in Self-Evolving Agents

多模态评估者偏好坍缩：自进化智能体中的跨模态传染

Zewen Liu

机构 * Qilu Institute of Technology, School of Software Engineering（齐鲁理工学院软件工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CL

AI总结 研究多模态自评估中偏好坍缩的加剧现象，发现跨模态传染导致策略选择扭曲，并引入传染矩阵量化风险。

Comments 17 pages, 0 figures

SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning

SingGuard: 一种策略自适应的多模态大语言模型护栏，具有动态推理能力

SingGuard Team

机构 * AI Security Lab, Ant Group（蚂蚁集团AI安全实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出SingGuard，一种策略自适应的多模态护栏模型，通过将策略作为运行时输入，支持快速、混合和慢速推理模式，实现动态规则下的安全评估，在多个基准上取得最优F1。

Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction

基于多模态图的社交媒体流行度预测基准测试

Utkarsh Sahu, Zhisheng Qi, Li Zhu, Yizhao Yang, Jun Li, Ryan Rossi, Yu Wang

机构 * University of Oregon（俄勒冈大学） ； University of Georgia（佐治亚大学） ； Adobe Research（Adobe研究） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 提出统一的多模态图基准MMG-Pop和模型MMG-PopNet，联合建模文本、视觉、时间与社交交互信号，在Bluesky和Reddit数据集上验证了跨平台泛化与多模态贡献。

DMV-Bench: Diagnosing Long-Horizon Multimodal Agents' Visual Memory with Incidental Cue Injection

DMV-Bench: 通过偶然线索注入诊断长程多模态智能体的视觉记忆

Yujin Tang, Chenming Shang, Ruize Xu, Nikhil Singh

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出首个交互式多模态智能体视觉记忆基准DMV-Bench，基于双编码理论设计DualMem架构，在长链任务中优于现有方法。

Comments 16 pages

Cross-view Multimodal Vision-Based Assessment Framework for Traditional Chinese Medicine Rehabilitation Training

跨视角多模态视觉评估框架用于中医康复训练

Francis Xiatian Zhang, Hao Yao, Shengxuan Chen, Hong Zhu, Hongxiao Jia, Sisi Zheng, Hubert P. H. Shum

机构 * Department of Computer Science, Durham University（杜伦大学计算机科学系） ； Institute for Regeneration and Repair, The University of Edinburgh（爱丁堡大学再生与修复研究所） ； Ningbo Hospital of Traditional Chinese Medicine（宁波市中医院） ； Department of Rehabilitation Medicine, The Gulou Hospital of Traditional Chinese Medicine（南京市鼓楼区中医院康复医学科） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出跨视角多模态视觉评估框架CME-AQA，融合视觉-姿态信息，利用第一人称和第三人称视频提升推理鲁棒性，在中医康复训练动作质量评估中取得优于基线10%的加权F1提升。

Comments Published in IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2026

Journal ref IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2026

AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration

AirGroundBench: 异构多视角具身协作下多模态大模型的空间智能探测

Haotian Li, Yida Wang, Leyuan Wang, Jinshan Lai, Keyang Wang, Zonghao Guo, Qiang Ma, Liuyu Xiang, Jianwei Hu, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； QiYuanLab（启元实验室） ； Tsinghua University（清华大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出AirGroundBench基准，通过异构无人机-无人车协作的多视角任务（10类、约6.2万道视觉问答和115个导航任务），系统评估多模态大模型在空间感知、跨视角对齐、空间变换推理和具身决策中的几何一致性，发现模型在跨视角对齐和变换推理上存在瓶颈。

ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models

ProactiveBench: 多模态大语言模型主动性的基准测试

Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

机构 * University of Trento（特伦托大学） ； University of Bergamo（贝拉米奥大学） ； Inria Grenoble（格勒诺布尔研究所） ； Bruno Kessler Foundation（布鲁诺·凯斯勒基金会） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ProactiveBench基准，评估多模态大语言模型在遮挡识别等任务中请求用户干预的主动性，发现模型普遍缺乏主动性且与能力无关，但可通过强化学习微调习得。

Comments Accepted at ECCV 2026

A Comparison of Fusion Techniques for Multi-Modal Human Activity Recognition on the HARMES Dataset

HARMES数据集上多模态人类活动识别融合技术的比较

Ahmed Mohamady, Robin Burchard, Kristof Van Laerhoven

机构 * University of Siegen（锡根大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 系统比较七种传感器融合方法在HARMES多模态数据集上的性能，发现门控多模态融合在留一参与者评估中宏F1分数达0.82，优于拼接式后期融合基线（0.76）。

MultModLM: A multi-modal benchmark for Large-Language Model based hardware schematic generation

MultModLM：基于大语言模型的硬件原理图生成的多模态基准

Dhruv Kulkarni, Sai Manoj Pudukotai Dinkarrao

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 提出MultModLM基准，评估LLM从RTL描述生成硬件原理图的能力，通过多阶段评估框架发现模型生成原理图功能正确性有限，且LLM评估者与人类评分一致性极低。

Quantifying Perovskite Solar Cell Degradation via Machine Learning from Spatially Resolved Multimodal Luminescence Time Series

通过空间分辨多模态发光时间序列的机器学习量化钙钛矿太阳能电池退化

Giulio Barletta, Simon Ternes, Saif Ali, Zohair Abbas, Chiara Ostendi, Marialucia D'Addio, Erica Magliano, Pietro Asinari, Eliodoro Chiavazzo, Aldo Di Carlo

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出深度学习框架LumPerNet，利用多模态发光成像（EL、PLoc、PLsc）直接估计钙钛矿太阳能电池的效率保持率，通过对比空间均匀化控制，发现全局发光演变包含主要预测信号，空间信息提供次要鲁棒性贡献。

Comments 32 pages, 14 figures

GRAFT: Biological Graph and Hypergraph Benchmarks for Linked Gene Expression and Phenotypic Trait Prediction in Arabidopsis thaliana

GRAFT：用于拟南芥连锁基因表达与表型性状预测的生物图与超图基准

Manuel Serna-Aguilera, Vanshika Jindal, Fiona L. Goggin, Jiamei Li, Aranyak Goswami, Alexander Bucksch, Suxing Liu, Khoa Luu

机构 * Department of Electrical Engineering and Computer Science, University of Arkansas（电气工程与计算机科学系，亚拉巴马大学） ； Department of Entomology and Plant Pathology, University of Arkansas（昆虫学与植物病理学系，亚拉巴马大学） ； Department of Animal Science, University of Arkansas（动物科学系，亚拉巴马大学） ； School of Plant Sciences, University of Arizona（植物科学学院，亚利桑那大学） ； Georgia State University（佐治亚州立大学） ； CVIU Lab, University of Arkansas（CVIU实验室，亚拉巴马大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 提出GRAFT多模态数据集，整合拟南芥基因表达与表型性状数据，支持表型预测和可解释图学习，并基准测试回归与超图基线方法。

Comments arXiv admin note: text overlap with arXiv:2508.14934

EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning

EXPLORE-Bench：具有长视距推理的自我中心场景预测

Chengjun Yu, Xuhan Zhu, Chaoqun Du, Pengfei Yu, Wei Zhai, Yang Cao, Zheng-Jun Zha

机构 * University of Science and Technology of China（中国科学技术大学） ； Foundation Model Team, Li Auto Inc.（蔚来汽车基础模型团队） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出EXPLORE-Bench基准，通过初始场景图像和动作序列预测最终场景，评估多模态大模型在自我中心长视距推理中的能力，发现与人类存在显著差距。

Aloe-Vision: Robust Vision-Language Models for Healthcare

Aloe-Vision: 面向医疗保健的鲁棒视觉-语言模型

Jaume Guasch-Martí, Enrique Lopez-Cuena, Martín Suárez-Fernández, Jordi Bayarri-Planas, Anna Arias-Duart, Dario Garcia-Gasulla

机构 * Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC）） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出Aloe-Vision系列医疗LVLM，通过大规模高质量多模态数据微调，在保持通用能力的同时提升医疗任务性能，并引入低污染基准CareQA-Vision，揭示当前模型在临床环境中的鲁棒性挑战。

Comments MIDL 2026

Journal ref Proceedings of Machine Learning Research, Vol. 315, pp. 2404-2426, 2026

SpaceDG: Benchmarking Spatial Intelligence under Visual Degradation

SpaceDG: 在视觉退化下评估空间智能的基准测试

Xiaolong Zhou, Yifei Liu, Ziyang Gong, Jiarui Li, Qiyue Zhao, Muyao Niu, Yuanyuan Gao, Le Ma, Xue Yang, Hongjie Zhang, Zhihang Zhong

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Electronic Science and Technology of China（电子科技大学） ； Chongqing University（重庆大学） ； The University of Tokyo（东京大学） ； Beihang University（北航） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出SpaceDG，首个针对退化感知空间理解的大型数据集，通过物理基础的退化合成引擎生成9种退化类型，评估多模态大语言模型在视觉退化下的空间推理能力，并展示在退化条件下微调可提升模型鲁棒性。

Parameter Efficient Hybrid Transformer (PEHT) for Network Traffic Prediction via Dynamic Urban Congestion Integration

参数高效混合Transformer（PEHT）用于通过动态城市拥堵整合进行网络流量预测

Abdolazim Rezaei, Mehdi Sookhak, Mahboobeh Haghparast

机构 * National Science Foundation（国家科学基金会） ； U.S. Department of Transportation（美国交通部） ； University Transportation Center (UTC)（大学交通中心） ； Transportation Cybersecurity Center for Advanced Research and Education (CYBER-CARE)（交通网络安全高级研究与教育中心） ； NVIDIA Academic Grant Program（NVIDIA学术资助计划） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出参数高效混合Transformer（PEHT），通过低秩适应和多模态融合整合城市移动性与拥堵信息，在减少参数的同时提升网络流量预测精度。

Constraining primordial oscillations and inflationary particle production with Planck, ACT DR6, and DESI DR2

利用Planck、ACT DR6和DESI DR2约束原初振荡与暴胀粒子产生

Simran K. Nerval, Renee Hlozek, Hidde T. Jense, J. Richard Bond

专题命中 多模态评测 ：multimodal(abstract)

AI总结 利用CMB和LSS数据，通过pocoMC采样器约束原初功率谱振荡模板及暴胀粒子产生模型，发现振幅上限约2% A_s，贝叶斯证据仍偏好ΛCDM。

Comments 34 pages, 24 figures, and 5 tables

Tuning the optoelectronic properties of wide bandgap perovskites: Data-driven insights from combinatorial synthesis and high-throughput experimentation

调谐宽带隙钙钛矿的光电性能：来自组合合成和高通量实验的数据驱动洞察

Alexander Wieczorek, Sergey Tsarev, Nathan Rodkey, Oleksandr Pshyk, Stefanie Frick, Maksym V. Kovalenko, Sebastian Siol

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 通过组合物理气相沉积和自动化表征，在Cs-Pb-Br-Cl四元空间中快速筛选出宽带隙钙钛矿的最佳Cs/Pb比为1.05-1.20，并发现高能光学跃迁是高PL产率的稳健决定因素。

TG-OT: Topology-guided CCTA-IVUS registration via optimal transport matching

TG-OT: 基于最优传输匹配的拓扑引导CCTA-IVUS配准

R. L. M. van Herten, José P. Henriques, R. Nils Planken, Joost Daemen, Eline M. J. Hartman, Jolanda J. Wentzel, Johannes C. Paetzold, Ivana Išgum

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出TG-OT框架，通过集成训练的特征检测器和基于不平衡Sinkhorn最优传输损失的拓扑圆柱配准，实现CCTA与IVUS的全自动配准，无需预分割，在47例数据上取得高精度。

Comments Submitted to MICCAI 2026

ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering

ProMSA: 渐进式多模态搜索智能体用于基于知识的视觉问答

ZhengXian Wu, Hangrui Xu, Kai Shi, Zhuohong Chen, Yunyao Yu, Chuanrui Zhang, Zirui Liao, Jun Yang, Zhenyu Yang, Haonan Lu, Haoqian Wang

机构 * OPPO AI Center, OPPO Inc. China（OPPO AI中心，OPPO公司） ； The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出渐进式多模态搜索智能体ProMSA，通过迭代选择图像搜索、文本搜索或停止，在显式工具调用预算和去重机制下，结合序列级强化学习优化，提升基于知识的视觉问答的检索和端到端准确性。

Verifiable Geometry Problem Solving: Solver-Driven Autoformalization and Theorem Proposing

可验证几何问题求解：求解器驱动的自动形式化与定理提出

Can Li, Ting Zhang, Junbo Zhao, Hua Huang

机构 * Beijing Normal University（北京师范大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出SD-GPS框架，通过求解器驱动的自动形式化和可验证定理提出，解决几何问题求解中神经符号方法的瓶颈，在Geometry3K和PGPS9K上超越现有方法。

Multi-Modal Conditioned High-Resolution Transformer for Urban Electromagnetic Field Map Prediction Download PDF

面向城市电磁场地图预测的多模态条件高分辨率Transformer

Do-Eon Kim, Dongryul Park, Seungyoung Ahn, Namwoo Kang, Seong-heum Kim, Seongsin Kim

机构 * Soongsil University（崇实大学） ； Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology（韩国科学技术院赵春植移动研究生院） ； Department of Intelligent Semiconductors, Soongsil University（崇实大学智能半导体系） 纠错

专题命中 多模态Agent ：multi-modal(title)；分类 cs.CV

AI总结 提出多条件密集预测框架，利用高分辨率Transformer骨干网络，结合特征线性调制和交叉注意力机制，从建筑布局和天线配置生成500×500电磁场地图，通过复合损失函数和测试时增强提升性能。

Agentic Vehicles for Human-Centered Mobility: Definition, Prospects, and Synergistic Co-Development with Vehicle Autonomy

面向人类中心的移动性：定义、前景以及与车辆自主性的协同发展

Jiangbo Yu, Raphael Frank, Luis Miranda-Moreno, Sasan Jafarnejad, Jonatas Augusto Manzolli, Fuqiang Liu, Jiyao Wang, Pavel Chernakov, Ali Eslami

机构 * Interdisciplinary Centre for Security, Reliability and Trust（跨学科安全、可靠与信任中心） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL

AI总结 本文探讨了面向人类中心的移动性，提出了代理车辆的概念，指出自主性和代理性是相互关联但概念上不同的维度，并强调了协同发展的必要性。

QuantV2X: A Fully Quantized Multi-Agent System for Cooperative Perception

QuantV2X：一种用于协同感知的全量化多智能体系统

Seth Z. Zhao, Huizhi Zhang, Zhaowei Li, Juntong Peng, Anthony Chui, Zewei Zhou, Zonglin Meng, Hao Xiang, Zhiyu Huang, Fujia Wang, Ran Tian, Chenfeng Xu, Bolei Zhou, Jiaqi Ma

机构 * UCLA（加州大学洛杉矶分校） ； UW-Madison（威斯康星大学麦迪逊分校） ； NCSU（北卡罗来纳州立大学） ； Purdue University（普渡大学） ； UC Berkeley（加州大学伯克利分校） ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 提出首个全量化多智能体系统QuantV2X，通过端到端量化策略同时降低计算负载和传输带宽，在低比特约束下达到与全精度相当的精度，并显著降低延迟、提升mAP30。

Comments ECCV 2026

Yuvion VL: A Multimodal Foundation Model for Adversarial Content and AI Safety

Yuvion VL：面向对抗性内容和AI安全的多模态基础模型

Shikai Qiu, Xiaowen Xu, Benlei Cui, Ting Ma, Xiufeng Huang, Wenjing Jiang, Shaoxuan He, Haolei Xu, Chunyang Chai, Yujian Li, Yiliang Zhang, Guanghui Wang, Ziheng Wang, Ziwen Xu, Zhaoyu Fan, Jinhao Chen, Ruijie Jian, Hongxing Li, Chuxi Xiao, Xinyue Chen, Wenxuan Liu, Libin Dong, Yupeng Cao, Xiaoqian Xia, Jing Wang, Zhe Jiang, Zhenan Ye, Guang Yang, Bin Liu, Wei Peng, Ziqiang Zhu, Meihui Lian, Kaiwen Lv Kacuila, Haidong Ding, Dongjie Zhang, Yangfan Zhou, Bingyu Zhu, Yan Wang, Hai Zhao, Xuan Jin, Wei Zhao, Pengfei Sun, Huiming Zhang, Wei Wang, Xipeng Cao, Jialun Chen, Xiao Chen, Shaola Ren, Yunqing Hu, Bin Li, Chengwen Yao, Meng Huang, Xianfeng Li, Bin Tang, Chao Liu, Hui Xue, Longtao Huang, Haiwen Hong

机构 * Alibaba Security AGI Lab（阿里巴巴安全AGI实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Yuvion VL系列多模态大语言模型，通过对抗性感知数据合成、三阶段训练和混淆对比微调，在内容和AI安全任务上达到行业领先性能，同时保持通用能力。

MPFlow: Multi-modal Posterior-Guided Flow Matching for Zero-Shot MRI Reconstruction

MPFlow: 多模态后验引导的流匹配用于零样本MRI重建

Seunghoi Kim, Chen Jin, Henry F. J. Tregidgo, Matteo Figini, Daniel C. Alexander

机构 * 1 Hawkes Institute, UCL \, 2 Dept. of Medical Physics ； Biomedical Engineering, UCL 3 Dept. of Computer Science, UCL 4 Centre for AI, DS\&AI, AstraZeneca, UK 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MPFlow框架，利用自监督预训练PAMRI学习跨模态共享表示，在推理时通过数据一致性和特征对齐引导采样，减少幻觉并提升零样本MRI重建效率。

Spectral Text Fusion: A Frequency-Aware Approach to Multimodal Time-Series Forecasting

频谱文本融合：一种频率感知的多模态时间序列预测方法

Huu Hiep Nguyen, Minh Hoang Nguyen, Dung Nguyen, Hung Le

机构 * Applied Artificial Intelligence Initiative（应用人工智能计划） ； Deakin University（迪金大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 提出SpecTF框架，通过频谱分解将文本信息与时间序列在频域融合，利用轻量级交叉注意力机制自适应重加权频带，显著提升多模态时间序列预测性能。

Comments Accepted at AISTATS 2026

Beyond Information Redundancy: Expanding Cross-Modal Knowledge Representation for Power Load Time Series Forecasting

PrismNet：通过多模态棱镜解读时间序列以实现可解释的电力负荷预测

Yuxuan Chen, Shuo Dai, Ruoyi Xu, Haipeng Xie

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(abstract)

AI总结 PrismNet通过多模态增强模块和PID引导的多模态对比学习，提升电力负荷预测的可解释性与少样本学习能力，在实际数据集上优于现有方法。

Context-specific Credibility-aware Multimodal Fusion with Conditional Probabilistic Circuits

基于条件概率电路的上下文特定可信感知多模态融合

Pranuthi Tenali, Sahil Sidheekh, Saurabh Mathur, Erik Blasch, Kristian Kersting, Sriraam Natarajan

机构 * Department of Computer Science , TU Darmstadt（德累斯顿技术大学计算机科学系） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出C$^2$MF框架，利用条件概率电路建模实例级源可靠性，通过KL散度度量上下文特定信息可信度，在跨模态冲突下提升预测准确率高达29%。

Fine-tuning a multimodal large language model for clinician-grade autism behavioral scoring from short home videos

微调多模态大语言模型用于从短视频中对自闭症行为进行临床级评分

Mohammadmahdi Honarmand, Parnian Azizian, Aaron Kline, Kae Nurge, Zerin Nasrin Tumpa, Saimourya Surabhi, Kaitlyn Dunlap, Yang Qian, Ali Kargarandehkordi, Sameer Neupane, Peter Washington, Dennis P. Wall

机构 * Stanford University（斯坦福大学） ； University of Hawaii at Manoa（夏威夷大学马诺阿分校） ； University of California San Francisco（加利福尼亚大学旧金山分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 微调Gemini 2.5 Pro模型，从400个临床评分的家庭视频中提取30个行为特征，在99名儿童上实现与临床医生评分的一致性提升40%，并零样本达到53%的自闭症诊断F1提升。