多模态大模型

Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference

轻量级多模态模型能否评估LLM的推理性能？一项面向计算最优文档推理的研究

Zishan Ahmad, Vishal Vaddina

机构 * Phi Labs（菲实验室） ； Quantiphi（宽梯斐科技） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出轻量级多模态模型DRB，基于新基准BudgetDoc实现文档任务中LLM推理预算的动态分配，在降低成本的同时多数情况下达到或优于固定最大预算的性能，具备跨模型泛化潜力。

OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios

OmniHandwritingOCR：用于评估多模态大语言模型在手写OCR场景中表现的诊断基准

Zinuo Guo, Min Zhang, Bo Jiang

机构 * East China Normal University（华东师范大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究推出OmniHandwritingOCR手写OCR诊断基准，评估13个多模态模型，发现其在复杂公式上表现差且存在幻觉，为诊断模型失效模式提供测试平台。

Comments CIKM 2026

Reproducible Multimodal Affordance Prediction

可复现的多模态可供性预测

Tommaso Apicella, Alessio Xompero, Andrea Cavallaro

机构 * Istituto Italiano di Tecnologia（意大利技术研究院） ； EPFL（洛桑联邦理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对可供性预测方法评估难的问题，本文提出Affordance Sheet以规范任务表述等信息，实现可供性模型的可复现基准测试与现实场景可靠评估。

Comments Paper accepted to Workshop on Human-Centered Multimodal Intelligence in the Wild (HCMIW) in European Conference on Computer Vision (ECCV) 2026; 18 pages, 3 figures, 7 tables. Project webpage at this https URL (https://apicis.github.io/aff-sheet)

MAVEN: A Macro-Societal Value Evaluation Framework of Multimodal Content with Compact Aligned Evaluators

MAVEN：基于紧凑对齐评估器的多模态内容宏观社会价值评估框架

Zijuan Zhao, Zheren Fu, Hou Xia, Licheng Zhang, Yi Liu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 针对多模态内容宏观社会价值评估难题，提出MAVEN分层框架，构建相关基准与指标，优化评估器，实验表明其2B评估器表现接近前沿闭源VLMs，提供了可扩展评估路径。

Comments 18 pages, 6 figures

VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?

VibeWorlding：多模态智能体能否端到端构建3D开放世界？

Yansong Ning, Jingwen Ye, Zhongkai Wu, Yang Sun, Yiqin Zhu, Xingyi Li, Weidong Zhang, Hao Liu

机构 * HKUST(GZ)（香港科技大学（广州）） ； Tencent（腾讯） ； AI Thrust ； TEG AIPD 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究提出VibeWorlding框架，构建VWE-BENCH基准与VibeWorlding-Gym框架，发现当前前沿MLLMs在3D开放世界构建任务中表现不佳，经RL训练的VibeWorlder模型可提升性能，旗舰模型VibeWorlder-30B-A3B表现最优。

Comments preprint

Million-scale multimodal pollen microscopy with expert-guided foundation models

百万级多模态花粉显微镜图像与专家引导的基础模型

András Biricz, Björn Gedda, Donát Magyar, Antonio Spanu, János Fillinger, Péter Pollner, István Csabai

机构 * Department of Physics of Complex Systems, ELTE Eötvös Loránd University（ELTE罗兰大学复杂物理系） ； The Palynological Laboratory at the Swedish Museum of Natural History（瑞典自然历史博物馆孢粉学实验室） ； National Centre for Public Health and Pharmacy（国家公共卫生与药品中心） ； INRAE, UR 546 BioSP, Site Agroparc（法国国家农业、食品与环境研究院，UR 546 BioSP，阿格罗帕克园区） ； National Korányi Institute for Pulmonology（国家科拉尼肺病研究所） ； Health Data Science and AI Knowledge Centre, Health Services Management Training Centre, Faculty of Health and Public Administration, Semmelweis University（塞梅维什大学健康与公共管理学院卫生服务管理培训中心健康数据科学与人工智能知识中心） ； Department of Biological Physics, ELTE Eötvös Loránd University（ELTE罗兰大学生物物理系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出百万级多模态花粉显微镜数据集Pollen AI Atlas，结合专家引导的视觉-语言模型生成形态描述，实现跨区域、跨设置的高精度花粉识别与检索。

Comments 31 pages, 5 main figures, supplementary information included. Submitted to Scientific Reports. v2: clarified reporting of taxonomic scope, captioning settings, backbone configuration, and evaluation details; no changes to numerical results or conclusions

Eyes on the Image: Gaze Supervised Multimodal Learning for Chest X-ray Diagnosis and Report Generation

聚焦图像：用于胸部X光诊断与报告生成的注视监督多模态学习

Tanjim Islam Riju, Shuchismita Anwar, Saman Sarker Joy, Farig Sadeque, Swakkhar Shatabda

机构 * Department of Computer Science and Engineering, Brac University（计算机科学与工程系，布拉克大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究基于MIMIC-Eye数据集构建两阶段多模态框架，引入注视监督提升胸部X光诊断准确率与报告空间可解释性，为该领域提供了可复现的新基准。

JW-FD: A Long Horizon Multimodal Solar Flare Forecasting Dataset

JW-FD：一个长时程多模态太阳耀斑预报数据集

Shao Mingfu, Lin Jiaben, Wang Hui, Tong Liyue, Yang Chen, Zhang Yin, Li Yuyang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对太阳耀斑预报的长时程数据需求，构建含3064个活动区的15年多模态数据集JW-FD，采用活动区分层划分避免时间泄漏，经Transformer实验确定Bth=1000 G为≥C1.0级耀斑预报的初步默认磁饱和阈值。

Comments 10 pages,3 figures

JW-SSD: A Multimodal Benchmark Dataset for Fine-Grained Sunspot Classification

JW-SSD：用于细粒度太阳黑子分类的多模态基准数据集

Hui Wang, Mingfu Shao, Luyang Li, Jiaben Lin, Liyue Tong, Chen Yang, Zhanji Wei

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 该研究提出用于太阳黑子细粒度磁型分类的多模态基准数据集JW-SSD，经质量控制后含36553对图像，可用于训练多种模型，包括取得高准确率的JW-SunSpot。

Comments 15 pages, 3 figures

A Cloud-Edge System for Multimodal Clinical Screening in Resource-Constrained Rural Settings

面向资源受限农村地区多模态临床筛查的云边协同系统

Hei Ting (Una) Chan, Chenwei Wu, Xueshen Liu, Zesen Zhao, Boyuan Zheng, Luis Filipe Nakayama, Michael G. Morley, Liyue Shen, Jiasi Chen, Z. Morley Mao

机构 * University of Michigan（密歇根大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 该研究针对资源受限农村地区的多模态临床筛查问题，提出云边协同架构，经实验验证其诊断性能优异且成本更低，可适配部署约束。

Comments 31 pages, 3 figures. In Proceedings of Machine Learning Research, Volume 340, 2026 (Machine Learning for Healthcare Conference)

FedCoRe: Target-Adaptive Completion for Missing Modalities in Healthcare Federated Learning

FedCoRe：医疗联邦学习中针对缺失模态的目标自适应补全方法

Holger R. Roth, Ziyue Xu, Peter Cnudde

机构 * NVIDIA（英伟达） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对医疗联邦学习中客户端存在缺失模态的问题，提出FedCoRe框架，通过学习表示或对数空间修正，在呼吸恶化任务中恢复了ECG和CXR缺失导致的部分性能损失。

Comments Accepted to the 7th Workshop on Distributed, Collaborative & Federated Learning, DeCaF 2026, MICCAI, Strasbourg, France

MR-IQA-2: Faithful Image Quality Reflection via Fine-Grained Credit Assignment

MR-IQA-2：通过细粒度信用分配实现真实的图像质量反映

Yuan li, Youyuan Lin, Chenhui Chu, Shin'ya Nishida

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对现有盲图像质量评估（IQA）中推理真实性不足的问题，提出MR-IQA-2框架，通过解耦推理与评分的细粒度信用分配，在IQA基准上实现了与人类评分的竞争性对齐，还能提供更丰富的视觉理解。

Pedagogical AI in Mental Health: A Tri-Stream Fine-Tuned LLM Framework for Automated Clinical Supervision and Risk Triage

心理健康领域的教学式AI：用于自动化临床监督与风险分诊的三通路微调大语言模型框架

Shreeya Sharma, Ravish Gupta, Saket Kumar, Abhishek Aggarwal

机构 * Microsoft（微软） ； BigCommerce ； University at Buffalo, The State University of New York（纽约州立大学布法罗分校） ； Amazon（亚马逊） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对精神医疗的监督缺口，提出三通路微调Mistral-7B-instruct框架，实现自动化临床监督与风险分诊，提升效率并解决冷启动问题。

Comments 14 pages, 1 figure, 2 tables. Accepted for publication in AICTC 2026, Lecture Notes in Networks and Systems, vol. 2165, Springer

SE-MoLoRA: Shared-Expert LoRA Adapters for Domain-Specific Photographic Assessment

SE-MoLoRA：用于特定领域摄影评估的共享专家LoRA适配器

Bishwash Khanal, Anlan Zhang, Sasu Tarkoma, Tommi Mikkonen, Abhishek Kumar

机构 * Faculty of Information Technology（信息技术学院） ； University of Jyväskylä（于韦斯屈莱大学） ； Adobe Research（奥多比研究院） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出SE-MoLoRA框架，通过共享LoRA专家与路由适配器解耦通用摄影知识和专业判断，在摄影评论生成任务上显著提升BERTScore-F1，且更受偏好、参数更少。

PCQA-R1: Advancing Generalized 3D Point Cloud Quality Assessment with Reinforcement Learning

PCQA-R1：基于强化学习的通用三维点云质量评估方法

Kangning Ye, Yunhao Li, Sijing Wu, Yucheng Zhu, Guangtao Zhai

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出首个用于三维点云质量评估的强化学习LMM PCQA-R1，基于GRPO策略构建PCQA-CoT数据集并引入高斯 proximity 奖励，在跨数据集泛化和域内准确率上表现优异。

A systematic review of machine learning techniques to address diagnosis and treatment of autism: challenges and opportunities

解决自闭症诊断与治疗的机器学习技术系统综述：挑战与机遇

Rafael Muñoz-Terol, Jesús Peral, Sandra Amador, David Gil

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本系统综述分析2017-2023年55项研究，探究ML在ASD诊断治疗的应用，指出监督学习为主、深度学习作用扩大，需整合多模态数据并加强跨学科合作。

Comments 17 pages, 8 figures

SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

SoftVTBench：面向可变形物体操作的形变感知视觉-触觉数据集与基准

Bowen Jing, Mingxin Wang, Ruiyang Hao, Chenchen Ge, Hanwen Shen, Junjie He, Yang Cui, Yiming Hou, Weitao Zhou, Jiawei Wang, Minglei Li, Dandan Zhang, Ding Zhao, Houde Liu, Xiaofan Li, Si Liu, Ping Luo, Haibao Yu

机构 * Tuojing Intelligence（拓境智能） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； Stevens Institute of Technology（斯蒂文斯理工学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Manchester（曼彻斯特大学） ； Simple AI ； Imperial College London（帝国理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本研究推出SoftVTBench视觉-触觉数据集与基准，定义形变感知成功率（DSR），发现触觉信息本身未必提升多模态融合，为可变形物体操作的物理交互研究提供资源。

AI Fact-Checking in the Wild: A Field Evaluation of LLM-Written Community Notes on X

在野中的AI事实核查：在X平台上的LLM生成社区笔记现场评估

Haiwen Li, Michiel A. Bakker

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文首次在X平台现场评估LLM生成的社区笔记，通过三个月的测试发现LLM笔记在不同政治立场的评价者中获得更高正面评分，证明其在事实核查中的广泛适用性。

PATE-Forensics: Perception-as-Tool for Explainable Deepfake Forensics with General-Purpose MLLMs

PATE-Forensics：以通用多模态大语言模型（MLLM）为工具的可解释深度伪造取证方法

Yaqi Li, Jielun Peng, Yabin Wang, Jincheng Liu, Xiaopeng Hong

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态Agent ：MLLM(title_cn,summary_cn)；分类 cs.CV

AI总结 本研究提出PATE-Forensics，采用“感知即工具”范式，基于DINOv3构建取证感知工具，结合通用MLLM实现可解释深度伪造取证，在DDL-X Track 3数据集上取得0.89的最佳官方分数，较次席高出0.19分。

Comments 9 pages, 3 figures, 2 tables; DDL-X Track 3, IJCAI 2026 AI Safety Workshop

DentAgent: Evidence-Centric Multi-Agent Coordination for Multimodal Dental Reasoning

DentAgent：以证据为中心的多智能体协调的多模态牙科推理框架

Zijie Meng, Xiwei Dai, Yixuan Tang, Jin Hao, Yang Feng, Fudong Zhu, Xiaoqiang Liu, Shaosheng Cao, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Angelalign Technology Inc.（时代天使科技有限公司） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对现有牙科AI系统模态或任务局限及证据不可追溯问题，提出以证据为中心的多智能体框架DentAgent，经四个基准测试，其多标签诊断性能超越资深专家17.3个百分点，可用于多模态牙科推理及人群口腔健康评估。

DynCur-Geo: Dynamic Curiosity Reward Shaping for Multimodal Active Geo-Localization

DynCur-Geo：面向多模态主动地理定位的动态好奇心奖励塑造

Yiming Sun, Yang Zhang, Pengfei Zhu

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出DynCur-Geo动态好奇心框架，通过距离感知门与势能奖励塑造优化多模态主动地理定位，在多场景实验中较基线方法取得一致性能提升。

Comments 24 pages, 18 figures, 15 tables. The main paper is 7 pages, with supplementary material included

Multimodal Adaptive Control for Safe Robotic Craniotomy Under Partial Observability

RL-MACRO：一种用于多模态自适应机器人开颅手术的控制论闭环智能框架

Xiao Zhang, Jiaxuan Li, Renzhen Le, Di Wu, Chao Sun, Jiachen Zhu, Haoyuan Zhang, Xiang Li, Jian Liu, Zhenzhi Ying, Pengfei Zhang, Liming Shu

机构 * Dalian University of Technology（大连理工大学） ； Second Hospital of Dalian Medical University（大连医科大学附属第二医院） ； The University of Tokyo（东京大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 研究针对自主机器人开颅手术面临的挑战，提出RL-MACRO框架，通过多模态感知、自适应决策和机器人执行实现闭环控制，利用CNN-LSTM观测器重建温度，经IQL策略和双头执行器优化行为，实验验证了该框架在骨切割方面的有效性。

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

Co-RL：多智能体强化学习中多样群体涌现的无监督推理

Yunhao Yang, Yuexin Bian, Yunjie Tian, Di Fu, Tianjin Huang, Yuanyuan Shi, Ziang Xiao, Nuno Vasconcelos, Yijiang Li

机构 * University of Exeter（埃克塞特大学） ； ByteDance（字节跳动） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出Co-RL框架，通过参数不共享的多智能体协作训练，利用同伴奖励减少对真实标注的依赖，提升纯文本及多模态任务的推理性能，缓解训练崩溃与响应同质化问题。

Comments 30 pages, 5 figures, 11 tables

Teach a Molmo2Fish: Towards interactive fish tracking with natural language guidance

Teach a Molmo2Fish：面向自然语言引导的交互式鱼类追踪

Kai Van Brunt (1), Justin Kay (1), Sara Beery (1) ((1) Massachusetts Institute of Technology)

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本研究针对声呐鱼类追踪数据集定制了多模态大语言模型工具Molmo2Fish，通过交互式预测修正工作流开展实验，发现其在鱼类追踪和轨迹修正上性能良好，但自然语言引导的融入仍需提升。

Comments 29 pages, 6 figures, to be published in Third Workshop on Computer Vision for Ecology at ECCV 2026

XRF-to-Optical Field-of-View Localization with Vision Language Models

基于视觉语言模型的X射线荧光（XRF）与光学显微镜视场（FOV）定位

Xiangyu Yin, Tatjana Paunesku, Letonia Copeland-Hardin, Martina Ralle, Zichao Wendy Di, Si Chen, Gayle E. Woloschak, Barry Lai, Mathew J. Cherukara, Stefan Vogt

机构 * Northwestern University（西北大学） ； University of Chicago（芝加哥大学） ； Oregon Health and Science University（俄勒冈健康与科学大学） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CV

AI总结 本文针对跨模态显微图像的视场定位难题，提出结合视觉语言模型（VLM）的候选生成-验证工作流，在低对应度的相邻切片成像数据中实现了有效定位，为关联XRF与光学显微测量提供了支撑。

Adaptive Multi-Agent Feature Selection for Personalized Fall Risk Prevention

面向个性化跌倒风险预防的自适应多智能体特征选择

Chang Liu, Ladda Thiamwong, Yanjie Fu, Rui Xie

机构 * University of Central Florida（中佛罗里达大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对老年人跌倒风险识别的静态方法无法适配动态个性化风险因素，本文提出PAFIR框架，将自适应特征选择建模为强化学习问题，在PEER试验数据上验证其能更有效捕捉特征模式，实现动态个性化跌倒风险预防。

Comments 38 pages, 10 figures, 12 tables. Accepted at Machine Learning for Healthcare (MLHC 2026)

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

对齐即全部所需：通用音频-语言模型的无指令训练

Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、eess.AS

AI总结 该研究提出仅对齐的无指令大音频-语言模型LALM，仅训练轻量投影器，在多模态数据集上用更少数据达到或优于基线，证明仅靠对齐即可构建有竞争力的多模态大语言模型。

When Two Tracers Disagree: An Investigation of Multimodal Fusion for Clinical PET/CT Segmentation

当两种示踪剂意见不合时：临床PET/CT分割的多模态融合研究

Jack A. Johnson, Bartłomiej W. Papież

机构 * University of Oxford（牛津大学） ； Nuffield Department of Medicine（纳菲尔德医学系） ； Department of Oncology（肿瘤学系） ； Big Data Institute（大数据研究所） ； Nuffield Department of Population Health（纳菲尔德人口健康系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对前列腺癌PSMA与FDG PET/CT的多模态融合分割，训练示踪剂特异性3D nnU-Net基线并对比多种融合策略，发现融合未始终优于单示踪剂模型，需更优架构保留示踪剂特异性表征

Comments 10 pages (8 pages main content and 2 pages of references), 2 figures, 2 tables, accepted to MICCAI 2026 Cancer Prevention, Detection, and IntervenTion (CaPTion) Workshop

Cross-Modal MRI Ovary Segmentation in Endometriosis Using Unpaired TVUS Prototype Priors

基于未配对经阴道超声（TVUS）原型先验的子宫内膜异位症跨模态MRI卵巢分割

Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

机构 * Center for AI and Data Science (CAIDAS), Julius-Maximilians-Universität Würzburg（维尔茨堡大学人工智能与数据科学中心） ； Institute for Computational Imaging and AI in Medicine (CompAI), Technical University of Munich（慕尼黑工业大学计算成像与医学人工智能研究所） ； Pattern Recognition Lab, Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学模式识别实验室） ； Department Artificial Intelligence in Biomedical Engineering (AIBE), Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学生物医学工程人工智能系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对子宫内膜异位症MRI卵巢分割难题，本研究提出结合TVUS原型库的双分支框架，适配MedSAM3对齐跨模态特征，在相关数据集上较SOTA方法提升超5个百分点，验证了原型库与热身预训练的作用。

Malformer: A Multi-Modal Malware Detector Using Transformers

Malformer：一种基于Transformer的多模态恶意软件检测器

Samuel Howard, Kshitiz Aryal, Mahmoud Abdelsalam, Maanak Gupta, Andrew Wheeler, Pradip Kunwar

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)

AI总结 本研究提出四模态恶意软件检测模型Malformer，融合文本、图像、图形、音频表示，采用多模态Transformer融合，在201549个样本数据集上准确率98.3%，优于单/双模态检测器，为恶意软件防御提供稳健基础。