多模态大模型

A Mixed Diet Makes DINO An Omnivorous Vision Encoder

混合饮食使DINO成为杂食视觉编码器

Rishabh Kabra, Maks Ovsjanikov, Drew A. Hudson, Ye Xia, Skanda Koppula, Andre Araujo, Joao Carreira, Niloy J. Mitra

机构 * Google DeepMind（谷歌DeepMind） ； University College London（伦敦大学学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对DINOv2等预训练视觉编码器在不同视觉模态间特征对齐差的问题，提出杂食视觉编码器，通过后训练框架学习模态无关特征空间，实现跨模态鲁棒理解。

Comments CVPR 2026 Highlight

TQA-Bench: Evaluating LLMs for Multi-Table Question Answering

TQA-Bench：评估大语言模型在多表问答中的表现

Zipeng Qiu, Chenyue Li, You Peng, Guangxin He, Binhang Yuan, Chen Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出TQA-Bench基准，通过长上下文多表问答任务评估LLM，揭示其在复杂数据驱动环境中的挑战与机遇。

Comments Accepted by IEEE Transactions on Big Data

Pharmacogenomic Knowledge Graph Augmentation for Graph Neural Network-Based Drug-Drug Interaction Prediction

基于图神经网络的药物相互作用预测的药理基因组学知识图谱增强

Juergen Dietrich

机构 * AI Solutions Berlin 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究通过整合PharmGKB的药理基因组学先验知识（CYP酶注释）作为特征向量，增强图神经网络在药物相互作用预测中的性能，在配对数据划分下显著提升DDI类型分类，但未能突破信息天花板。

Comments 13 pages

Securing Retrieval-Augmented Generation: A Taxonomy of Attacks, Defenses, and Future Directions

保障检索增强生成：攻击、防御与未来方向的分类法

Yuming Xu, Mingtao Zhang, Zhuohan Ge, Haoyang Li, Nicole Hu, Yongqi Zhang, Zhiyuan Wen, Jason Chen Zhang, Qing Li, Lei Chen

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出SLOT分类法，从攻击面、防御层、目标（遵循CIA属性）和攻击目标四个维度系统化梳理检索增强生成（RAG）的安全风险与防御，并指出知识访问管道中的结构性错配，最后展望未来方向。

Comments We have curated a paper list on RAG security in https://github.com/TreeAI-Lab/Awesome-RAG-Security, and we warmly welcome authors who wish to have their new work included to contact us via email

LongRTL: Graph-Similarity-Guided LLM-driven Long Context RTL Optimization

LongRTL：基于图相似性的LLM驱动的长上下文RTL优化

Yuyang Ye, Che-Kuan Shen, Xiangfei Hu, Yuchen Liu, Shuo Yin, Xufeng Yao, Bei Yu, Tsung-Yi Ho

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 提出一种基于图相似性的LLM驱动RTL优化框架，通过分区、优化和重构三个智能体解决长上下文RTL代码的优化问题。

Comments 7 pages, 6 figures, 5 tables, conference

Conditional Normalizing Flows for Forward and Backward Joint State and Parameter Estimation

条件归一化流用于前向和后向联合状态与参数估计

Luke S. Lagunowich, Guoxiang Grayson Tong, Daniele E. Schiavazzi

机构 * Department of Computer Science and Engineering University of Notre Dame（计算机科学与工程系诺特达姆大学） ； Department of Pediatrics Stanford University（儿科系斯坦福大学） ； Department of Applied and Computational Mathematics and Statistics University of Notre Dame（应用与计算数学与统计系诺特达姆大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 针对非线性非高斯系统，提出基于条件归一化流的状态滤波方法，结合MLP、Transformer或Mamba-SSM生成条件嵌入，并引入最优传输动力学损失缓解过参数化，在自动驾驶和COVID-19联合估计中验证有效性。

NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis

NutriMLLM：用于膳食微量营养素分析的多模态大语言模型

Runze Yan, Minxiao Wang, Jiaying Lu, Darren Liu, Xiao Hu, Hanqi Luo

机构 * Emory University（埃默里大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(summary_cn)；分类 cs.CV、cs.AI

AI总结 针对现有MLLM在膳食微量营养素估计中不可靠的问题，利用十年人口规模膳食回顾生成约110万图像-营养素三元组，微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM，在真实图像上实现65种营养素全覆盖，准确率匹配或超越专有模型。

Comments 35 pages, 10 figures, 1 table

Multimodal Generative Engine Optimization: Rank Manipulation for Vision-Language Model Rankers

多模态生成式引擎优化：针对视觉-语言模型排序器的排名操纵

Yixuan Du, Chenxiao Yu, Haoyan Xu, Ziyi Wang, Yue Zhao, Xiyang Hu

机构 * Georgetown University（乔治城大学） ； University of Southern California（南加州大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出多模态生成式引擎优化（MGEO）方法，通过联合优化图像扰动和文本后缀，利用视觉-语言模型内部跨模态知识耦合，实现对产品排名的有效操纵，揭示了多模态基础模型知识基础的脆弱性。

Comments Proceedings of the 4th Workshop on Towards Knowledgeable Foundation Models (KnowFM) at ACL 2026

IMUG-Bench: Benchmarking Unified Multimodal Models on Interleaved Understanding and Generation

IMUG-Bench：交错理解与生成的统一多模态模型基准

Lingyi Meng, Zecong Tang, Haoran Li, Tengju Ru, Zhejun Cui, Weitong Lian, Qi Kang, Hangshuo Cao, Yichen Zhu, Yechi Liu, Kaixuan Wang, Yu-Jie Yuan, Chunwei Wang, Yu Zhang, Bo Dai

机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Huawei（华为） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出IMUG-Bench基准，用于评估统一多模态模型在多轮交错图文对话中的理解与生成能力，包含3113样本和12034交互轮次，揭示了生成侧暴露偏差，并探索了测试时扩展策略。

Reason Twice: Segmentation via Candidate Discovery and Comparative Reasoning

再思考：通过候选发现与比较推理进行分割

Xinyan Gao, Haoran Hao, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出两阶段框架Rea2Seg，先基于注意力图生成候选掩码，再用多模态大语言模型推理评分，将分割转化为候选发现与判别选择，并引入新基准ReasonSeg-SGDR全面评估感知、定位与推理能力。

Comments Project page: https://snowball521.github.io/Rea2Seg-Project/

IGenBench: Benchmarking the Reliability of Text-to-Infographic Generation

IGenBench：文本到信息图生成可靠性基准测试

Yinghao Tang, Xueding Liu, Boyuan Zhang, Tingfeng Lan, Yupeng Xie, Jiale Lao, Yiyao Wang, Haoxuan Li, Tingting Gao, Bo Pan, Luoxuan Weng, Xiuqi Huang, Minfeng Zhu, Yingchaojie Feng, Yuyu Luo, Wei Chen

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； UESTC ； University of Virginia（弗吉尼亚大学） ； HKUST(GZ)（香港科技大学（广州）） ； Cornell University（康奈尔大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出IGENBENCH基准，包含30种信息图类型和600个测试用例，通过多模态大语言模型分解为10类原子问题评估10种T2I模型，发现数据完整性等维度是普遍瓶颈。

From Denoising to Decision Making: A Survey on Diffusion Model-Enabled Deep Reinforcement Learning for Wireless Networks

从去噪到决策：面向无线网络的扩散模型赋能深度强化学习综述

Nguyen Cong Luong, Zeping Sui, Jie Cao, Min Xu, Nguyen Duc Hai, Zhihao Dong, Nguyen Duc Duy Anh, Qiushi Zhao, Nguyen Quoc Khanh, Zhe Fu, Shaohan Feng, Bo Ma

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)

AI总结 本文综述了扩散模型与深度强化学习结合的方法，通过捕捉无线资源管理中的复杂多模态动作结构，提升决策质量，并系统总结了其在移动边缘计算、无人机辅助、车联网、AIGC驱动系统、无线资源分配、物理层安全及机器人/无人机规划等领域的应用。

Comments 22 pages, 7 figures, Author list corrected

CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation

CURE：基于课程引导的多任务训练实现可靠的解剖学接地报告生成

Pablo Messina, Andrés Villa, Juan León Alcázar, Karen Sánchez, Carlos Hinojosa, Denis Parra, Álvaro Soto, Bernard Ghanem

机构 * Pontificia Universidad Católica de Chile（智利天主教大学） ； CENIA ； iHEALTH ； KAUST（科威特皇家科学与技术局） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出CURE框架，通过课程学习动态调整多任务训练，提升医学报告生成的视觉接地准确性和事实一致性，无需额外数据。

Comments 31 pages, 7 figures, accepted to CVPR 2026 (oral)

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 36279-36289

CRANE: Knowledge Editing for Reasoning MLLMs

CRANE：面向推理多模态大语言模型的知识编辑

Han Huang, Hao Wang, Mengqi Zhang, Shu Wu, Qiang Liu, Liang Wang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； New Laboratory of Pattern Recognition (NLPR), CASIA（中国科学院自动化研究所模式识别国家重点实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Shandong University（山东大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对推理多模态大语言模型在知识编辑中出现的结构崩溃、认知失调和浅层内化三种失败模式，提出检索增强框架CRANE，无需逐编辑参数修改，通过模态感知双库检索系统和两阶段训练策略实现高成功率。

Comments 10 pages, 5 figures

A multi-agent system for spine MRI report generation from multi-sequence imaging

基于多序列影像的脊柱MRI报告生成多智能体系统

Zhiping Xiao, Junwei Yang, Gongbo Sun, Han Zhang, Hanwen Xu, Yi Yao, Zachary D. Miller, William E. King, Mohammed M. Kanani, Jalal B. Andre, Sammy Chu, Ming Zhang, Paul E. Kinahan, Nathan M. Cross, Sheng Wang

机构 * University of Washington（华盛顿大学） ； Peking University（北京大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； New York University（纽约大学） ； University of Washington Medical Center（华盛顿大学医学中心） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SpineAgent多智能体框架，利用多序列基础模型整合T1/T2等序列信息，实现脊柱MRI报告生成、病理定位和图文检索，在跨厂商和跨队列评估中表现优异。

Intrinsic Selection and Particle Resampling for Inference-Time Scaling Beyond Domain Verifiability

内在选择与粒子重采样：超越领域可验证性的推理时扩展

Giorgio Giannone, Mustafa Eyceoz, Shabana Baig, Shivchander Sudalairaj, Anna C. Doris, Faez Ahmed, Akash Srivastava, Kai Xu

机构 * MIT（麻省理工学院） ； Red Hat（红帽公司） ； IBM（IBM公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于并行样本集内在统计量（长度调整尾熵）的推理时扩展方法，通过后验候选排序和步骤级重采样，无需外部验证即可提升开放领域任务性能。

Comments preprint

ZIPP:Zero-shot Image Personalization from Personas

ZIPP：基于人物画像的零样本图像个性化生成

Harini SI, Somesh Singh, Yaman Kumar Singla, David Doermann, Rajiv Ratn Shah

机构 * Adobe Media and Data Science Research (MDSR)（Adobe媒体与数据科学研究（MDSR）） ； IIIT-Delhi（德里印度理工学院） ； SUNY at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 多模态生成 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出ZIPP方法，利用自然语言人物画像通过LLM改写提示词实现零样本图像个性化生成，无需用户数据或微调；引入ZIPBench基准，在多个评测中取得13-20%的提升。

HDSL: A Hierarchical Domain-Specific Language for Structured 3D Indoor Scene Generation and Localized Editing with LLM Agents

HDSL：一种用于结构化3D室内场景生成和基于LLM智能体局部编辑的层次化领域特定语言

Letian Li, Chao Shen, Shuzhao Xie, Chenghao Gu, ZhengXiao He, Yu Meng, Xin Yang, Wenyuan Jiang, Zhi Wang

机构 * SIGS, Tsinghua University（清华大学深圳国际研究生院） ； Nankai University（南开大学） ； University of Arizona（亚利桑那大学） ； Zhejiang University（浙江大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出HDSL语言，以树结构表示室内场景，结合LLM智能体生成、多模态检索和力导向布局优化，实现结构化场景生成与局部编辑，显著提升对象覆盖率和编辑效率。

MedSyn2: Flexible Control of 3D CT Generation via Text and Semantically-Defined Segmentation Prompts

通过文本和语义定义的分割提示灵活控制3D CT生成

Weicheng Dai, Chenyu Wang, Binxu Li, Shantanu Ghosh, Afrooz Zandifar, Christina LeBedis, Kayhan Batmanghelich

机构 * Boston University School of Engineering（波士顿大学工程学院） ； Stanford University（斯坦福大学） ； University of Pittsburgh Medical Center（匹兹堡大学医学中心） ； Boston University School of Medicine（波士顿大学医学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种灵活的多模态框架，通过文本和可选分割提示控制3D CT生成，实现高分辨率、解剖一致且可控的体数据生成。

CADFit: Precise Mesh-to-CAD Program Generation with Hybrid Optimization

CADFit：基于混合优化的精确网格到CAD程序生成

Ghadi Nehme, Eamon Whalen, Faez Ahmed

机构 * Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（麻省理工学院机械工程系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CADFit框架，通过基于几何反馈的增量拟合和验证参数化操作，从网格中恢复复杂可编辑的CAD构造序列，在多个基准上优于现有方法，并显著降低无效比率。

MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding

MotionGPT-2：用于运动生成与理解的通用运动-语言模型

Yuan Wang, Di Huang, Yaqi Zhang, Wanli Ouyang, Jile Jiao, Xuetao Feng, Dan Xu, Shixiang Tang

机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Intime Department Store（Intime百货） ； Deepeleph ； HKUST（香港科技大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MotionGPT-2，一种统一的大规模运动-语言模型，通过预训练大语言模型支持多模态控制条件，实现运动生成、描述和补全等多种任务，并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。

Guided Discovery of New Behaviors using Diffusion Policies

使用扩散策略引导发现新行为

Dian Yu, Sebastian Sanokowski, Majid Khadiv

机构 * Munich Institute of Robotics and Machine Intelligence, Technical University of Munich（慕尼黑工业大学慕尼黑机器人与机器智能研究所） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出结合Feynman-Kac校正器与引导势能的框架，从扩散策略中挖掘并优化罕见但可行的轨迹，再训练策略以系统发现多样化可执行行为。

Comments Preprint. Supplementary video: https://youtu.be/T7MUvMA67VM

Learning What's Real: Disentangling Signal and Measurement Artifacts in Multi-Sensor Data, with Applications to Astrophysics

学习真实内容：在多传感器数据中分离信号和测量伪影，应用于天体物理学

Pablo Mercader-Perez, Carolina Cuesta-Lazaro, Daniel Muthukrishna, Jeroen Audenaert, V. Ashley Villar, David W. Hogg, Marc Huertas-Company, William T. Freeman

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Flatiron Institute, Simons Foundation（Flatiron研究所，Simons基金会） ； Institute for Advanced Studies（高级研究 institute） ； Harvard University（哈佛大学） ； New York University（纽约大学） ； Instituto de Astrofísica de Canarias（加那利大天文台） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文提出一种深度学习框架，通过重叠观测、双编码器架构和反事实生成目标，分离多传感器数据中的信号与伪影，提升天体物理学研究的准确性。

Comments Accepted at the 2nd Workshop on Foundation Models for Science at ICLR 2026. 10 pages, 7 figures (main text), plus appendix

A Survey on the Applications of Generative Artificial Intelligence in Automated Driving Systems Test Scenario Generation Methods

生成式人工智能在自动驾驶系统测试场景生成方法中的应用综述

Ji Zhou, Yongqi Zhao, Yixian Hu, Hexuan Li, Zhengguo Gu, Nan Xu, Arno Eichberger

专题命中 多模态生成 ：multimodal(abstract)

AI总结 综述生成式AI在自动驾驶测试场景生成中的应用，分析31篇主要研究，提出包含多模态扩展、伦理检查表和ODD覆盖图的分类法，以解决标准化评估缺失等问题。

Comments 40 pages,7 figures

Can You Trust What You See? Human and AI Detection of Synthetic Legal Evidence

你能相信你所见的吗？人类与AI对合成法律证据的检测

Jinzhe Tan, Ali Ekber Cinar, Karim Benyekhlef

机构 * Faculty of Law, McGill University（麦吉尔大学法学院） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究人类和前沿多模态大模型在民事纠纷场景中区分真实照片与AI生成图像的能力，发现两者均不可靠，提出结合人工审查、MLLM筛查和来源认证的解决方案。

VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning?

VisualFLIP: 在多模态推理中，预测是否依赖于任务关键的视觉证据？

Didi Zhu, Changrui Chen, Stefanos Zafeiriou, Jiankang Deng

机构 * Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出VisualFLIP基准，通过成对图像扰动测试多模态大模型是否真正依赖关键视觉证据，发现正确预测与证据依赖存在分离。

AgroOmni: A Large-Scale Multi-view Agricultural Dataset for Cross-Scale Multimodal Reasoning

AgroOmni：一个大规模多视角农业数据集用于跨尺度多模态推理

Jiarui Zhang, Junqi Hu, Zurong Mai, Yang Liu, Yuhang Chen, Shuohong Lou, Henglian Huang, Hong Cheng, Lingyuan Zhao, Jianxi Huang, Yutong Lu, Haohuan Fu, Juepeng Zheng

机构 * Sun Yat-sen University（中山大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； HuanTian Wisdom Technology Co., Ltd.（慧天智慧科技有限公司） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AgroOmni数据集，通过288K视觉问答对覆盖56个专业任务类别，解决多视角跨尺度农业多模态推理中的尺度偏差问题，提出AgroNVILA模型在AgroMind基准上达到62.32%的SOTA成绩。

Hummus: A Dataset of Humorous Multimodal Metaphor Use

Hummus：幽默多模态隐喻使用数据集

Xiaoyu Tong, Zhi Zhang, Pia Sommerauer, Martha Lewis, Ekaterina Shutova

机构 * ILLC, University of Amsterdam, the Netherlands（阿姆斯特丹大学语言学研究所，荷兰） ； Vrije Universiteit Amsterdam, the Netherlands（阿姆斯特丹自由大学，荷兰） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出幽默多模态隐喻数据集Hummus，基于不一致理论和概念隐喻理论设计标注方案，测试多模态大语言模型在检测和理解幽默多模态隐喻上的表现，发现现有模型仍存在困难。

H2HMem: A Multimodal Memory Benchmark for Agents in Human-Human Interactions

H2HMem: 面向人际交互中智能体的多模态记忆基准

Shiping Zhu, Yibo Yang, Zhengyang Wang, Tiancheng Shen, Dandan Guo, Ming-Hsuan Yang

机构 * Jilin University（吉林大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California at Merced（加州大学默塞德分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出H2HMem基准，通过双人和多人多模态对话评估智能体在记忆召回、推理和应用方面的能力，揭示现有模型在多模态、多参与者场景下的显著局限。

Comments 22 pages, 6 figures

Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges

多模态大语言模型中的隐私风险揭示：任务特定漏洞与缓解挑战

Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本研究揭示了多模态大语言模型在处理图像和文本时存在的隐私泄露风险，通过构建MM-Privacy数据集评估了不同任务下的披露风险与保留风险，并强调了任务不一致性对隐私风险的影响。