Carnegie Mellon University（卡内基梅隆大学）

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec: 衡量和利用视觉必要性进行多模态指令微调

Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学） 纠错

AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。

Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/

PrivacyBench: Privacy Isn't Free in Hybrid Privacy-Preserving Vision Systems

PrivacyBench: 混合隐私保护视觉系统中的隐私并非免费

Nnaemeka Obiefuna, Samuel Oyeneye, Similoluwa Odunaiya, Iremide Oyelaja, Steven Kolawole

机构 * ML Collective（ML集体） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃朗根-纽伦堡弗里德里希-亚历山大大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 提出PrivacyBench框架，系统评估FL+DP、FL+SMPC等混合隐私技术在医学图像分类中的交互效应，发现FL+DP组合导致严重收敛失败和性能下降，而FL+SMPC保持近基线性能，为隐私-效用-成本权衡提供系统评估平台。

Comments Preprint; preceding version accepted at ES-FOMO III, ICML 2025