语言大模型 / LLM

3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism

3D FaceShell：作为视觉语言模型防御机制的3D人脸头像属性转移

Weston Bondurant, Srijan Das, Hieu Le, Stephanie Schuckers

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 针对VLM可从3D人脸渲染图像提取敏感属性的隐私挑战，提出3D FaceShell框架，通过可学习高斯壳产生扰动，在保持面部外观的同时引导VLM语义解释，实验证明其能有效提高属性注入和不匹配率。

Comments ECCV 2026

WorkDrive: Roadwork Chain of Causation for Autonomous Driving

WorkDrive：自动驾驶的道路施工因果链

Tianyi Jiang, Wen Zhang, Sihan Yang, Ming Lu, Wentao Zhang

机构 * Peking University（北京大学） ； Xiaomi EV（小米电动汽车） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 针对自动驾驶视觉语言模型在道路施工区域的难题，提出WorkDrive框架，通过自动化多任务感知管道提取场景事实，经监督微调与强化学习，在ROADWork数据集上降低轨迹平均位移误差，实现渐进改进。

AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning

AVSCap：为全模态视频字幕编排视听协同

Yanghai Wang, Jiahao Wang, Jiafu Tang, Yuanxing Zhang, Zhe Cao, Hanyan Bian, Zijie Zhang, Weiliang Luo, Zhiyu Pan, Zixuan Dong, Jiaheng Liu, Zhaoxiang Zhang

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：SFT(abstract)

AI总结 研究全模态视频字幕编排视听协同问题，提出AVSCap框架，构建训练语料库，采用两阶段策略训练字幕生成器，引入新基准，实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色，提升了整体性能。

Let RGB Be the Language of Vision

让 RGB 成为视觉的语言

Timing Yang, Jinrui Yang, Xinlong Li, Yuhan Wang, Haoran Li, Yanqing Liu, Guoyizhe Wei, Jixuan Ying, Chen Wei, Rama Chellappa, Yuyin Zhou, Cihang Xie, Alan Yuille, Feng Wang

机构 * Johns Hopkins University（约翰·霍普金斯大学） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Rice University（莱斯大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 该研究为视觉模型引入统一表述 RGB In and RGB Out（RINO），将多种视觉信息转为 RGB 图像编辑问题，共享架构参数，基于通用主干无需微调，在多视觉任务上有强大零样本性能，为统一视觉语言系统提供见解。

MQAdapter: Multi-Modal Quantum Adapter for Coarse-to-Fine VLM Fine-tuning

MQAdapter：用于从粗到细的视觉语言模型微调的多模态量子适配器

Yumiao Zhao, Bo Jiang, Min Lu, Xiao Wang, Jin Tang

机构 * Anhui University（安徽大学） ； Origin Quantum Computing Company Limited（本源量子计算有限公司） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 针对视觉语言模型在少样本学习中细粒度区分不足的问题，提出多模态量子适配器MQAdapter。先检索Top-K候选类别作语义锚点，再用跨模态量子学习机制，利用量子特性建模高阶交互，细化视觉特征，参数高效且能集成现有算法提升性能。

Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis

用于神经架构合成的基于相似度引导的大语言模型课程微调

Anujaya Vijayakumar, Radu Timofte, Dmitry Ignatov

机构 * Computer Vision Lab, CAIDAS & IFI, University of Würzburg（计算机视觉实验室、CAIDAS与IFI，维尔茨堡大学） 纠错

专题命中 指令微调 ：LLM(abstract)

AI总结 研究为基于大语言模型的神经架构搜索构建基于MinHash的相似度调度框架，通过对源代码分片划分相似度带进行渐进式课程微调，在CIFAR-10等实验中评估，揭示了接口修复和课程调度针对不同失败模式，还观察了跨数据集转移情况。

Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment

通过上下文工程进行隐式微调：多模态实体对齐的课程学习框架

Yunpeng Hong, Chenyang Bu, Di Wu, Yi He, Xindong Wu

专题命中 指令微调 ：LLM(abstract)

AI总结 研究多模态实体对齐问题，提出PTFEA课程学习框架，通过自适应难度调制和三阶段渐进推理将微调策略转化为上下文工程，实验证明该框架性能优越，提供了统一上下文工程和微调的理论框架。

Comments Accepted by KDD 2026

Journal ref SIGKDD 2026

Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

通过虚拟模态合成将大型多模态模型推广到通用视觉模态

Shihao Yuan, Yuanze Li, Ruyi Zhang, Ming Liu, Wangmeng Zuo

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部） 纠错

专题命中 指令微调 ：instruction tuning(abstract)

AI总结 研究大型多模态模型推广到未见视觉模态的挑战，提出VVM-Tuning训练框架，通过模态合成和上下文让模型具备相关能力，引入VVM-Bench基准，实验证明经合成模态训练的模型在多模态上有改进且无需模态内训练。

Comments Accepted by the European Conference on Computer Vision (ECCV) 2026

Benchmarking Universal Machine Learning Force Fields for Molecular Dynamics of Lunar Regolith Minerals

用于月球风化层矿物分子动力学的通用机器学习力场基准测试

Ziyu Huang, Ken-ichi Nomura

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究对六个通用机器学习力场模型用于月球矿物分子动力学模拟进行基准测试，通过多种方式评估结构保真度，测试羟基化表面，还进行性能基准测试，为模型应用提供初步基准并明确未来关键方向。

Comments 14 pages, 7 figures, 2 tables

From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

从 RGB 生成到密集场读出：使用文本到图像模型进行像素空间密集预测

Zanyi Wang, Xin Lin, Haodong Li, Dengyang Jiang, Yijiang Li

机构 * UCSD（加州大学圣地亚哥分校） ； HKUST（香港科技大学） 纠错

专题命中 指令微调 ：pretraining(abstract)

AI总结 研究利用文本到图像模型进行像素空间密集预测，提出ReChannel方法，保留DiT输入分布的VAE编码器，去掉目标侧解码器，用任务LoRA调整，通过线性头映射令牌到像素空间补丁，在多个密集预测任务上表现出色，比对比方法更准确快速。

FedMark-FM: Auditable, Risk-Adjusted Data Markets for Federated Foundation-Model Adaptation

FedMark-FM：用于联邦基础模型适配的可审计、风险调整数据市场

Phat T. Tran-Truong, Xuan-Bach Le, Minh Nhat Nguyen

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究联邦基础模型适配中激励机制问题，提出FedMark-FM框架，将客户端视为工件卖家，用S3Val估计贡献，转换支付惩罚不良行为，经多任务评估表现出色，证明管道有序估值独特性，能在一定规模下保留专家。

DiffCVE: Diffusion-based Compressed Video Enhancement

DiffCVE：基于扩散的压缩视频增强

Wenqiang Xiao, Wenzhuo Ma, Junxi Zhang, Zhenzhong Chen

机构 * School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院） 纠错

专题命中 指令微调 ：prompting(abstract)

AI总结 针对严重压缩视频感知质量增强难题，提出DiffCVE方法。设计CPDC分支联合建模，引入CDSP机制与CPWF模块，利用编码先验及条件提示等，经实验验证该方法能有效提升感知质量，尤其在严重压缩时。

Cross-Contextual Vision-Language Adaptation with LoRA for Personalized Severe Adverse Event Detection in Clinical Wound Monitoring

基于LoRA的跨上下文视觉语言适配用于临床伤口监测中的个性化严重不良事件检测

Aditi Naiknaware, Jian Sun, Aminreza Khandan, Shengyang Huang, Sean Dow, Bijan Najafi, Salimeh Sekeh

机构 * San Diego State University（圣地亚哥州立大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； University of California, Davis（加利福尼亚大学戴维斯分校） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 研究针对临床伤口监测中严重不良事件检测问题，提出基于双流LoRA框架及跨上下文融合机制的多模态框架，结合多种方法识别个性化严重不良事件并捕捉愈合动态，在相关实验中展现良好性能。

Exploring Image-Text Alignment for Radio Galaxy Morphologies

探索射电星系形态的图像-文本对齐

Erica Lastufka, Mariia Drozdova, Svyatoslav Volosynovskiy

专题命中 指令微调 ：language model(abstract)

AI总结 研究射电星系图像与文本描述的对齐，利用MiraBest数据集及SigLIP-2模型，经特定提示生成描述并评估。结果显示基于描述的星系分类与图像类似，微调改善局部连贯性，此为射电星系形态研究提供新方法。

Comments Accepted at the AI in Science (AIS) Conference 2025

When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation

分辨率何时有助于冻结的主干网络？分辨率下的全局注意力预测伪装和海洋动物分割的可扩展适应性

Tyler Rust, Chandra Kambhamettu

机构 * University of Delaware（特拉华大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究适应冻结视觉基础模型进行细粒度分割时主干网络选择的影响，通过控制实验建立主干网络应用全局注意力与分辨率、低秩适配器效果的关系模式，特定主干网络在多数据集上表现优。

Comments 9 pages, 3 figures, 7 tables

How many labels do you need? A decision framework for cross-habitat marine species recognition

你需要多少标签？跨栖息地海洋物种识别的决策框架

Alzayat Saleh, Mostafa Rahimi Azghadi

机构 * College of Science and Engineering, James Cook University（詹姆斯·库克大学科学与工程学院） ； Centre for AI and Data Science Innovation, James Cook University（詹姆斯·库克大学人工智能与数据科学创新中心） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出跨海洋栖息地转移视觉系统时标记工作量与识别准确性权衡的决策框架，用五个数据集等评估四个模型及策略，发现少量标记图像即可，可据此规划标记工作。

Comments 29 pages, 12 figures, 4 tables. Includes supplementary appendix

Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

面向资源受限消费级GPU的视觉模型与VLM的高效PEFT方法及自适应检查点技术

Altay Toktassyn, Jurn-Gyu Park

机构 * Department of Computer Science, Nazarbayev University（计算机科学系，纳扎尔拜耶夫大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 本文在2GB VRAM限制下，比较了五种PEFT方法在Transformer和Mamba视觉骨干上的表现，并提出了自适应梯度检查点算法，在CIFAR-100和DTD上评估了准确率、训练时间、能耗及多目标指标。

DroneFINE: Domain-Aware Parameter-Efficient Fine-Tuning of Vision-Language Detectors for Drone Images

DroneFINE: 面向无人机图像的视觉-语言检测器的域感知参数高效微调

Ke Wu, Yanan Zhang, Yingjie Gao, Wenhao Li, Chenyu Zhou, XinZhu Ma, Jiaxin Chen, Di Huang

机构 * National College for Excellent Engineers, Beihang University, Beijing, China（北京航空航天大学优秀工程师学院） ； School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology, Hefei, China（合肥工业大学计算机科学与信息工程学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室） ； Innovation Center for Intelligent System Cognition and Decision-Making, Beijing, China（智能系统认知与决策创新中心） ； Information Science Academy of China Electronics Technology Group Corporation, Beijing, China（中国电子科技集团有限公司信息科学研究院） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 针对无人机图像与视觉语言模型预训练数据之间的域差异，提出包含HyperAdapter和SemanticGate的域感知参数高效微调方法，在减少可训练参数的同时达到与全微调相当的性能。

Comments Accepted by ECCV2026

WarpHammer: Densifying Scene Warps with 3D Object Priors for Extreme View Synthesis

WarpHammer: 利用3D物体先验稠密化场景扭曲以实现极端视角合成

Michael Green, Gavriel Habib, Dvir Samuel, Tal Berkovitz Shalev, Issar Tzachor, Rami Ben-Ari, Or Litany

机构 * OriginAI, Israel（OriginAI，以色列） ； NVIDIA（英伟达） ； Technion（以色列理工学院） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 针对投影条件新视角合成在大轨道运动下扭曲稀疏导致生成失败的问题，提出无需训练的WarpHammer框架，通过引入3D生成先验的物体显式重建来补充缺失前景并遮挡不应可见的背景点，恢复外观和相机线索，并首次支持融合外部辅助物体视图。

ZooClaw-FashionSigLIP2: Distilled Fine-tuning for Robust Fashion Retrieval

ZooClaw-FashionSigLIP2：用于鲁棒时尚检索的蒸馏微调

Siqiao Xue, Chunxue Xu

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出ZooClaw-FashionSigLIP2，通过全微调加知识蒸馏和权重插值，解决基础视觉语言模型适应时尚检索时的泛化损失问题，在多个基准上超越LoRA和大模型。

Comments ZooClaw Team

MorVess: Morphology-Aware Pulmonary Vessel Segmentation Network

MorVess: 形态感知的肺血管分割网络

Fuyou Mao, Yifei Chen, Beining Wu, Lixin Lin, Jinnan Dai, Zhiling Li, Yilei Chen, Yaqi Wang, Hao Zhang, Yan Tang, Huiyu Zhou, Feiwei Qin

机构 * Central South University（中南大学） ； Tsinghua University（清华大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； University of Leicester（莱斯特大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出MorVess框架，结合可微几何先验与大模型适应，通过联合预测血管掩膜、距离图和厚度图，提升肺血管分割的拓扑完整性和小血管恢复能力。

Tri-Efficient Transfer Learning for Point Cloud Videos

点云视频的三效迁移学习

Yiding Sun, Dongxu Zhang, Jihua Zhu, Haozhe Cheng, Zhengqiao Li, Pengcheng Li, Chaowei Fang, Yonghao Dong, Lin Chen

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院） ； School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； SIGS, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出PoinTriE框架，通过伪运动轨迹合成、几何-运动对偶网络和时空侧网络，实现数据、参数和内存三方面高效的点云视频迁移学习，在动作识别和语义分割任务上取得新最优结果。

Adversarial Domain Prompt Tuning and Generation for Single Domain Generalization

对抗域提示调优与生成用于单域泛化

Zhipeng Xu, De Cheng, Xinyang Jiang, Nannan Wang, Dongsheng Li, Xinbo Gao

机构 * Xidian University（西安电子科技大学） ； Microsoft Research Asia（微软亚洲研究院） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出渐进式对抗提示调优框架，利用预训练扩散模型生成多样域风格图像，实现单域泛化，性能超越现有方法。

Comments 12 pages, 6 figures, accepted by CVPR 2025

Fine-Tuned Machine-Learned Interatomic Potentials for Structural and Vibrational Properties of Twisted 2D Materials

用于扭曲二维材料结构和振动特性的微调机器学习原子间势

Viet-Anh Tran, Viet-Hung Nguyen, Wei Chen, Gian-Marco Rignanese, Jean-Christophe Charlier

专题命中 指令微调 ：foundation model(abstract)

AI总结 通过微调通用原子基础模型，开发了适用于扭曲二维材料（如双层石墨烯、h-BN和MoS2）的机器学习原子间势，准确模拟了原子重构和莫尔声子谱，与实验吻合。

Comments 35 pages, 14 figures, Supplementary Materials

Pareto LoRA: Mitigating Modality Imbalance in Unified Multimodal Models via Pareto-Optimal Gradient Integration

Pareto LoRA：通过帕累托最优梯度集成缓解统一多模态模型中的模态不平衡

Xiwen Wei, Mark Nutter, Madhusudhanan Srinivasan, Radu Marculescu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Advanced Micro Devices, Inc.（超威半导体公司） 纠错

专题命中 指令微调 ：instruction tuning(abstract)

AI总结 针对统一多模态模型在LoRA微调中语言梯度主导优化导致图像生成质量下降的问题，提出帕累托最优梯度集成策略Pareto LoRA，通过调节梯度方向和强度平衡文本与图像目标，在CoMM基准上显著提升图像感知质量达44.9%。

DreamX-World 1.0: A General-Purpose Interactive World Model

DreamX-World 1.0：通用交互式世界模型

DreamX Team, Yancheng Bai, Rui Chen, Xiangxiang Chu, Rujing Dang, Hao Dou, Bingjie Gao, Qiwen Gu, Siyu Hong, Jiachen Lei, Geng Li, Jifan Li, Ruimin Lin, Qingfeng Shi, Bingze Song, Lei Sun, Jing Tang, Ruitian Tian, Jun Wang, Jiahong Wu, Pengfei Zhang, Shen Zhang, Jiashu Zhu

机构 * DreamX Team（DreamX团队） 纠错

专题命中 指令微调 ：instruction tuning(abstract)

AI总结 提出通用交互式文图生视频世界模型DreamX-World 1.0，通过E-PRoPE相机控制、因果强制自回归生成、记忆条件场景持久化和事件指令微调，实现可控长时程生成，在多项指标上超越现有方法。

Comments Project page: https://amap-ml.github.io/DreamX_World, Code: https://github.com/AMAP-ML/DreamX-World

3D Classification of Paramagnetic Rim Lesions in Multiple Sclerosis via Asymmetric QSM-FLAIR Modeling

多发性硬化症中顺磁性边缘病变的3D分类：基于非对称QSM-FLAIR建模

Veronica Pignedoli, Giacomo Boffa, Nicoletta Noceti, Matilde Inglese, Francesca Odone, Matteo Moro

机构 * MaLGa, DIBRIS, University of Genova（热那亚大学） ； DINOGMI, University of Genova（热那亚大学） ； IRCCS Azienda Ospedaliera Metropolitana（IRCCS大都会医院） 纠错

专题命中 指令微调 ：pretraining(abstract)

AI总结 提出一种3D多模态深度学习框架，利用非对称QSM-FLAIR建模对多发性硬化症中的顺磁性边缘病变进行自动分类，通过自监督预训练和对比正则化提升有限数据下的鲁棒性，在88名患者队列中验证了有效性。

Comments 10 pages, 3 figures, accepted at MICCAI 2026. Github link: https://github.com/veronicapignedoli/FRODO

Object Tokens as a Bridge Between Segmentation and Visual Question Answering in Robotic Surgery

对象标记作为机器人手术中分割与视觉问答的桥梁

Yiping Li, Ronald de Jong, Romy van Jaarsveld, Franco Badaloni, Gino Kuiper, Jelle Ruurda, Josien Pluim, Marcel Breeuwer

机构 * Department of Biomedical Engineering, Eindhoven University of Technology（埃因霍温理工大学生物医学工程系） ； Department of Electrical Engineering, Eindhoven University of Technology（埃因霍温理工大学电气工程系） ； Department of Surgery, University Medical Center Utrecht（乌得勒支大学医学中心外科） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 提出统一框架，联合像素级分割与视觉问答，通过VLM生成对象标记引导答案预测和分割掩码，在RAMIE和EndoVis18数据集上优于基线方法。

Instruct-Particulate: Scaling Feed-Forward 3D Object Articulation with Kinematic Control

Instruct-Particulate: 基于运动学控制的可扩展前馈式3D物体关节化

Ruining Li, Yuxin Yao, Matt Zhou, Chuanxia Zheng, Christian Rupprecht, Joan Lasenby, Shangzhe Wu, Andrea Vedaldi

机构 * University of Oxford（牛津大学） ； University of Cambridge（剑桥大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 提出Instruct-Particulate模型，通过运动学规范（部件描述、连接性、关节类型等）指导3D网格的关节分割和运动参数预测，利用异构数据集（15万+物体）训练，实现跨类别和AI生成网格的泛化。

Comments Project page: https://instruct-particulate.github.io/

SAFER-Nav: Enhancing Safety for Visual Robot Navigation via Segmentation-Aware Fine-Tuning

SAFER-Nav: 通过分割感知微调增强视觉机器人导航的安全性

Geonyeong Ko, Giung Lee, Changjoo Nam

机构 * Dept. of Electronic Engineering, Sogang University（西江大学电子工程系） ； Dept. of Computer Science, Rice University（莱斯大学计算机科学系） ； Vertical Labs, Co., Ltd.（Vertical Labs 有限公司） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出SAFER-Nav方法，通过分割感知微调将障碍物边界和可通行空间结构直接融入导航策略，降低碰撞频率并保持目标到达性能。