语言大模型 / LLM

From Semantics to Readout: Mechanistic Understanding of Audio Tokens after Fine-Tuning for Temporal Audio Grounding

从语义到读出：时间音频接地微调后音频令牌的机制理解

Yujian Ma, Jinqiu Sang, Ruizhe Li, Jiaao Yu, Ang Li

专题命中 指令微调 ：language model(abstract)

AI总结 研究大型音频语言模型中音频令牌在微调后的机制，通过四种分析研究其分层语义等，发现微调前已有潜在证据，微调后解码器更易访问事件信息，支持从语义到读出的解释，有助于解码器连接时间输出。

Rethinking Expert Training for Model Merging with Prompt Learning

重新思考用于模型合并和提示学习的专家训练

Christos Georgakilas, Aniello Panariello, Samir El Karrat Moreno, Simone Calderara, Dimosthenis Karatzas, Joost van de Weijer

机构 * Computer Vision Center（计算机视觉中心） ； Universitat Autònoma de Barcelona（巴塞罗那自治大学） ； AImageLab, University of Modena and Reggio Emilia（摩德纳大学和雷焦艾米利亚大学AImageLab） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究重新思考模型合并的专家训练，提出基于提示自适应的强大基线，引入双调谐专家两阶段训练策略，可减少特定任务参数更新幅度，提升合并性能，组合异构专家集时也有效。

Comments 14 pages

Parameter-Efficient Adaptation of SAM3 for Prompt-Driven Surgical Concept Segmentation

用于提示驱动手术概念分割的 SAM3 的参数高效适配

Changjing Liu, Yiming Huang, Beilei Cui, Liangjing Shao, Long Bai, Yanheng Li, Haoxuan Che, Hongliang Ren

机构 * The Chinese University of Hong Kong（香港中文大学） ； XGEN Labs（XGEN实验室） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 针对手术数据与预训练数据的领域差距及现有方法计算消耗大效率低的问题，提出用低秩适配（LoRA）对 SAM3 进行参数高效适配用于手术概念分割，该方法在单个 GPU 上训练且性能优于主流基线，结果可支持下游手术场景重建和模拟。

Comments Accepted by The 2nd MICCAI Workshop on Efficient Medical AI

MOJITO: Modal Joint Learning for Unified End-to-End Autonomous Driving

MOJITO：用于统一端到端自动驾驶的模态联合学习

Zhijing Cheng, Xuancheng Zhang, Donglin Di, Lei Fan, Baorui Ma, Hao Li, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Li Auto（理想汽车） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究针对端到端自动驾驶系统问题，提出基于模态联合学习的MOJITO框架，去除级联接口，执行逐块模态联合注意力更新多模态特征，在数据集上取得新的最优成绩，展现出强大能力。

Application-Driven Architecture Exploration for Cross-Layer Heterogeneous Systems

跨层异构系统的应用驱动架构探索

Yuchen Fan, Minghong Sun, Jikui Ma, Yunpeng Xu, Shunyu Mao, Liu He, Shunan Dong, Jiahao Yang, Yu Zhu, Xinhao Yang, Tianyan Zhong, Haoran Sun, Daoqi Liu, Zongle Huang, Xinyuan Lin, Huazhong Yang, Maokun Li, Yongpan Liu, Yu Wang, Zhenhua Zhu, Hongyang Jia, Shuwen Deng

专题命中 指令微调 ：LLM(abstract)

AI总结 研究跨层异构系统设计空间难探索的问题，提出应用驱动框架CHASE，通过分层图表示候选方案，用解耦两级循环避免联合硬件映射搜索难的问题，在稀疏计算和大语言模型工作负载上评估，实现加速并降本降耗。

Comments 20 pages, 15 figures. The first five authors contributed equally. Zhenhua Zhu, Hongyang Jia, and Shuwen Deng are corresponding authors

SMEFT-Pheno-Agent: a natural-language-driven AI agent for machine-learning-assisted Standard Model Effective Field Theory phenomenology

SMEFT-现象学智能体：一种由自然语言驱动的人工智能智能体，用于机器学习辅助的标准模型有效场论现象学

Yu-Chen Guo, Jie Wang, Ji-Chong Yang

专题命中 指令微调 ：LLM(abstract)

AI总结 介绍SMEFT-现象学智能体这一Python工作流程，由自然语言AI引导，用于高能对撞机的SMEFT现象学研究。它协调多阶段，自动生成参数文件等，委托工具计算，记录相关工件，建立了可重复性和审核可追溯性。

Comments 10 pages, 4 figures, 4 tables

Towards Privacy-Preserving Federated Prompt Tuning under Data Heterogeneity: A Subspace-Decomposed Expert Approach

面向数据异构性下的隐私保护联邦提示调优：一种子空间分解专家方法

Yuhua Wang, Xiaodong Li, Yihao Guo, Yuxiang Jia, Qinnan Zhang, Yifan Sun, Hainan Zhang, Yongxin Tong, Zhiming Zheng

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Center for the Applied Statistics, School of Statistics, Renmin University of China（中国人民大学统计学院应用统计中心） ； School of Computer Science & Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； School of Software, Beihang University（北京航空航天大学软件学院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 研究针对数据异构性下的隐私保护联邦提示调优问题，提出FedSEPT方法，采用子空间分解专家建模及实例感知专家融合技术，在11个异构基准实验中，于相同隐私约束下，该方法在局部适配和全局泛化间实现更好权衡。

Comments Accepted by ACM MM 2026

DINO-VPT: Hierarchical Visual Prompt Tuning for Joint Physical-Digital Face Anti-Spoofing

DINO-VPT：用于联合物理-数字人脸反欺骗的分层视觉提示调整

Pierre Gallin-Martel, Mika Feng, Koichi Ito, Takafumi Aoki

机构 * Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 研究针对人脸反欺骗需求，提出DINO-VPT轻量级仅视觉框架，利用分层视觉提示调整，通过提示路由网络动态注入提示，无需多模态融合，在基准测试中比现有方法准确率更高，证明合理架构能达最优性能。

Comments accepted to IJCB2026

LAVIFT: Latent-Action-Guided Vision Fine-Tuning for Surgical Interaction Recognition

LAVIFT：用于手术交互识别的潜在动作引导视觉微调

Jiajun Cheng, Subarna Tripathi, Sainan Liu, Xiaofan Yu, Shan Lin

机构 * Arizona State University（亚利桑那州立大学） ； University of California, Merced（加州大学默塞德分校） ； Intel Corporation（英特尔公司） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 研究针对手术交互识别中预训练模型适应细粒度交互的挑战，提出LAViFiT框架，通过逆动力学模型、前向世界模型及补丁级SIG正则化器，实现视觉语言微调，提升了识别率和图像-文本对齐，增强了特征基础和空间连贯性。

MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation

MTVDiff：用于增强热红外到可见光面部翻译的多模态条件潜扩散

Zhiyuan Xia, Haojie Li, Jingyu Lin, Yiguo Qiao, Cunjian Chen

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University)（新一代人工智能技术及其交叉应用重点实验室（东南大学）） ； Monash University（莫纳什大学） 纠错

专题命中 指令微调 ：SFT(abstract)

AI总结 针对热红外到可见光面部翻译的挑战，提出MTVDiff框架，通过双分支交叉注意力融合等三个核心技术，整合深度和文本信息，在多指标上优于现有方法，提升图像质量和面部验证性能，推动跨光谱面部图像翻译发展。

Comments Accepted by ECCV 2026

Using Hierarchical Controlled Vocabularies to Understand CLIP Retrieval Failures in Historical Photo Collections

使用分层控制词汇表理解历史照片集中CLIP检索失败的原因

Ratan Sebastian, Anett Hoppe, Christoph Rippe, Ralph Ewerth

专题命中 指令微调 ：language model(abstract)

AI总结 研究探讨用AAT词汇表的根面类型和层次深度解释CLIP在历史照片集检索的成败及微调作用，通过三个标注集研究视觉连贯性等指标，发现两指标可区分失败模式，根面类型有区分作用，微调对层次浅的术语更有效。

OmniReasoner: Thinking with Long Audio-Video via Native Tool Use

OmniReasoner：通过原生工具使用进行长音频-视频推理

Yu Chen, Caorui Li, Ziyu Xiong, Yidong Wang, Mingqi Gao, Shuman Liu, Biao Liu, Chunfeng Yang, Anxiang Zeng, Haibo Zhang, Chaofan Chen

专题命中 指令微调 ：post-training(abstract)

AI总结 针对长音频-视频推理难题，OmniReasoner提出工具使用后训练框架，通过监督微调与强化学习让全模态语言模型学会调用放大工具，利用TimeAnchor保持时间参数一致性，借助时间增强数据引擎实现可训练，提升了答案准确性与时间定位能力。

Chiral Analysis of Smart Contracts: Detecting Vulnerabilities from Relational Inconsistencies Across Business Paths

智能合约的手性分析：从业务路径间的关系不一致中检测漏洞

Yue Xue

专题命中 指令微调 ：LLM(abstract)

AI总结 研究智能合约因业务路径关系不一致产生的漏洞，提出手性分析，将配对路径视为隐式规范，形式化关系并推导义务。通过ChiralDetector实现，经初步评估能减少候选对、产生去重结果，揭示难用单功能规则表达的漏洞类并控制成本与精度。

STBridge: Shared-Target Alignment for Bridging Understanding and Generation in UMMs

STBridge：用于在统一多模态模型中弥合理解与生成的共享目标对齐

Ye Wang, Hongjun Wang, Hao Fang, Tongyuan Bai, Zuwei Long, Peixian Chen, Wei Liu, Weibo Gu, Xing Sun, Rui Ma

专题命中 指令微调 ：post-training(abstract)

AI总结 研究统一多模态模型中理解与生成的对齐差距，提出STBridge共享目标对齐框架，通过共同目标状态连接二者，采用对齐然后优化策略，经实验验证该框架能缩小模型描述与生成间差距，有效弥合理解与生成。

AffectFuse: Cross-Task Feature Fusion with Temporal Modeling for Multi-Task Affective Behavior Analysis

AffectFuse：用于多任务情感行为分析的具有时间建模的跨任务特征融合

Dipit Saha, Mohammad Raihan Rashid, Shah Mohammad Abdul Mannan, Ahnaf Tahmid, Md. Mehedi Hasan

机构 * Bangladesh University of Engineering and Technology（孟加拉国工程技术大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 针对自然环境情感行为识别，提出AffectFuse系统，通过编码器后适配，利用冻结主干提供特征，特定模块选择信号，采用MAE-Face与LoRA及专家路由识别动作单元，消融实验确定配置，有效构建MTL管道且无需训练新基础模型。

3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism

3D FaceShell：作为视觉语言模型防御机制的3D人脸头像属性转移

Weston Bondurant, Srijan Das, Hieu Le, Stephanie Schuckers

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 针对VLM可从3D人脸渲染图像提取敏感属性的隐私挑战，提出3D FaceShell框架，通过可学习高斯壳产生扰动，在保持面部外观的同时引导VLM语义解释，实验证明其能有效提高属性注入和不匹配率。

Comments ECCV 2026

WorkDrive: Roadwork Chain of Causation for Autonomous Driving

WorkDrive：自动驾驶的道路施工因果链

Tianyi Jiang, Wen Zhang, Sihan Yang, Ming Lu, Wentao Zhang

机构 * Peking University（北京大学） ； Xiaomi EV（小米电动汽车） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 针对自动驾驶视觉语言模型在道路施工区域的难题，提出WorkDrive框架，通过自动化多任务感知管道提取场景事实，经监督微调与强化学习，在ROADWork数据集上降低轨迹平均位移误差，实现渐进改进。

AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning

AVSCap：为全模态视频字幕编排视听协同

Yanghai Wang, Jiahao Wang, Jiafu Tang, Yuanxing Zhang, Zhe Cao, Hanyan Bian, Zijie Zhang, Weiliang Luo, Zhiyu Pan, Zixuan Dong, Jiaheng Liu, Zhaoxiang Zhang

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：SFT(abstract)

AI总结 研究全模态视频字幕编排视听协同问题，提出AVSCap框架，构建训练语料库，采用两阶段策略训练字幕生成器，引入新基准，实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色，提升了整体性能。

Let RGB Be the Language of Vision

让 RGB 成为视觉的语言

Timing Yang, Jinrui Yang, Xinlong Li, Yuhan Wang, Haoran Li, Yanqing Liu, Guoyizhe Wei, Jixuan Ying, Chen Wei, Rama Chellappa, Yuyin Zhou, Cihang Xie, Alan Yuille, Feng Wang

机构 * Johns Hopkins University（约翰·霍普金斯大学） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Rice University（莱斯大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 该研究为视觉模型引入统一表述 RGB In and RGB Out（RINO），将多种视觉信息转为 RGB 图像编辑问题，共享架构参数，基于通用主干无需微调，在多视觉任务上有强大零样本性能，为统一视觉语言系统提供见解。

MQAdapter: Multi-Modal Quantum Adapter for Coarse-to-Fine VLM Fine-tuning

MQAdapter：用于从粗到细的视觉语言模型微调的多模态量子适配器

Yumiao Zhao, Bo Jiang, Min Lu, Xiao Wang, Jin Tang

机构 * Anhui University（安徽大学） ； Origin Quantum Computing Company Limited（本源量子计算有限公司） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 针对视觉语言模型在少样本学习中细粒度区分不足的问题，提出多模态量子适配器MQAdapter。先检索Top-K候选类别作语义锚点，再用跨模态量子学习机制，利用量子特性建模高阶交互，细化视觉特征，参数高效且能集成现有算法提升性能。

Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis

用于神经架构合成的基于相似度引导的大语言模型课程微调

Anujaya Vijayakumar, Radu Timofte, Dmitry Ignatov

机构 * Computer Vision Lab, CAIDAS & IFI, University of Würzburg（计算机视觉实验室、CAIDAS与IFI，维尔茨堡大学） 纠错

专题命中 指令微调 ：LLM(abstract)

AI总结 研究为基于大语言模型的神经架构搜索构建基于MinHash的相似度调度框架，通过对源代码分片划分相似度带进行渐进式课程微调，在CIFAR-10等实验中评估，揭示了接口修复和课程调度针对不同失败模式，还观察了跨数据集转移情况。

Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment

通过上下文工程进行隐式微调：多模态实体对齐的课程学习框架

Yunpeng Hong, Chenyang Bu, Di Wu, Yi He, Xindong Wu

专题命中 指令微调 ：LLM(abstract)

AI总结 研究多模态实体对齐问题，提出PTFEA课程学习框架，通过自适应难度调制和三阶段渐进推理将微调策略转化为上下文工程，实验证明该框架性能优越，提供了统一上下文工程和微调的理论框架。

Comments Accepted by KDD 2026

Journal ref SIGKDD 2026

Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

通过虚拟模态合成将大型多模态模型推广到通用视觉模态

Shihao Yuan, Yuanze Li, Ruyi Zhang, Ming Liu, Wangmeng Zuo

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部） 纠错

专题命中 指令微调 ：instruction tuning(abstract)

AI总结 研究大型多模态模型推广到未见视觉模态的挑战，提出VVM-Tuning训练框架，通过模态合成和上下文让模型具备相关能力，引入VVM-Bench基准，实验证明经合成模态训练的模型在多模态上有改进且无需模态内训练。

Comments Accepted by the European Conference on Computer Vision (ECCV) 2026

Benchmarking Universal Machine Learning Force Fields for Molecular Dynamics of Lunar Regolith Minerals

用于月球风化层矿物分子动力学的通用机器学习力场基准测试

Ziyu Huang, Ken-ichi Nomura

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究对六个通用机器学习力场模型用于月球矿物分子动力学模拟进行基准测试，通过多种方式评估结构保真度，测试羟基化表面，还进行性能基准测试，为模型应用提供初步基准并明确未来关键方向。

Comments 14 pages, 7 figures, 2 tables

From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

从 RGB 生成到密集场读出：使用文本到图像模型进行像素空间密集预测

Zanyi Wang, Xin Lin, Haodong Li, Dengyang Jiang, Yijiang Li

机构 * UCSD（加州大学圣地亚哥分校） ； HKUST（香港科技大学） 纠错

专题命中 指令微调 ：pretraining(abstract)

AI总结 研究利用文本到图像模型进行像素空间密集预测，提出ReChannel方法，保留DiT输入分布的VAE编码器，去掉目标侧解码器，用任务LoRA调整，通过线性头映射令牌到像素空间补丁，在多个密集预测任务上表现出色，比对比方法更准确快速。

FedMark-FM: Auditable, Risk-Adjusted Data Markets for Federated Foundation-Model Adaptation

FedMark-FM：用于联邦基础模型适配的可审计、风险调整数据市场

Phat T. Tran-Truong, Xuan-Bach Le, Minh Nhat Nguyen

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究联邦基础模型适配中激励机制问题，提出FedMark-FM框架，将客户端视为工件卖家，用S3Val估计贡献，转换支付惩罚不良行为，经多任务评估表现出色，证明管道有序估值独特性，能在一定规模下保留专家。

DiffCVE: Diffusion-based Compressed Video Enhancement

DiffCVE：基于扩散的压缩视频增强

Wenqiang Xiao, Wenzhuo Ma, Junxi Zhang, Zhenzhong Chen

机构 * School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院） 纠错

专题命中 指令微调 ：prompting(abstract)

AI总结 针对严重压缩视频感知质量增强难题，提出DiffCVE方法。设计CPDC分支联合建模，引入CDSP机制与CPWF模块，利用编码先验及条件提示等，经实验验证该方法能有效提升感知质量，尤其在严重压缩时。

Cross-Contextual Vision-Language Adaptation with LoRA for Personalized Severe Adverse Event Detection in Clinical Wound Monitoring

基于LoRA的跨上下文视觉语言适配用于临床伤口监测中的个性化严重不良事件检测

Aditi Naiknaware, Jian Sun, Aminreza Khandan, Shengyang Huang, Sean Dow, Bijan Najafi, Salimeh Sekeh

机构 * San Diego State University（圣地亚哥州立大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； University of California, Davis（加利福尼亚大学戴维斯分校） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 研究针对临床伤口监测中严重不良事件检测问题，提出基于双流LoRA框架及跨上下文融合机制的多模态框架，结合多种方法识别个性化严重不良事件并捕捉愈合动态，在相关实验中展现良好性能。

Exploring Image-Text Alignment for Radio Galaxy Morphologies

探索射电星系形态的图像-文本对齐

Erica Lastufka, Mariia Drozdova, Svyatoslav Volosynovskiy

专题命中 指令微调 ：language model(abstract)

AI总结 研究射电星系图像与文本描述的对齐，利用MiraBest数据集及SigLIP-2模型，经特定提示生成描述并评估。结果显示基于描述的星系分类与图像类似，微调改善局部连贯性，此为射电星系形态研究提供新方法。

Comments Accepted at the AI in Science (AIS) Conference 2025

When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation

分辨率何时有助于冻结的主干网络？分辨率下的全局注意力预测伪装和海洋动物分割的可扩展适应性

Tyler Rust, Chandra Kambhamettu

机构 * University of Delaware（特拉华大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究适应冻结视觉基础模型进行细粒度分割时主干网络选择的影响，通过控制实验建立主干网络应用全局注意力与分辨率、低秩适配器效果的关系模式，特定主干网络在多数据集上表现优。

Comments 9 pages, 3 figures, 7 tables