语言大模型 / LLM

Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance

多模态持续指令微调与动态梯度指导

Songze Li, Mingyu Gao, Tonghua Su, Xu-Yao Zhang, Zhongjie Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济发展实验室） ； Chongqing Research Institute of HIT（重庆哈工大研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过几何参数空间方向向量近似缺失梯度，结合有限回放缓冲区和伯努利采样策略，有效缓解多模态持续指令微调中的灾难性遗忘问题。

Multi-turn Physics-informed Vision-language Model for Physics-grounded Anomaly Detection

多轮物理引导的视觉-语言模型用于物理基础的异常检测

Yao Gu, Xiaohao Xu, Yingna Wu

机构 * Shanghaitech University（上海科技大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

AI总结 本文提出一种多轮物理引导的视觉-语言模型，通过编码物体属性和动态约束提升物理基础异常检测性能，实验显示其在视频级检测中达到96.7%的AUROC，优于现有最佳方法。

Comments Accepted by IEEE ICASSP2026

V-CORE: Temporally Consistent Video Understanding for Video-LLM

V-CORE：面向视频大语言模型的时序一致视频理解

Zhengjian Kang, Qi Chen, Rui Liu, Kangtong Mo, Xingyu Zhang, Xiaoyu Deng, Ye Zhang

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 V-CORE通过引入显式时序约束提升视频理解性能，采用可学习空间聚合和因果感知时间投影器，有效解决视频时序一致性问题，在多个基准测试中取得显著成果。

Comments 7 pages, 4 figures

MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning

MSSR: 为持续LLM微调的内存感知自适应回放

Yiyang Lu, Yu He, Jianlong Chen, Hongyuan Zha

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MSSR通过估计样本级别的记忆强度并自适应地安排复习，有效缓解持续LLM微调中的灾难性遗忘问题，同时保持快速适应能力。

PromptTuner: SLO-Aware Elastic System for LLM Prompt Tuning

PromptTuner: 为LLM提示调优设计的SLO感知弹性系统

Wei Gao, Peng Sun, Dmitrii Ustiugov, Tianwei Zhang, Yonggang Wen

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 PromptTuner通过设计提示库和工作负载调度器，优化LLM提示调优的SLO目标，显著降低违规率和成本。

MuxTune: Efficient Multi-Task LLM Fine-Tuning in Multi-Tenant Datacenters via Spatial-Temporal Backbone Multiplexing

MuxTune: 通过时空骨干多路复用实现多租户数据中心中的高效多任务LLM微调

Chunyu Xue, Yi Pan, Weihao Cui, Quan Chen, Shulai Zhang, Bingsheng He, Minyi Guo

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MuxTune通过时空骨干多路复用实现多租户数据中心中多个PEFT任务的高效并发执行，显著提升吞吐量和内存利用率。

When Does RL Help Medical VLMs? Disentangling Vision, SFT, and RL Gains

当RL帮助医疗VLMs时？解构视觉、SFT和RL增益

Ahmadreza Jeddi, Kimia Shaban, Negin Baghbanzadeh, Natasha Sharan, Abhishek Moturu, Elham Dolatabadi, Babak Taati

机构 * University of Toronto, Canada（多伦多大学） ； Vector Institute, Canada（向量研究所） ； KITE Research Institute, University Health Network, Canada（KITE研究机构） ； York University, Canada（约克大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；post-training(abstract)

AI总结 研究通过解构视觉、SFT和RL增益，发现RL在模型已有支持时最有效，SFT扩展支持使RL有效，提出边界意识的配方并实现强性能。

ProtegoFed: Backdoor-Free Federated Instruction Tuning with Interspersed Poisoned Data

ProtegoFed: 无后门联邦指令微调与交错毒数据

Haodong Zhao, Jinming Hu, Zhaomin Wu, Zongru Wu, Wei Du, Junyi Hou, Caibei Zhao, Zhuosheng Zhang, Bingsheng He, Gongshen Liu

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 ProtegoFed通过频域梯度和全局二次聚类机制，实现无后门的联邦指令微调，有效检测并净化跨客户端的毒数据。

Comments Work in progress

QuPAINT: Physics-Aware Instruction Tuning Approach to Quantum Material Discovery

QuPAINT：一种面向量子材料发现的物理感知指令微调方法

Xuan-Bac Nguyen, Hoang-Quan Nguyen, Sankalp Pandey, Tim Faltermeier, Nicholas Borys, Hugh Churchill, Khoa Luu

机构 * CVIU Lab, University of Arkansas, USA（Arkansas大学计算机视觉实验室） ； University of Utah, USA（犹他大学） ； Department of Physics, University of Arkansas, USA（Arkansas大学物理系） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 QuPAINT通过物理感知指令微调方法，提升量子材料发现的多模态表征能力，建立标准化评估基准。

Comments Project page: https://uark-cviu.github.io/projects/qupaint/

LLMind 2.0: Distributed IoT Automation with Natural Language M2M Communication and Lightweight LLM Agents

LLMind 2.0：基于自然语言M2M通信和轻量级LLM代理的分布式物联网自动化

Yuyang Du, Qun Yang, Liujianfu Wang, Jingqi Lin, Hongwei Cui, Soung Chang Liew

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 LLMind 2.0通过自然语言M2M通信和轻量级LLM代理实现分布式物联网自动化，提升系统可扩展性、可靠性和响应性。

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning

稀疏MeZO：在零阶LLM微调中更少的参数带来更好的性能

Yong Liu, Zirui Zhu, Chaoyu Gong, Minhao Cheng, Cho-Jui Hsieh, Yang You

机构 * National University of Singapore（新加坡国立大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 稀疏MeZO通过仅对部分参数应用零阶优化，提升LLM微调的性能和收敛速度。

Comments Accepted by NeurIPS 2025

Talking with the Latents -- how to convert your LLM into an astronomer

与潜在空间对话——如何将你的大语言模型转化为天文学家

Ilay Kamai, Marc-Huertas Company, Mike J. Smith, Hagai B. Perets

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过融合潜在物理特征与语言模型，将大语言模型转化为可解释的科学推理工具，实现对天文学等领域的有效推理与任务执行。

Mechanism Design for LLM Fine-tuning with Multiple Reward Models

基于多重奖励模型的LLM微调机制设计

Haoran Sun, Yurong Chen, Siwei Wang, Xu Chu, Wei Chen, Xiaotie Deng

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于多重奖励模型的LLM微调机制设计，通过机制设计解决智能体策略性误报问题，实现社会福利最大化并确保支付规则的激励兼容性。

Comments NeurIPS 2025

ABBA-Adapters: Efficient and Expressive Fine-Tuning of Foundation Models

ABBA-Adapters: 高效且表达力强的基础模型微调

Raghav Singhal, Kaustubh Ponkshe, Rohit Vartak, Praneeth Vepakomma

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫德尔·本·扎耶德人工智能大学） ； Duke University（杜克大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ABBA-Adapters通过引入低秩矩阵的Hadamard乘积，实现高效且表达力强的基础模型微调，显著提升适应新领域的性能。

Comments ICLR 2026. Raghav Singhal, Kaustubh Ponkshe, and Rohit Vartak contributed equally to this work

Self-Hinting Language Models Enhance Reinforcement Learning

自我提示语言模型增强强化学习

Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian

机构 * Microsoft Research（微软研究院） ； Language Technology Lab, University of Amsterdam（语言技术实验室，阿姆斯特丹大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SAGE通过注入自我提示提升GRPO在稀疏奖励下的表现，有效增强大语言模型的对齐能力。

Monotonicity as an Architectural Bias for Robust Language Models

单调性作为提升语言模型鲁棒性的架构偏倚

Patrick Cooper, Alireza Nadali, Ashutosh Trivedi, Alvaro Velasquez

机构 * Department of Computer Science, University of Colorado Boulder, Boulder, CO, USA（计算机科学系，科罗拉多大学波尔德分校，波尔德，科罗拉多州，美国） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过在Transformer模型中引入单调性约束，提升语言模型对对抗攻击的鲁棒性，同时保持预训练性能。

Comments 12 pages, 1 figure

PointT2I: LLM-based text-to-image generation via keypoints

PointT2I: 通过关键点生成基于大语言模型的文本到图像生成

Taekyung Lee, Donggyu Lee, Myungjoo Kang

机构 * Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能跨学科项目，首尔国立大学） ； Department of Mathematical Sciences, Seoul National University（数学科学系，首尔国立大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 PointT2I通过大语言模型生成关键点并指导图像生成，无需微调即可实现基于文本提示的准确姿态对齐图像生成。

Enhancing Smart Contract Vulnerability Detection in DApps Leveraging Fine-Tuned LLM

利用微调大语言模型增强DApp智能合约漏洞检测

Jiuyang Bu, Wenkai Li, Zongwei Li, Zeng Zhang, Xiaoqi Li

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文利用微调大语言模型和数据增强技术，提升DApp智能合约漏洞检测的准确性和效率，尤其在检测非机器可审计的漏洞方面表现突出。

Discovering 100+ Compiler Defects in 72 Hours via LLM-Driven Semantic Logic Recomposition

通过LLM驱动的语义逻辑重组发现100余项编译器缺陷

Xingbang He, Yuanwei Chen, Hao Wu, Jikang Zhang, Zicheng Wang, Ligeng Chen, Junjie Peng, Haiyang Wei, Yi Qian, Tiantai Zhang, Linzhang Wang, Bing Mao

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 FeatureFuzz通过语义逻辑重组发现编译器缺陷，有效提升模糊测试的多样性与发现能力。

Does LLM Focus on the Right Words? Mitigating Context Bias in LLM-based Recommenders

LLM是否聚焦在正确的词语？基于组分布鲁棒优化的推荐系统去偏方法

Bohao Wang, Jiawei Chen, Feng Liu, Changwang Zhang, Jun Wang, Canghong Jin, Chun Chen, Can Wang

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出GDRT方法，通过组分布鲁棒优化减轻LLM推荐系统中的上下文偏见，提升推荐准确性和公平性。

Comments Accepted by WWW2026

GRASP: Guided Region-Aware Sparse Prompting for Adapting MLLMs to Remote Sensing

GRASP: 基于区域感知的稀疏提示引导方法用于适应遥感图像的多模态大语言模型

Qigan Sun, Chaoning Zhang, Jianwei Zhang, Xudong Wang, Jiehui Xie, Pengcheng Zheng, Haoyu Wang, Sungyoung Lee, Chi-lok Andy Tai, Yang Yang, Heng Tao Shen

机构 * School of Computing, Kyung Hee University（京畿大学计算机学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； College of Computer Science and Information Engineering, Harbin Normal University（哈尔滨师范大学计算机科学与信息工程学院） ； College of Professional and Continuing Education, The Hong Kong Polytechnic University（香港理工大学专业及继续教育学院） ； School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 GRASP通过引导区域感知的稀疏提示方法，提升多模态大语言模型在遥感图像任务中的适应性与性能。

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Call2Instruct：从呼叫中心录音自动生成问答数据集的自动化流程用于LLM微调

Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

机构 * Instituto de Informática – Universidade Federal de Goiás（信息技术学院 – 巴西戈亚州联邦大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Call2Instruct自动化流程，通过音频处理、文本处理和语义提取技术，从呼叫中心录音生成问答数据集，用于LLM微调。

Comments 15 pages, 1 figures, conference

Do We Really Need SFT? Prompt-as-Policy over Knowledge Graphs for Cold-start Next POI Recommendation

我们真的需要SFT吗？基于知识图谱的提示作为策略用于冷启动下POI推荐

Jinze Wang, Lu Zhang, Yiyang Cui, Tiehua Zhang, Zhishu Shen, Yuze Liu, Xingjun Ma, Jiong Jin

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出基于知识图谱的提示作为策略方法，通过构建可学习的决策过程提升冷启动下POI推荐性能，实现对非活跃用户11.87%的Acc@1提升。

Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT?

攀登推理的阶梯：在SFT之后，大语言模型能解决什么问题？

Yiyou Sun, Georgia Zhou, Haoyue Bai, Hao Wang, Dacheng Li, Nouha Dziri, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Wisconsin, Madison（威斯康星大学麦迪逊分校） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分析AIME24数据集，揭示了大语言模型在数学推理任务中不同难度层级的进阶要求，发现SFT对提升推理能力有限，而扩大数据规模更有效。

Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth

Chronicals: 一种高性能的LLM微调框架，相比Unsloth提速3.51倍

Arjun S. Nair

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Chronicals通过四种协同优化，实现了比Unsloth快3.51倍的LLM微调速度，并提供了完整的数学基础和实现。

Comments 61 pages, 25 figures, open-source framework available at https://github.com/Ajwebdevs/Chronicals and pip install chronicals

Chasing Shadows: Pitfalls in LLM Security Research

追影：大语言模型安全研究中的陷阱

Jonathan Evertz, Niklas Risse, Nicolai Neuer, Andreas Müller, Philipp Normann, Gaetano Sapia, Srishti Gupta, David Pape, Soumya Shaw, Devansh Srivastav, Christian Wressnegger, Erwin Quiring, Thorsten Eisenhofer, Daniel Arp, Lea Schönherr

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文识别了大语言模型安全研究中的九种常见陷阱，并通过实证案例研究分析了这些陷阱对评估、性能和可重复性的影响，提出可操作的指导方针。

Comments About to appear at NDSS'26

Decoding Human-LLM Collaboration in Coding: An Empirical Study of Multi-Turn Conversations in the Wild

解码人类与大语言模型在编程中的协作：多轮对话的真实世界经验研究

Binquan Zhang, Li Zhang, Haoyuan Zhang, Fang Liu, Song Wang, Bo Shen, An Fu, Lin Shi

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究通过实证分析探讨人类与LLM在编程中的协作机制，发现任务类型影响交互模式，LLM在调试和重构任务中表现欠佳，用户满意度受任务类型影响。

LDP: Parameter-Efficient Fine-Tuning of Multimodal LLM for Medical Report Generation

LDP：多模态大语言模型在医疗报告生成中的参数高效微调

Tianyu Zhou, Junyi Tang, Zehui Li, Dahong Qian, Suncheng Xiang

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 LDP通过多模态大语言模型和参数高效微调技术，提升结肠镜息肉诊断报告的准确性和效率，显著降低训练成本并获得专家评分。

Comments Work in progress

YOLOA: Real-Time Affordance Detection via LLM Adapter

YOLOA：通过LLM适配器实现实时的可及性检测

Yuqi Ji, Junjie Ke, Lihuo He, Jun Liu, Kaifan Zhang, Yu-Kun Lai, Guiguang Ding, Xinbo Gao

机构 * School of Electronic Engineering, Xidian University（电子工程学院，西安电子科技大学） ； School of Software, Tsinghua University（软件学院，清华大学） ； School of Computer Science and Informatics, Cardiff University（计算机科学与信息学院，卡迪夫大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 YOLOA通过LLM适配器实现实时可及性检测，结合对象检测与可及性学习，取得高精度与高效率的平衡。

Comments 13 pages, 9 figures, conference

Self-Refined Generative Foundation Models for Wireless Traffic Prediction

用于无线交通预测的自精炼生成基础模型

Chengming Hu, Hao Zhou, Di Wu, Xi Chen, Jun Yan, Xue Liu

专题命中 指令微调 ：foundation model(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出TrafficLLM，通过上下文学习实现无线交通预测，通过三步迭代精炼提升预测性能。