语言大模型 / LLM

Generalizable Prompt Tuning for Audio-Language Models via Semantic Expansion

通过语义扩展实现音频-语言模型的通用提示微调

Jaehyuk Jang, Wonjun Lee, Kangwook Ko, Changick Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出SEPT框架，通过引入语义扩展损失提升音频-语言模型提示微调的泛化能力，增强嵌入空间语义结构，改进基到新泛化和跨数据集迁移。

Comments ACL 2026 findings

PrefixMemory-Tuning: Modernizing Prefix-Tuning by Decoupling the Prefix from Attention

PrefixMemory-Tuning: 通过解耦前缀与注意力来现代化前缀微调

Haonan Wang, Brian Chen, Siquan Li, Xinhe Liang, Hwee Kuan Lee, Kenji Kawaguchi, Tianyang Hu

机构 * National University of Singapore（新加坡国立大学） ； Bioinformatics Institute, A*STAR（A*STAR生物信息研究所） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PrefixMemory-Tuning，通过将前缀模块移出注意力头以提升表达能力，实验证明其在多个基准上优于传统前缀微调方法，并在通用任务中表现接近现代PEFT技术。

Comments ICLR 2026

Beyond Verifiable Rewards: Rubric-Based GRM for Reinforced Fine-Tuning SWE Agents

超越可验证奖励：基于评分表的GRM用于强化微调SWE代理

Jiawei Huang, Qingping Yang, Renjie Zheng, Jiaze Chen

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于评分表的GRM，通过人类设计的评分标准提升强化微调SWE任务的性能，有效抑制不良行为并促进有益行为，提高最终测试准确率。

Efficient Low-Resource Language Adaptation via Multi-Source Dynamic Logit Fusion

通过多源动态logit融合实现高效低资源语言适应

Chen Zhang, Jiuheng Lin, Zhiyuan Liao, Yansong Feng

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王宣计算机技术研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；pretraining(abstract)

AI总结 本文提出TriMix框架，通过融合小模型、任务指令微调和大模型的logit，有效提升低资源语言适应性能，无需标注数据和计算资源，实验显示优于单模型基线和Proxy Tuning。

Comments ACL 2026

Beyond Fine-Tuning: In-Context Learning and Chain-of-Thought for Reasoned Distractor Generation

超越微调：基于上下文学习和推理链的干扰项生成

Elaf Alhazmi, Quan Z. Sheng, Wei Emma Zhang

机构 * School of Computing, Macquarie University, Australia（麦考瑞大学计算机学院，澳大利亚） ； School of Computer and Mathematical Sciences, Adelaide University, Australia（阿德莱德大学计算机与数学科学学院，澳大利亚） ； College of Engineering and Computing in Al-Lith, Umm Al-Qura University, Saudi Arabia（乌姆·阿尔·库拉大学阿尔·利思工程与计算学院，沙特阿拉伯） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于上下文学习和推理链的干扰项生成框架，通过无监督语义检索选择示例，提升生成合理干扰项的能力，实验表明在多个基准测试中性能优于现有方法。

OpenGame: Open Agentic Coding for Games

OpenGame: 开源代理游戏开发

Yilei Jiang, Jinyuan Hu, Qianyin Xiao, Yaozhi Zheng, Ruize Ma, Kaituo Feng, Jiaming Han, Tianshuo Peng, Kaixuan Fan, Manyuan Zhang, Xiangyu Yue

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 OpenGame通过Game Skill和GameCoder-27B实现端到端网页游戏开发，解决跨文件不一致和逻辑不一致问题，建立新状态-of-the-art。

Comments OpenGame Report-v1

Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models

隐私崩溃：良性微调可能在语言模型中破坏上下文隐私

Anmol Goel, Cornelius Emde, Sangdoo Yun, Seong Joon Oh, Martin Gubri

机构 * Parameter Lab（参数实验室） ； TU Darmstadt（图腾达姆斯塔特大学） ； University of Oxford（牛津大学） ； NAVER AI Lab（NAVER AI实验室） ； University of Tübingen（图宾根大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 研究发现语言模型在良性微调过程中可能因训练数据中的细微模式导致上下文隐私崩溃，揭示了当前安全评估在专用代理部署中的关键缺口。

Comments ACL 2026 Main

Cross-Modal Attention Analysis and Optimization in Vision-Language Models: A Study on Visual Reliability

视觉-语言模型中的跨模态注意力分析与优化：对视觉可靠性的研究

Lijie Zhou

机构 * School of Computer Science（计算机科学学院） ； University of Nottingham Ningbo China（诺丁汉大学宁波分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文研究了视觉-语言模型中跨模态依赖性问题，通过对抗性评估框架发现优化模型能显著降低跨模态依赖，提升视觉特征关注度。

Hydra: Unifying Document Retrieval and Generation in a Single Vision-Language Model

Hydra：在单一视觉-语言模型中统一文档检索与生成

Athos Georgiou

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 Hydra通过单一视觉-语言模型实现文档检索与生成的统一，减少内存和系统复杂性，通过LoRA适配器在推理时切换，提升效率并保持生成质量。

Comments 21 pages, 4 figures, 10 tables, 1 algorithm. v3: two-scale release (4B, 0.8B); bitwise generation-equivalence (426/426 LM tensors at 4B); peak VRAM -62.7% at 4B, -59.1% at 0.8B; GritLM joint-training ablation; Qwen2.5-Omni-3B omni extension. Models: huggingface.co/collections/athrael-soju/hydra-dual-head-retrieval-and-generation

When Can LLMs Learn to Reason with Weak Supervision?

大语言模型何时能通过弱监督学习推理？

Salman Rahman, Jingyan Shen, Anna Mordvina, Hamid Palangi, Saadia Gabriel, Pavel Izmailov

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； New York University（纽约大学） ； Google（谷歌） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了在弱监督下大语言模型推理能力的提升条件，发现训练奖励饱和动态决定泛化能力，通过分离预训练和微调发现显式推理轨迹的监督微调是关键。

Medical Image Understanding Improves Survival Prediction via Visual Instruction Tuning

医学图像理解通过视觉指令调优提升生存预测

Xixi Liu, Jorge Lazo, Andreas Hallqvist, Mikael Johansson, Åse Johnsson, Jonas S Andersson, Ella Äng Eklund, Patrik Sund, Nasser Hosseini, Jennifer Alvén, Ida Häggström

机构 * Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)

AI总结 本文提出基于3D CT图像的视觉-语言框架，利用大规模公开CT图像与放射科报告进行视觉指令调优，提升生存预测能力，并在临床数据不足时表现更优。

Comments Submitted to MICCAI 2026

Enhancing Continual Learning of Vision-Language Models via Dynamic Prefix Weighting

通过动态前缀加权增强视觉-语言模型的持续学习

Hyeonseo Jang, Hyuk Kwon, Kibok Lee

机构 * Yonsei University（延世大学） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出动态前缀加权框架，通过动态调整前缀权重和适配器机制，提升视觉-语言模型在领域-类别增量学习中的性能。

Comments CVPR 2026; revised text and figures for improved readability

QU-NLP at QIAS 2026: Multi-Stage QLoRA Fine-Tuning for Arabic Islamic Inheritance Reasoning

QU-NLP在QIAS 2026中的表现：针对阿拉伯伊斯兰继承推理的多阶段QLoRA微调

Mohammad AL-Smadi

机构 * Qatar University（卡塔尔大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 本文提出通过多阶段QLoRA微调策略提升阿拉伯伊斯兰继承推理能力，利用领域适应和任务特定训练，在低资源下实现高精度推理。

Comments Accepted for publication, The 7th Workshop on Open-Source Arabic Corpora and Processing Tools, LREC26 conference

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging

LoRA on the Go：实例级动态LoRA选择与合并

Seungeon Lee, Soumi Das, Manish Gupta, Krishna P. Gummadi

机构 * MPI-SWS（马克斯·普朗克研究所-斯图加特研究所） ； Microsoft, India（微软公司，印度） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 LoRA on the Go通过实例级动态选择和合并适配器，在无需额外训练的情况下提升多任务性能，实验证明其在多个NLP基准和数据集上表现优异。

Comments Accepted as a main conference paper in ACL 2026

High-Resolution Visual Reasoning via Multi-Turn Grounding-Based Reinforcement Learning

通过多轮基于定位的强化学习实现高分辨率视觉推理

Xinyu Huang, Yuhao Dong, Weiwei Tian, Bo Li, Rui Feng, Ziwei Liu

机构 * Fudan University（复旦大学） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出MGPO框架，通过多轮对话机制使LMMs在无需额外标注的情况下提升视觉定位能力，实验表明其在MME-Realworld和V*Bench任务中表现优异。

Comments Accepted by ACL(Findings) 2026

LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning

揭开真相的面纱：秩减少后主权重的浮现使以推理为导向的监督微调得以提升

Zihang Liu, Tianyu Pang, Oleg Balabanov, Chaoqun Yang, Tianjin Huang, Lu Yin, Yaoqing Yang, Shiwei Liu

机构 * University of California, Berkeley, CA, USA（加州大学伯克利分校） ； International Computer Science Institute, CA, USA（国际计算机科学研究所） ； Lawrence Berkeley National Laboratory, CA, USA（伯克利国家实验室） ； Dartmouth College, NH, USA（达特茅斯学院） ； University of Exeter, Exeter, UK（埃克塞特大学） ； University of Oxford, Oxford, UK（牛津大学） ； University of Surrey, Guildford, UK（萨里大学） ； Tsinghua University, China（清华大学） ； Eindhoven University of Technology, the Netherlands（埃因霍温理工大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LIFT方法，通过秩减少后选取主权重进行微调，提升推理能力，同时保持内存效率，优于全微调和LoRA。

Comments ICML 2025

ImpRIF: Stronger Implicit Reasoning Leads to Better Complex Instruction Following

ImpRIF：更强的隐式推理导致更好的复杂指令遵循

Yuancheng Yang, Lin Yang, Xu Wang, Chao Tong, Haihua Yang

机构 * ByteDance China（字节跳动中国） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ImpRIF方法，通过构建可验证推理图提升大语言模型对隐式推理指令的理解，从而增强复杂指令遵循能力，在五个基准测试中表现优异。

Comments Accepted at ACL 2026 Main Conference

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation

HiP-LoRA: 带预算的谱塑性用于鲁棒低秩适应

Lixian Chen, Jianhong Tan

机构 * Guangdong University of Technology（广东工业大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 HiP-LoRA通过谱感知适应框架解决LoRA的谱干扰问题，通过分解更新为两个通道以平衡预训练行为保留与任务特定塑性，实验显示其在持续调优和知识编辑等敏感任务中表现更优。

Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL

Abstain-R1: 通过可验证的强化学习实现校准的回避与拒绝后澄清

Skylar Zhai, Jingcheng Liang, Dongyeop Kang

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Abstain-R1模型，通过可验证的强化学习奖励机制，提升模型在无法回答查询时的回避与澄清能力，同时保持对可回答查询的性能。

Comments Accepted at ACL 2026

No-Worse Context-Aware Decoding: Preventing Neutral Regression in Context-Conditioned Generation

无劣上下文感知解码：防止上下文条件生成中的中性退化

Yufei Tao, Ameeta Agrawal

机构 * Department of Computer Science, Portland State University, USA（波特兰州立大学计算机科学系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出NWCAD解码器，通过双流架构和双阶段门控机制，防止中性退化并提升上下文利用的可靠性。

Comments Findings at ACL 2026

Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models

重新思考LoRA用于大模型隐私保护联邦学习

Jin Liu, Yinbin Miao, Ning Xi, Junkang Liu

机构 * School of Cyber Engineering, Xidian University（西安电子科技大学电子工程学院） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LA-LoRA方法，解决DPFL中LoRA的性能下降问题，通过解耦梯度交互和对齐更新方向，提升在严格隐私约束下的鲁棒性，实验显示在Swin Transformer和RoBERTa模型上达到SOTA性能。

Journal ref ICLR 2026

LeGo-Code: Can Modular Curriculum Learning Advance Complex Code Generation? Insights from Text-to-SQL

LeGo-Code: 模块化课程学习能否推进复杂代码生成？来自文本到SQL的见解

Salmane Chafik, Saad Ezzini, Ismail Berrada

机构 * Mohammed VI Polytechnic University（穆莱·伊沙克二世理工学院） ； King Fahd University of Petroleum and Minerals（国王·法赫德石油矿物大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨模块化课程学习是否能提升代码生成模型在文本到SQL任务中的表现，提出模块化适配器策略，通过分层训练提升复杂查询性能，展示结构化模块化学习优于传统微调。

Comments 7 pages, 3 figures, 4 tables

XOXO: Stealthy Cross-Origin Context Poisoning Attacks against AI Coding Assistants

XOXO：针对AI编码助手的隐蔽跨域上下文污染攻击

Adam Štorek, Mukur Gupta, Noopur Bhatt, Aditya Gupta, Janie Kim, Prashast Srivastava, Suman Jana

机构 * Columbia University（哥伦比亚大学） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出XOXO攻击，通过隐蔽的跨域上下文污染使AI编码助手生成漏洞代码。引入GCGS算法，利用Cayley图系统搜索变换空间，实现75.72%的攻击成功率，传统防御方法无效。

Comments Accepted to ACL 2026 (main)

Continual Safety Alignment via Gradient-Based Sample Selection

通过基于梯度的样本选择实现持续的安全对齐

Thong Bach, Dung Nguyen, Thao Minh Le, Truyen Tran

机构 * Applied Artificial Intelligence Initiative (A2I2)（应用人工智能倡议（A2I2）） ； Deakin University（德肯大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了通过数据视角分析导致对齐漂移的训练样本，提出基于梯度的样本选择方法，在微调过程中过滤高梯度样本，提升安全对齐保持能力，同时保持任务性能，无需人工筛选安全数据或修改架构。

Comments 18 pages

Journal ref ACL 2026 (Findings)

SIGMA: A Semantic-Grounded Instruction-Driven Generative Multi-Task Recommender at AliExpress

SIGMA：阿里国际站的语义引导指令驱动生成多任务推荐系统

Yang Yu, Lei Kou, Huaikuan Yi, Bin Chen, Yayu Cao, Lei Shen, Chao Zhang, Bing Wang, Xiaoyi Zeng

机构 * Alibaba International Digital Commercial Group（阿里巴巴国际数字商业集团） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SIGMA通过语义引导和指令驱动方法，解决传统推荐系统在多任务和实时业务需求中的局限，提升推荐准确性和多样性。

Comments Accepted by SIGIR 2026 Industry Track. 5 pages, 3 figures

How Should We Enhance the Safety of Large Reasoning Models: An Empirical Study

如何增强大推理模型的安全性：一项实证研究

Zhexin Zhang, Xian Qi Loye, Victor Shea-Jay Huang, Junxiao Yang, Qi Zhu, Shiyao Cui, Fei Mi, Lifeng Shang, Yingkang Wang, Hongning Wang, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华大学对话人工智能（CoAI）小组，DCST，清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文通过监督微调探讨如何提升大推理模型的安全性，发现直接蒸馏安全响应无效，但针对性处理危险模式可显著提升安全性，且短或模板化推理过程同样有效。

Comments ACL 2026 Main Conference

Small Model as Master Orchestrator: Learning Unified Agent-Tool Orchestration with Parallel Subtask Decomposition

小模型作为主指挥者：通过并行子任务分解学习统一的智能体-工具协调

Wenzhen Yuan, Wutao Xiong, Fanchen Yu, Shengji Tang, Ting Liu, Tao Chen, Peng Ye, Yuzhuo Fu, Wanli Ouyang, Lei Bai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Shanghai AI Lab（上海人工智能实验室） ； Sichuan University（四川大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出Agent-as-Tool框架，通过并行子任务分解和状态反馈提升多智能体系统协调效率，ParaManager在多个基准测试中表现出色。

Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy

对齐印记：通过可证明的偏好偏差实现零样本AI生成文本检测

Junxi Wu, Kailin Huang, Dongjian Hu, Bin Chen, Hao Wu, Shu-Tao Xia, Changliang Zou

机构 * Nankai University（南开大学） ； Tsinghua University（清华大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出通过可证明的偏好偏差检测AI生成文本，利用对齐印记理论分析，引入LAPD统计量提升检测性能，实验显示在多种设置下均取得显著提升。

Elder-Sim: A Psychometrically Validated Platform for Personality-Stable Elderly Digital Twins

Elder-Sim：一种经过心理测量学验证的用于构建性格稳定的老年人数字孪生平台

Jiaqing Wang, Zhongfang Yang, Xingyuan Zhu, Zong'an Huang, Hao Wang, Li Tian, Ying Cao, Xiaomin Qu, Xiang Qi, Bei Wu, Zheng Zhu

机构 * Yulin AI-Enhanced HealthCare Lab（云林人工智能增强医疗实验室） ； School of Nursing, Fudan University（复旦大学护理学院） ； School of Nursing, Medical College of Soochow University（苏州大学医学院护理学院） ； School of Nursing, Dali University（大理大学护理学院） ； Department of Advanced Interdisciplinary Studies, The University of Tokyo（东京大学先进跨学科研究部） ； The First Affiliated Hospital of Soochow University（苏州大学第一附属医院） ； Department of Nursing, The First Affiliated Hospital, Jiangxi Medical College, Nanchang University（江西医学院护理部，南昌大学第一附属医院） ； School of Social Development, East China University of Political Science and Law（中国政法大学社会发展学院） ； Rory Meyers College of Nursing, New York University（纽约大学 Rory Meyers 护理学院） ； New York University Shanghai（纽约大学上海校区） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出Elder-Sim平台，通过心理测量学验证方法构建性格稳定的老年人数字孪生代理，利用认知概念化图和LoRA微调提升性格一致性。

Steerable Instruction Following Coding Data Synthesis with Actor-Parametric Schema Co-Evolution

可转向指令跟随编码数据合成与演员-参数化模式共演

Tinglin Huang, Bo Chen, Xiao Zhang, Kai Shen, Rex Ying

机构 * Yale University（耶鲁大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出IFCodeEvolve框架，通过参数化函数模式库和MCTS采样生成指令跟随编码数据，提升模型性能并构建IFCodeBench基准。