语言大模型 / LLM

Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

注意暂停：基于LLMs的多语言语音纠错中的不流畅意识目标调优

Deepak Kumar, Baban Gain, Asif Ekbal

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Indian Institute of Technology Patna（印度理工学院帕纳瓦） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出一种多语言语音纠错方法，通过序列标注器标记不流畅词并指导LLM指令微调，结合对比学习目标提升纠错可靠性，实验证明在印地语、孟加拉语和马拉地语上优于现有基线模型。

Comments Accepted to ACL 2026 (Main)

SafeSteer: A Decoding-level Defense Mechanism for Multimodal Large Language Models

SafeSteer: 多模态大语言模型中的解码级防御机制

Xinyi Zeng, Xue Yang, Jingyuan Zhang, Huanqian Yan, Xiang Chen, Kaiwen Wei, Hankun Kang, Yu Tian

机构 * Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Kuaishou Technology（快手科技） ； School of Computer Science and Technology, Beihang University（北航计算机科学与技术学院） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Chongqing University（重庆大学） ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出SafeSteer，通过解码阶段的轻量探针和模态语义对齐向量，提升多模态大语言模型的安全性，实验表明其能提升33.40%的安全性而不需微调。

Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning

将课程判断内部化以优化大语言模型强化微调

Han Zheng, Yining Ma, Karthick Gunasekaran, Bharathan Balaji, Zheng Du, Shiv Vitaladevuni, Cathy Wu

机构 * MIT（麻省理工学院） ； Amazon AGI（亚马逊人工智能实验室） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 本文提出METIS框架，通过内部化课程判断提升LLM强化微调效率与性能，利用训练结果动态分配训练资源，实现闭环优化。

PriorZero: Bridging Language Priors and World Models for Decision Making

PriorZero：连接语言先验与世界模型以实现决策制定

Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； The Chinese University of Hong Kong MMLab（香港中文大学MMLab） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 PriorZero通过解耦的rollout训练设计，将LLM生成的语义先验整合到基于世界模型的规划中，提升探索效率和长期性能，适用于文本冒险游戏和指令遵循任务。

Comments 30 pages, 12 figures

Reconstruction of Personally Identifiable Information from Supervised Finetuned Models

从监督微调模型中重建个人身份信息

Sae Furukawa, Alina Oprea

机构 * Northeastern University（东北大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了从监督微调模型中重建个人身份信息的问题，提出COVA算法在前缀攻击下优于现有提取方法，揭示了不同PII类型泄露程度差异。

Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection

安全对齐作为持续学习：通过正交梯度投影缓解对齐税

Guanglong Sun, Siyuan Zhang, Liyuan Wang, Jun Zhu, Hang Su, Yi Zhong

机构 * School of Life Sciences, IDG/McGovern Institute for Brain Research（生命科学学院，IDG/麦戈文脑科学研究所） ； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center（计算机科学与技术系，人工智能研究所，清华大学-博世联合机器学习中心，THBI实验室，BNRist中心） ； Tsinghua University, Beijing, China（清华大学，北京，中国） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文通过持续学习视角研究安全对齐与通用能力退化之间的权衡，提出OGPSA方法通过正交梯度投影提升安全性和实用性，实验显示在不同训练流程中显著改善安全-效用权衡。

PRISM: A Geometric Risk Bound that Decomposes Drift into Scale, Shape, and Head

PRISM: 一种将漂移分解为尺度、形状和头部的几何风险界

Chieh-Yen Lin, Shao-Hua Sun

机构 * Appier AI Research（Appier人工智能研究院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PRISM通过分析LLM的线性输出头和近等距结构，推导出交叉熵风险差的闭式上界，将漂移分解为尺度不匹配、形状不匹配和头部分歧三个可测量轴，用于指导变体排序和缓解灾难性遗忘。

Rotation-Preserving Supervised Fine-Tuning

保持旋转的监督微调

Hangzhan Jin, Tianwei Ni, Lu Li, Pierre-Luc Bacon, Mohammad Hamdaqa, Doina Precup

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； Polytechnique Montréal（蒙特利尔理工学院） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RPSFT方法，通过保持预训练奇异子空间的投影旋转来提升模型在领域内和领域外任务间的平衡性能，改进了标准SFT的不足。

Comments 31 pages, 13 figures

Towards Order Fairness: Mitigating LLMs Order Sensitivity through Dual Group Advantage Optimization

迈向顺序公平性：通过双组优势优化缓解大语言模型的顺序敏感性

Xu Chu, Guanyu Wang, Zhijie Tan, Xinrong Chen, Ziyu Li, Tong Mo, Weiping Li

机构 * School of Software and Microelectronics, Peking University（软件与微电子学院，北京大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出双组优势优化（DGAO），通过平衡组内准确性优势和组间稳定性优势，缓解LLM的顺序敏感性，提升模型在RAG、数学推理和分类任务中的性能。

Beyond Parameter Aggregation: Semantic Consensus for Federated Fine-Tuning of LLMs

超越参数聚合：联邦微调大语言模型的语义共识

Amr Abourayya, Jens Kleesiek, Michael Kamp

机构 * Lamarr Institute for ML and AI, Technical University Dortmund（拉马尔机器学习与人工智能研究所，德意志理工大学） ； Institute for AI in medicine (IKIM), University Hospital Essen（医学人工智能研究所（IKIM），埃森大学医院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出通过模型行为而非参数进行联邦微调，减少通信开销，适用于异构架构和开放文本生成，理论和实验证明其在效率和效果上的优势。

RETUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German

在BEA 2026共享任务2中：基于评分规则的德语短答案评分的元提示

Ignacio Sastre, Ignacio Remersaro, Facundo Díaz, Nicolás De Horta, Luis Chiruzzo, Aiala Rosá, Santiago Góngora

机构 * Instituto de Computación, Facultad de Ingeniería, Universidad de la República（计算研究所，工程学院，乌拉圭共和国大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了RETUYT-INCO在BEA 2026共享任务2中的参与，提出元提示方法用于德语短答案评分，结合经典机器学习、微调开源大模型等方法，取得前三项任务的优异成绩。

Comments To be presented at the BEA 2026 workshop, co-located with ACL 2026

Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation

基于身份的对抗提示：多身份红队测试用于对抗发现与缓解

Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

机构 * IBM Research（IBM研究院） ； Trinity College Dublin（都柏林大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 本文提出PCAP方法，通过多身份对抗搜索发现真实攻击场景，提升模型鲁棒性，生成多样化防御数据集。

HEBATRON: A Hebrew-Specialized Open-Weight Mixture-of-Experts Language Model

HEBATRON：一种 Hebrew 专用的开放权重混合专家语言模型

Noam Kayzer, Dan Revital, Ori Bar Joseph, Smadar Arvatz, Or Levi, Tal Geva, Shaltiel Shmidman, Amir DN Cohen, Noam Ordan, Omer Baruch, Kate Zinkovskaia, Zevi Apini, Sarel Weinberger

机构 * PwC（普华永道） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 HEBATRON基于NVIDIA Nemotron-3架构，通过三阶段课程学习提升性能，实现Hebrew推理准确率73.8%，并在长上下文支持下达到9倍推理吞吐量。

ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging

ORBIT：通过起源调节合并在生成检索中保留基础语言能力

Neha Verma, Nikhil Mehta, Shao-Chuan Wang, Naijing Zhang, Alicia Tsai, Li Wei, Lukasz Heldt, Lichan Hong, Ed Chi, Xinyang Yi

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Google DeepMind（谷歌DeepMind） ； Google（谷歌） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 ORBIT通过跟踪模型权重距离并使用加权平均策略，在生成检索微调中减少模型漂移，有效保留语言基础能力。

Learning Agentic Policy from Action Guidance

从动作指导学习代理策略

Yuxiang Ji, Zengbin Wang, Yong Wang, Shidong Yang, Ziyu Ma, Guanhua Chen, Zonghua Sun, Liaoni Wu, Xiangxiang Chu

机构 * Xiamen University（厦门大学） ； AMAP, Alibaba Group（阿里云实验室，阿里巴巴集团） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ActGuide-RL方法，通过利用日常人类交互生成的动作数据，减少对昂贵迭代监督微调的依赖，提升代理强化学习在搜索代理基准上的性能。

Comments Work in progress

A Mechanistic Investigation of Supervised Fine Tuning

对监督微调的机制性研究

Ruhaan Chopra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过稀疏自编码器揭示监督微调导致的表示分歧，发现任务和层特定的语义特征变化及安全对齐的层间更新模式。

Multi-Stream LLMs: Unblocking Language Models with Parallel Streams of Thoughts, Inputs and Outputs

多流语言模型：通过并行思维、输入和输出流解除语言模型瓶颈

Guinan Su, Yanwu Yang, Xueyan Li, Jonas Geiping

机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Tübingen AI Center（图宾根人工智能中心） ； ETH Zurich（苏黎世联邦理工学院） ； University Hospital Tübingen（图宾根大学医院） ； University of Tübingen（图宾根大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过并行计算流替代顺序消息格式，提升语言模型的效率、安全性和可监控性，解决单流计算的局限性。

Comments Preprint, 37 pages. Code at https://github.com/seal-rg/streaming/

Controllable User Simulation

可控用户模拟

Guy Tennenholtz, Ofer Meshi, Amir Globerson, Uri Shalit, Jihwan Jeong, Craig Boutilier

机构 * Google Research（谷歌研究） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出将可控模拟视为因果推断问题，通过改进模拟器训练方法消除 lookahead 偏差，实现更稳定的评估性能。

Probabilistic Calibration Is a Trainable Capability in Language Models

概率校准是语言模型中的可训练能力

Davide Baldelli, Sruthi Kuriakose, Maryam Hashemzadeh, Amal Zouaq, Sarath Chandar

机构 * Chandar Research Lab（昌达尔研究实验室） ； Mila – Quebec AI Institute（魁北克人工智能研究所） ； LAMA-WeST Lab（LAMA-WeST实验室） ； Polytechnique Montréal（蒙特利尔理工学院） ； Université de Montréal（蒙特利尔大学） ； Independent researcher（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究通过微调提升语言模型的概率校准能力，发现两种微调方法在不同任务中表现各异，硬目标方法在结构化数值采样更优，软目标方法在广泛随机生成任务中表现更好。

Unlocking UML Class Diagram Understanding in Vision Language Models

解锁基于UML类图理解的视觉语言模型

Artem Naboichenko, René Peinl

机构 * Hof University of Applied Sciences（霍夫应用科学大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出一个基于UML类图的视觉问答基准，构建了16000个图像-问题-答案三元组，并展示LoRA微调方法在视觉语言模型中的优越表现。

READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling

READ：基于部分视频-语言对齐的递归适配器用于低资源视频-语言建模的参数高效迁移学习

Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Khoi Le, Zhiyuan Hu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出READ框架，通过递归计算和部分最优传输对齐，提升低资源视频-语言建模任务的性能，优于现有迁移学习方法。

Comments Accepted at AAAI 2024

Cluster-Aware Neural Collapse Prompt Tuning for Long-Tailed Generalization of Vision-Language Models

面向长尾泛化的眼视觉-语言模型集群感知神经崩溃提示微调

Boyang Guo, Liang Li, Lin Peng, Yuhan Gao, Xichun Sheng, Chenggang Yan

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； The Hong Kong Polytechnic University（香港理工大学） ； Macao Polytechnic University（澳门理工学院） ； Zhejiang Provincial Key Laboratory of Low Altitude Ubiquitous Networking Technology, HDU（浙江省低空 ubiquitous 网络技术重点实验室，HDU） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出集群感知神经崩溃提示微调方法，通过优化提示微调视觉-语言模型的长尾类判别能力，提升模型在类别不平衡数据集上的泛化性能。

Not How Many, But Which: Parameter Placement in Low-Rank Adaptation

不是数量而是选择：低秩适应中的参数放置

Arijit Sehanobish, Charles Lovering

机构 * Kensho Technologies 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究参数放置对LoRA适配器性能的影响，发现随机与有信息的子集在监督微调中表现相当，而在基模型上GRPO时，有信息放置能恢复标准LoRA精度，归因于梯度结构差异。

Comments Preprint. Comments welcome

Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training

学会思考：通过视觉感知的自我改进训练提升多模态推理

Qihuang Zhong, Liang Ding, Wenjie Xuan, Juhua Liu, Bo Du, Dacheng Tao

机构 * School of Computer Science, National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence（计算机学院、多媒体软件国家工程研究中心、人工智能研究院） ； Hubei Key Laboratory of Multimedia（湖北多媒体重点实验室） ； Network Communication Engineering, Wuhan University, China（网络通信工程、武汉大学，中国） ； The University of Sydney, Australia（悉尼大学，澳大利亚） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出VISTA框架，通过视觉感知的自我改进训练提升多模态推理能力，解决数据不平衡和语言先验偏差问题，实验显示在多种训练场景下提升性能。

Comments Accepted by ICML 2026

AIA: Rethinking Architecture Decoupling Strategy In Unified Multimodal Model

AIA: 重新思考统一多模态模型中的架构解耦策略

Dian Zheng, Manyuan Zhang, Hongyu Li, Kai Zou, Hongbo Liu, Ziyu Guo, Kaituo Feng, Yexin Liu, Ying Luo, Hongsheng Li

机构 * MMLab, CUHK（CUHK多媒体实验室） ； Meituan（美团） ； USTC（中国科学技术大学） ； TJU（天津大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出AIA损失函数，通过学习任务特定的多模态交互模式，缓解任务冲突而不依赖模型解耦，提升生成与理解性能。

Comments Project page: https://zhengdian1.github.io/AIA-project/ Code: https://github.com/zhengdian1/AIA

ToolCUA: Towards Optimal GUI-Tool Path Orchestration for Computer Use Agents

ToolCUA：迈向计算机使用代理的最优GUI工具路径协调

Xuhao Hu, Xi Zhang, Haiyang Xu, Kyle Qiao, Jingyi Yang, Xuanjing Huang, Jing Shao, Ming Yan, Jieping Ye

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出ToolCUA，通过分阶段训练范式学习最优GUI-工具路径选择，利用交互式轨迹缩放管道和工具引导的GUI RFT提升关键切换点决策，实验显示其在OSWorld-MCP上准确率达46.85%，优于基线模型66%，证明了有效的GUI-工具协调。

Latent Causal Void: Explicit Missing-Context Reconstruction for Misinformation Detection

潜在因果空洞：为虚假信息检测的显式缺失上下文重建

Hui Li, Zhongquan Jian, Jinsong Su, Junfeng Yao

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； School of Computer and Data Science, Minjiang University（闽江学院计算机与数据科学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Latent Causal Void方法，通过显式重建缺失事实来提升虚假信息检测效果，实验表明在双语基准上优于现有基线。

Discrete Flow Matching for Offline-to-Online Reinforcement Learning

离线到在线强化学习中的离散流匹配

Fairoz Nower Khan, Nabuat Zaman Nahim, Peizhong Ju

机构 * Department of Computer Science, University of Kentucky（卡内基梅隆大学计算机科学系） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DRIFT方法，通过离散流匹配损失和路径空间惩罚，提升离线到在线强化学习的稳定性与性能，实验显示其在离散动作空间任务中表现优异。

Output Composability of QLoRA PEFT Modules for Plug-and-Play Attribute-Controlled Text Generation

QLoRA PEFT模块的输出可组合性用于即插即用的属性控制文本生成

Michela Lorandi, Anya Belz

机构 * ADAPT, Dublin City University Dublin, Ireland（ADAPT，都柏林城市大学都柏林，爱尔兰） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；分类 cs.CL

AI总结 本文研究了通过多任务数据集训练、推理时组合PEFT模块权重及输出三种方法，发现输出求和在情感、主题和多属性控制中表现优异，平均提升2个百分点。

Targeted Neuron Modulation via Contrastive Pair Search

通过对比对偶搜索进行定向神经元调节

Sam Herring, Jake Naviasky, Karan Malhotra

机构 * Nous Research（Nous研究） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 研究通过对比神经元属性识别有害与良性提示的区分神经元，实现无梯度的神经元干预，有效降低拒绝率并保持输出流畅性，展示了神经层面干预在行为引导中的优势。