语言大模型 / LLM

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。

Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

可检测边界处的后训练：一种用于微调的博弈论方法

Keegan Harris, Brian W. Lee, Ian Waudby-Smith, Philip Amortila, Nika Haghtalab, Michael I. Jordan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Inria（法国国家信息与自动化研究所） ； École Normale Supérieure（巴黎高等师范学院） 纠错

专题命中 指令微调 ：post-training(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出博弈论框架解决RL微调中KL正则化系数设置问题，将均衡系数归约为KL正则化RL目标，在Qwen3-8B等模型实验中实现良好奖励-保留权衡，可用于审计开源模型API提供商。

Beyond Action Imitation: Learning a Decision-Aware User Simulator for Online Advertising

超越动作模仿：面向在线广告的决策感知用户模拟器学习

Zipeng Chen, Jiaer Zheng, Xiangyang Xu, Xinyu Lin, Zhaobin Wang, Zhaohui Liu, Qianjin Xiang, Xiaoyu Zhao, Zhuozhen Yu, Guangshuo Wang, Daxing Chen, Junwei Pan, Zhangbin Zhu, Chengguo Yin, Hao Chen, Tat-Seng Chua, Haijie Gu, Jie Jiang

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 针对现有用户模拟器仅基于单领域交互模仿动作的缺陷，本文提出决策感知用户模拟器DASH，通过上下文工程、蒸馏思考轨迹与定制规则奖励模型，在腾讯广告数据上验证了其多维度优势。

Comments 23 pages, 10 figures, 9 tables

Understanding LoRA as Knowledge Memory: An Empirical Analysis

理解LoRA作为知识记忆：一项实证分析

Seungju Back, Dongwoo Lee, Naun Kang, Taehee Lee, S. K. Hong, Youngjune Gwon, Sungjin Ahn

机构 * New York University（纽约大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过系统实证研究，将低秩适配（LoRA）作为模块化知识记忆，探索其存储容量、内部化优化、多模块系统扩展及长上下文推理能力，提供LoRA记忆操作边界的实用指导。

Comments ICML 2026

FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA

FedWeave：重新思考异构联邦MoE-LoRA中的专业化单元

Donghang Duan, Xu Zheng, Lizong Zhang, Chong Mu, Meng Han

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 FedWeave针对异构联邦MoE-LoRA中客户端粒度专业化的局限，提出非对称聚合框架，分离专家聚合与路由优化，在异构多任务基准上优于强基线，实现高效联邦大模型适配。

Comments 14 pages, 4 figures, 5 tables

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

大模型训练，紧凑部署：用于紧凑低秩适配的结构化压缩

Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。

Latent-IM: Latent Interaction Management for Speech LLMs

Latent-IM：面向语音大语言模型的潜在交互管理

Adar Avsian, Atahan Dokme, Tony Woo, Larry Heck

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究针对语音大语言模型提出Latent-IM框架，将对话动作控制分为选择与实现两个耦合问题，可提升对话动作准确率12.5个百分点，性能与微调相当。

Revealing Hidden Model Behaviors with Task-Specific Self-Reports

通过特定任务自我报告揭示隐藏模型行为

Taras Kutsyk, Bartosz Zieliński

机构 * Jagiellonian University, Faculty of Mathematics and Computer Science（雅盖隆大学数学与计算机科学系） ； Jagiellonian University, Doctoral School of Exact and Natural Sciences（雅盖隆大学精确与自然科学研究博士学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对微调语言模型的隐藏行为问题，提出稳定适配器进行自我报告（SAR），能让模型用自然语言描述隐藏行为，相比现有基线方法检测更准确，减少幻觉，便于从业者审计模型。

Comments 17 pages, 8 figures, 2 tables; appendix with 37 additional pages

SMSP: A Plug-and-Play Strategy of Multi-Scale Perception for MLLMs to Perceive Visual Illusions

SMSP：多尺度感知的插件策略用于MLLMs感知视觉错觉

Jinzhe Tu, Ruilei Guo, Zihan Guo, Junxiao Yang, Shiyao Cui, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华人工智能（CoAI）小组，DCST，清华大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 本文提出SMSP策略，通过抑制高频背景以提升MLLMs对视觉错觉的识别能力，实验表明其显著提高模型性能。

OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning

OmniAD：基于多模态推理的工业异常检测与理解

Shifang Zhao, Yiheng Lin, Lu Han, Yao Zhao, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； Visual Intelligence + X International Joint Laboratory of the Ministry of Education（教育部视觉智能+X国际合作实验室） ； Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 OmniAD是融合视觉与文本推理的多模态框架，以Text-as-Mask Encoding等技术实现工业异常检测与理解，在MMAD基准性能超Qwen2.5-VL-7B等模型，代码与模型将公开。

LC-SEPLM: long-range contact-supervised adaptation for sequence-only protein representation learning

LC-SEPLM：用于仅序列蛋白质表示学习的远程接触监督适应

Chen Wang, Boming Kang, Qinghua Cui

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对蛋白质语言模型未明确学习三维残基接触的问题，提出LC-SEPLM，通过LoRA和远程残基对接触监督适配ESM2，经训练后在多项蛋白质任务上优于ESM2，证明该方法能有效引入结构信息并保留序列推理。

Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding

Auto-AEG：用于开放词汇音频事件定位的可扩展数据构建

Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究开放词汇音频事件定位任务，因数据稀缺受限。提出Auto-AEG可扩展管道，通过自动数据构建和模型微调构建监督，结合合成音频与伪标签训练，提升模型性能。

Comments Work in progress

Readability-Robust Code Summarization via Meta Curriculum Learning

通过元课程学习实现抗可读性代码摘要

Wenhao Zeng, Yitian Chai, Hao Zhou, Fandong Meng, Jie Zhou, Xiaodong Gu

专题命中 指令微调 ：language model(abstract)

AI总结 本文提出RoFTCodeSum方法，通过结合课程学习和元学习提升代码摘要对低可读性代码的鲁棒性。

Comments Code available at https://github.com/Zengwh02/RoFTCodeSum

HiFloat4 Format for End-To-End Reinforcement Learning Post-Training of Large Language Models

用于大语言模型端到端强化学习后训练的HiFloat4格式

Hei Yi Mak, Shadan Golestan, Hoang Le, Mehran Taghian Jazi, Yunke Peng, Yaoyuan Wang, Yao Wang, Junsong Wang, Tianchi Hu, Fengchen He, Guipeng Hu, Tanzila Rahman, Anandharaju Durai Raju

机构 * Huawei（华为） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(title)；language model(title)；pretraining(abstract)

AI总结 本文提出首个端到端FP4 RL后训练方案，通过HiFloat4格式与Rollout-ResQ技术，将FP4 RL与BF16的准确率差距大幅缩小，使全量化FP4 RL接近全精度水平。

OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment

OptimismBench：语言模型判断中的偏差预测与对齐效应

Seonglae Cho, Adriano Koshiyama

机构 * Holistic AI（整体人工智能公司） ； University College London（伦敦大学学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；post-training(abstract)

AI总结 本研究推出OptimismBench基准，检测到多数LLM存在乐观方向偏差，且对齐会使模型概率产生偏差，下游流程会默认继承该偏差。

Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback

用于人类反馈强化学习的元学习奖励塑形

Yunpeng Chu

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 MeRLa是元学习的任务感知奖励塑形框架，在RLHF训练前通过辅助任务元学习塑形函数，可提升LLaMA-3-8B在多基准上的对齐性能，降低训练不稳定性。

GPT-Red: Automated Red Teaming via Self-Play at Scale

GPT-Red：基于大规模自博弈的自动化红队测试

Eric Wallace, Christopher A. Choquette-Choo, Nikhil Kandpal, Sam Toyer, Dylan Hunn, Stephanie Lin, Yuxin Wen, Xiangyu Qi, Christopher Wolff, Zizhao Wang, Milad Nasr, Sicheng Zhu, Chuan Guo, Juan Felipe Cerón Uribe, Kaiwen Wang, Aiden Low, Kai Xiao, Kai Chen

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出GPT-Red，一种基于大规模自博弈的自动化红队测试智能体，可发现新型提示注入攻击、攻破过往模型且泛化能力强，用于提升LLM鲁棒性并形成自我改进飞轮。

Comments 28 pages.13 main pages and 13 main figures

GraphQAG: A Knowledge-Graph-Guided Visual Analytics Framework for Question-Answer Pairs Generation

GraphQAG：一种用于问答对生成的知识图谱引导型可视分析框架

Yize Li, Ruiqi Yu, Tianya Pan, Ningxin Li, Songyue Li, Xiangyang Wu, Jinchang Li, Zhiguang Zhou

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究针对长文档知识碎片化的问题，提出GraphQAG知识图谱引导型可视分析框架，经评估可帮助用户优化问答对集合，提升问答对的全面性与可信度。

Improving Heart-Focused Medical Question Answering in LLMs via Variance-Aware Rubric Rewards with GRPO

通过基于方差感知的评分规则奖励与GRPO改进LLMs中心脏医学问答

Arash Ahmadi, Parisa Masnadi Khiabani, Sarah Sharif, Charles Nicholson, David Ebert, Mike Banad

机构 * School of Electrical and Computer Engineering, University of Oklahoma, Norman, OK, USA（电气与计算机工程学院，俄克拉荷马大学，诺曼，OK，USA） ； Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory, University of Oklahoma, Norman, OK, USA（创新研究与工程智能神经形态与量子理解实验室，俄克拉荷马大学，诺曼，OK，USA） ； Khiabani Data Science and Analytics Institute, University of Oklahoma, Norman, OK, USA（Khiabani数据科学与分析研究所，俄克拉荷马大学，诺曼，OK，USA） ； Data Institute for Societal Challenges (DISC), University of Oklahoma, Norman, OK, USA（社会挑战数据研究所（DISC），俄克拉荷马大学，诺曼，OK，USA） ； School of Industrial and Systems Engineering, University of Oklahoma, Norman, OK, USA（工业与系统工程学院，俄克拉荷马大学，诺曼，OK，USA） ； Office of Responsible Artificial Intelligence (ORAI), University of Arizona, Tucson, AZ, USA（负责任人工智能办公室（ORAI），亚利桑那大学，图森，AZ，USA） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种方差感知奖励框架，结合GRPO和RaR-Medicine的评分规则，通过连续分析奖励函数替代离散聚合，提升LLMs在心脏医学问答上的准确率和F1分数。

Comments 27 Pages

"Amazing, They All Lean Left" -- Analyzing the Political Temperaments of Current LLMs

W. Russell Neuman, Chad Coleman, Ali Dasdan, Safinah Ali, Manan Shah, Kund Meghani

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL

ReCo: Reweighting GRPO Against Distributional Concentration

ReCo：针对分布集中问题的GRPO重加权方法

Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO过度关注高概率响应导致推理覆盖度下降的问题，提出ReCo重加权方法，在多个数学推理基准上提升了大k值下的Pass@k表现。

MICA: Multi-granularity Intertemporal Credit Assignment for Long-Horizon Emotional Support Dialogue

MAPO：混合优势策略优化用于长时多轮对话

Naifan Zhang, Ruihan Sun, Jinwei Su, Hengjie Yang, Zhengyuan Pan, Zhaohan Chen, Xiaofan Zhang

机构 * NatureSelect ； Tsinghua University（清华大学） ； South China Normal University（华南师范大学） ； Xiamen University（厦门大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MAPO通过混合优势策略优化，利用密集过程反馈和多级归一化，提升长时多轮对话的稳定性和性能，优于传统方法。

When Does Span-Guided Detoxification Help? Human Preferences and Evaluator Diagnostics in a Controlled Comparison

基于跨度引导的解毒方法何时有效？受控比较中的人类偏好与评估者诊断

Kyungwon Park

机构 * Yonsei University（延世大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究对比跨度引导与无引导解毒方法的人类偏好，发现二者存在权衡，不同分层偏好不同，自动评估无法替代人类判断，推动了新评估协议的发展。

Comments 12 pages, 3 figures

FAS-R1: A Unified Multi-Task MLLM for Reasoning Face Anti-Spoofing

FAS-R1：用于推理人脸防伪的统一多任务多模态大语言模型（MLLM）

Hongyang Wang, Yichen Shi, Hongrui Li, Yiru Huo, Jun Feng, Zitong Yu

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出面向推理的两阶段多任务MLLM框架FAS-R1，结合DSA与DA-GRPO优化，在人脸防伪的分类、识别、定位任务中表现优异，性能优于对比系统且具备良好缩放性。

Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering

推动全曲生成的前沿：分层自回归规划与流匹配渲染

Junyu Dai, Xinyue Fan, Weiqin Li, Xiangang Li, Yunjia Li, Bin Ma, Yukun Ma, Chongjia Ni, Yufei Shi, Biao Tian, Haoxu Wang, Menglin Wu, Jianwei Yu, Huaicheng Zhang, Han Zhao, Shengkui Zhao, Haina Zhu

机构 * Alibaba（阿里巴巴） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 该研究提出统一歌曲生成框架，支持多项任务，由四个组件构成。通过特定编码、建模、匹配及模块实现歌曲生成，还研究多种后训练策略，实验表明该框架在评估中性能具有竞争力。

The Fast Lane Hypothesis: Von Economo Neurons Implement a Biological Speed-Accuracy Tradeoff

快速通道假说：von Economo神经元实现一种生物速度-准确性权衡

Esila Keskin

机构 * School of Computing and Creative Technologies, University of the West of England, Bristol, UK（西英格兰大学计算与创意技术学院，布里斯托尔，英国） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出von Economo神经元通过稀疏快速投射路径实现生物速度-准确性权衡，通过模拟社会辨别任务验证其在不同病理条件下对决策速度的影响。

Comments 7 pages, 5 figures. Code available at https://github.com/esila-keskin/fast-lane-hypothesis

Neural variational framework for random Young-diagram limit shapes

随机杨图极限形状的神经变分框架

Qian Chen, Bo-Xuan Ge

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 该研究提出适配随机杨图系综结构与尺度的保持结构神经变分框架，在多类系综上验证后，用于研究无解析鞍形的四次变形钩长系综，为变形依赖的宏观鞍形族提供数值证据。

Comments 38 pages, 9 figures

How memory can affect collective and cooperative behaviors in an LLM-Based Social Particle Swarm

记忆如何影响基于LLM的社会粒子群中的集体和合作行为

Taisei Hishiki, Takaya Arita, Reiji Suzuki

机构 * Graduate School of Informatics（信息学研究生院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了大型语言模型代理的内部对齐特性如何影响记忆对其集体和合作动态的影响。通过将社会粒子群模型中的规则代理替换为具有大五人格特质和不同记忆长度的LLM代理，发现记忆长度是决定集体行为的关键参数，且不同模型对记忆的解读影响合作结果。

Comments 11 pages, 4 figures and 2 tables

Skills on the Fly: Test-Time Adaptive Skill Synthesis for LLM Agents

Skills on the Fly: Test-Time Adaptive Skill Synthesis for LLM Agents

Jingxing Wang, Chenyu Zhou, Zhihui Fu, Jun Wang, Weiwen Liu, Weinan Zhang, Jianghao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；prompting(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出了一种在测试时自适应的技能合成方法SkillTTA，通过检索与当前任务相关的少量训练轨迹并将其合成成为任务特定的文本技能，以提高LLM代理在SpreadsheetBench、ALFWorld和BigCodeBench等任务上的性能。

Comments 15 pages, 6 figures

Filesystem-Based Memory for LLM Agents: Organization, Evolution, and Sustainability

面向LLM智能体的基于文件系统的内存：组织、演化与可持续性

Sizhe Zhou, Sheldon Yu, Hui Wei, Junda Wu, Siru Ouyang, Yizhu Jiao, Shijia Pan, Julian McAuley, Yu Zhang, Tong Yu, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, San Diego（加利福尼亚大学圣迭戈分校） ； University of California, Merced（加利福尼亚大学默塞德分校） ； Adobe Research（奥多比研究院） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究首次系统探索面向LLM智能体的基于文件系统的内存，定义三个智能体角色开展实验，发现有组织存储可减半检索成本，但多数智能体组织会退化，工具集对存储形态的影响与更换模型相当，将文件系统设为智能体内存的设计空间。

Comments 59 pages, 12 figures, 18 tables