语言大模型 / LLM

Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

审计心理健康交互中大语言模型的框架敏感行为不稳定性

Abla Bedoui, Ashley L. Greene, Mohammed Cherkaoui

机构 * a School of computer science, digital engineering and AI, Long Island University, Brooklyn, NY, USA（a 计算科学与数字工程及人工智能学院，罗格斯大学，布鲁克林，纽约，美国） ； b Department of Psychology, Long Island University, Brooklyn, NY, USA（b 心理学系，罗格斯大学，布鲁克林，纽约，美国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究通过控制匹配提示，调查大语言模型在不同上下文框架下的行为变异性，发现框架系统性改变解释响应倾向，且内部表征可解码，激活操控可部分调节行为。

OpenFinGym: A Verifiable Multi-Task Gym Environment for Evaluating Quant Agents

OpenFinGym: 一个可验证的多任务Gym环境，用于评估量化智能体

Kaicheng Zhang, Wen Ge, Lei Jiang, Weixin Yang, Jordan Langham-Lopez, Jialin Yu, Lukasz Szpruch, Hao Ni

机构 * University of Edinburgh（爱丁堡大学） ； University College London（伦敦大学学院） ； Alan Turing Institute（艾伦·图灵研究所） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：LLM(summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出OpenFinGym统一环境，覆盖预测、市场生成、实时交易和欺诈检测等量化金融任务，支持自动化任务构建、容器化验证和延迟解析，以全面评估LLM智能体。

Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

以真实意图铺路：意图感知训练提升跨训练机制下的LLM安全分类

Jeremias Ferrao, Niclas Müller-Hof, Iustin Sîrbu, Traian Rebedea, Yftah Ziser

机构 * University of Groningen（格罗宁根大学） ； University Politehnica of Bucharest（布加勒斯特理工大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出意图感知训练方法，通过显式建模用户意图信号提升安全分类器鲁棒性，在多个训练机制下取得最优平均性能。

When Role-playing, Do Models Believe What They Say?

角色扮演时，模型是否相信它们所说的话？

Benjamin Sturgeon, David Africa, Sid Black

机构 * MATS 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；language model(abstract)；SFT(abstract)；prompting(abstract)

AI总结 通过线性真实探针研究角色扮演对LLM内部表征的影响，发现角色扮演主要改变输出而非内部真实表征，而紧急错位则更显著地改变内部表征。

Embarrassingly Simple Self-Distillation Improves Code Generation

令人惊讶的简单自蒸馏方法提升代码生成能力

Ruixiang Zhang, Richard He Bai, Huangjie Zheng, Navdeep Jaitly, Ronan Collobert, Yizhe Zhang

机构 * Apple（苹果公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出简单自蒸馏（SSD）方法，仅利用模型自身输出进行微调，无需验证器或强化学习，显著提升代码生成性能，并揭示其通过重塑token分布解决精度-探索冲突的机制。

Tuning Language Models by Mixture-of-Depths Ensemble

通过深度混合集成微调语言模型

Haoyan Luo, Lucia Specia

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出MoDE框架，将后期层作为集成通过学习路由权重贡献最终logits，可在任何微调方法上应用，以较小参数开销提升推理性能。

Memory Depth, Not Memory Access: Selective Parametric Consolidation for Long-Running Language Agents

记忆深度，而非记忆访问：面向长时间运行语言代理的选择性参数巩固

Haoliang Han

专题命中 指令微调 ：language agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出选择性参数巩固机制EVAF，通过惊奇和效价门控的LoRA写入，在长时间运行中维持目标导向行为，与检索互补，实验显示在目标持久性上优于检索。

Comments Main paper with supplementary material included as ancillary file

Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models

通过层间一致性聚合缓解大型视觉-语言模型中的幻觉

Kai Tang, Jinhao You, Yichen Guo, Yiding Sun, Dongxu Zhang, Wenya Wang, Hanze Li, Tao Luo, Renyuan Li, Xiande Huang, Shanghang Zhang

机构 * Peking University（北京大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； De Artificial Intelligence Lab（人工智能实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出训练无关的解码方法DCLA，通过聚合前层表示构建动态语义参考并纠正语义偏差层，增强层间一致性，在多个LVLM和基准上显著降低幻觉。

Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

具有结构保证的嵌入基础模型预测的离散选择模型

Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） ； Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出两阶段适配器，将基础模型的预测嵌入多项Logit效用中，通过符号约束保持边际替代率，在三个数据集上平均提升6.4个百分点准确率，并保证成本单调性和合理时间价值。

Comments Extends arXiv:2605.26559 (ICML 2026 FMSD Workshop)

Training Language Models to Use Prolog as a Tool

训练语言模型以使用Prolog作为工具

Niklas Mellgren, Peter Schneider-Kamp, Lukas Galke Poech

机构 * University of Southern Denmark（南丹麦大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文探讨通过强化学习训练语言模型使用Prolog进行符号推理，发现正确性与可审计性之间存在权衡，影响模型性能与可解释性。

Comments ACL 2026 Findings (change from last version: corrected year in this comment)

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec: 衡量和利用视觉必要性进行多模态指令微调

Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.AI

AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。

Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/

EndoUFM: Utilizing Foundation Models for Monocular depth estimation of endoscopic images

EndoUFM：利用基础模型进行内窥镜图像的单目深度估计

Xinning Yao, Bo Liu, Bojian Li, Jingjing Wang, Jinghua Yue, Fugen Zhou

机构 * Image Processing Center, Beihang University（北京航空航天大学图像处理中心） ； State Key Laboratory of High-Efficiency Reusable Aerospace Transportation Technology（高效可重复航天运输技术国家重点实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 提出EndoUFM框架，通过双基础模型和自适应微调策略（RVLoRA和Res-DSC）提升内窥镜图像单目深度估计性能，在多个数据集上达到最优。

Comments 12 pages

EvoOptiGraph: Weakness-Driven Coevolution via Graph-Based Structural Generation for Optimization Modeling

EvoOptiGraph：基于图结构生成的弱点驱动协同进化优化建模

Qingcan Kang, Mingyang Liu, Xiaojin Fu, Shixiong Kai, Tao Zhong, Mingxuan Yuan

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 提出EvoOptiGraph框架，通过图结构表示混合整数线性规划并应用进化算子生成多样实例，结合监督微调和强化学习实现数据与模型的协同进化，显著提升优化建模的准确性和泛化能力。

The Generalization Spectrum: A Chromatographic Approach to Evaluating Learning Algorithms

泛化谱：一种评估学习算法的色谱方法

Jinghan Zhang, Zerui Cheng, Shiqi Chen, Ge Zhang, Wenhao Huang, Jiashuo Liu, Junxian He, Tianle Cai

机构 * ByteDance Seed（字节跳动Seed） ； Hong Kong University of Science and Technology（香港科技大学） ； Princeton University（普林斯顿大学） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出泛化谱框架，通过构建从精确回忆到跨语言实现转移等不同转移距离的测试变体，揭示算法从单个样本泛化到其他样本的程度，并应用于竞争编程任务评估不同学习范式。

Comments Accepted at ICML 2026. 30 pages, 6 figures

GRAG: Generic Response-Augmented Generation Framework for Personalized Conversational Systems

GRAG：面向个性化对话系统的通用响应增强生成框架

Junfeng Liu, Christopher T. Symons, Ranga Raju Vatsavai

机构 * North Carolina State University（北卡罗来纳州立大学） ； Lirio, Inc.（Lirio公司） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GRAG框架，通过离线通用响应解耦内容基础与个性化，使小模型在资源受限环境中专注于个性化注入，性能提升显著。

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

虚假奖励悖论：从机制上理解RLVR如何在LLMs中激活记忆捷径

Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Aberdeen（阿伯丁大学） ； University of Birmingham（伯明翰大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 研究RLVR中虚假奖励导致模型依赖记忆而非推理的机制，发现锚定-适配器电路，并通过因果干预验证其作用。

Comments ICML 2026

TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

TraMP-LLaMA: 基于解耦指令微调的生成式可解释性用于面部表情质量评估

Shuchao Duan, Alan Whone, Hossein Rahmani, Jun Liu, Majid Mirmehdi

机构 * School of Computer Science University of Bristol（布里斯托大学计算机科学学院） ； Translational Health Sciences University of Bristol（布里斯托大学转化健康科学学院） ； School of Computing and Communications Lancaster University（兰卡斯特大学计算与通信学院） 纠错

专题命中 指令微调 ：instruction tuning(title)

AI总结 提出TraMP-LLaMA多模态框架，融合外观和轨迹特征，采用解耦指令微调策略，联合预测严重度并生成结构化文本报告，在PFED5-plus数据集上优于基线方法。

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

基于可微搜索的视觉基础模型层特定提示融合发现

Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； CMU（卡内基梅隆大学） ； Tulane（杜兰大学） ； UMKC（密苏里大学堪萨斯分校） ； UGA（佐治亚大学） ； ORNL（橡树岭国家实验室） 纠错

专题命中 指令微调 ：foundation model(title)

AI总结 研究视觉提示微调中提示与图像令牌的融合方案，提出可微架构搜索方法联合优化可学习提示及其融合方式，在34个数据集上取得一致提升。

Comments ECCV 2026

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

模型在哪里找到幸福？开源大语言模型中的情感向量

Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究在开源模型中复现情感向量，发现效价几何结构在层间分布存在差异，且唤醒度编码受语料影响。

Discovering Millions of Interpretable Features with Sparse Autoencoders

利用稀疏自编码器发现数百万可解释特征

XinYang He, Wei Wang, Bing Zhao, Xuan Ren, WenBo Li, WeiXu Qiao, Hu Wei, Lin Qu

机构 * AI DATA, Alibaba Group Holding Limited（阿里巴巴集团控股有限公司 AI DATA） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Qwen3-Instruct SAE，在Qwen3指令微调模型系列上训练稀疏自编码器，通过激活级和模型级评估揭示稀疏性-保真度权衡，并展示其在拒绝行为引导中的应用。

SSM Adapters via Hankel Reduced-order Modeling: Injection Site Determines Task Suitability in Long-Context Fine-Tuning

通过Hankel降阶建模的SSM适配器：注入位置决定长上下文微调中的任务适用性

Omanshu Thapliyal

机构 * Hitachi America Ltd.（日立美洲有限公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Hankel降阶模型(HRM)适配器，一种基于SSM的残差模块，通过平衡截断初始化，在长上下文任务中优于LoRA，并支持FFT并行扫描。

Comments 14 pages, 12 figures, HiLD Workshop @ ICML 2026

From Lexicon to AI: A Structured-Data Pipeline for Specialized Conversational Systems in Low-Resource Languages

从词汇到AI：低资源语言中专有对话系统的结构化数据流水线

Siddhant Hitesh Mantri, Dhara Gorasiya, Malhar Kulkarni, Pushpak Bhattacharya

机构 * NMIMS, Mumbai（NMIMS孟买分校） ； CFILT, IIT Bombay（印度理工学院孟买分校CFILT） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出利用专家编纂的词汇数据库（如印地语WordNet）生成指令对，微调12B参数语言模型，构建低资源语言专用对话系统，在教育任务中效果优于通用模型。

Comments 12 pages, 3 figures

Inherited Circuits, Learned Semantics: How Fine-Tuning Creates Evasion Vulnerabilities Invisible to Standard Evaluation

继承的电路，学习的语义：微调如何创建标准评估不可见的规避漏洞

Ryan Fetterman

机构 * Cisco Talos（思科 Talos） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；分类 cs.AI

AI总结 研究微调如何引入安全分类模型的规避漏洞，通过因果干预定位继承电路，提出预部署监测方法，发现微调扩展了规避面。

Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

缩小低资源文本转语音的质量差距：针对高棉语和韩语的VoxCPM2 LoRA微调

Phannet Pov, Sovandara Chhoun, Hyun Woo Park, Wan-Sup Cho, Saksonita Khoeurn

机构 * Department of Big Data, Chungbuk National University（Chungbuk National University大数据系） ； Institute of Digital Research and Innovation, Cambodia Academy of Digital Technology（柬埔寨数字技术研究院） ； Department of Management Information Systems, Chungbuk National University（Chungbuk National University管理信息系） ； BigData Labs Co., Ltd.（BigData Labs公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 针对高棉语和韩语，使用LoRA微调VoxCPM2模型，在仅训练0.19%-3.03%参数的情况下，高棉语MOS从3.85提升至4.23，而韩语无提升，表明适配主要帮助基础模型表现差的语言。

Comments 5 pages, 1 figure, 4 tables. IEEE conference format (IEEEtran)

VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization

VLMs 是视频推理的好老师：通过自适应测试时优化

Junhao Cheng, Liang Hou, Tianxiong Zhong, Xin Tao, Pengfei Wan, Kun Gai, Jing Liao

机构 * City University of Hong Kong（香港城市大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 提出将视觉语言模型（VLM）作为“教师”，通过提取任务规则并设计可微分奖励，指导视频生成模型（VGM）在测试时在线优化轻量级 LoRA 模块，从而提升视频推理的泛化能力。

Comments Project Page: https://VLM-as-Teacher.github.io/