语言大模型 / LLM

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

ReLope：KL正则化的LoRA探针用于多模态大语言模型路由

Yaopei Zeng, Congchao Wang, Blake JianHang Chen, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon AGI（亚马逊AGI） ； Google（谷歌） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型路由中探针性能下降问题，提出Attention Probe和KL正则化的LoRA探针ReLope，通过改进隐藏状态质量提升路由效果。

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

RAFP：通过稀有区域指纹识别大语言模型谱系

Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

机构 * Department of Computer Science, Columbia University, USA（哥伦比亚大学计算机科学系） ； Meta, USA（Meta公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型所有权验证需求，提出RAFP框架，利用稀有区域指纹识别模型谱系。该方法非侵入性，通过离散梯度优化构建指纹，理论分析表明其在微调下似然变化有界，实验显示在黑盒设置中性能优于基线。

Comments 16 pages

One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization

一个提示，多种声音：在基于大语言模型的均衡中建模听众差异

Ioannis Stylianou, Jon Francombe, Pablo Martinez-Nuevo, Sven Ewan Shepstone, Zheng-Hua Tan

机构 * Bang & Olufsen A/S, Struer, Denmark（丹麦Bang & Olufsen A/S公司，Struer） ； Department of Electronic Systems, Aalborg University（奥胡斯大学电子系统系） ； Pioneer Centre for AI, Copenhagen, Denmark（哥本哈根先锋人工智能中心） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用大语言模型将自然语言提示映射到均衡设置，通过上下文学习和参数高效微调技术，实现更灵活的音频均衡控制。

Comments 13 pages, 15 figures, 2 tables, Accepted for publication in the IEEE Journal of Selected Topics in Signal Processing

REALM: Reliable Expertise-Aware Language Model Fine-Tuning from Noisy Annotations

REALM：从嘈杂标注中可靠地进行语言模型微调

Sajjad Ghiasvand, Mark Beliaev, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；分类 cs.LG

AI总结 REALM通过无监督学习同时学习模型参数和标注者专业能力评分，提升在噪声标注下的微调效果，实验显示其在多种任务和数据集上均优于传统方法。

SAE-StatSteer: Statistical Consensus Feature Selection for Optimization-Free Activation Steering of Large Language Models

用于大语言模型激活空间控制的基于统计的稀疏特征干预

Oshayer Siddique, J. M Areeb Uzair Alam, Md Jobayer Rahman Rafy, Syed Rifat Raiyan, Hasan Mahmud, Md Kamrul Hasan

机构 * Islamic University of Technology（伊斯兰科技大学） ； Systems and Software Lab (SSL)（系统与软件实验室） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型激活空间控制问题时，提出基于统计的稀疏特征干预方法，先经可靠性过滤，再用三个统计量排序特征，构建引导方向。在多模型、领域和配置上实验，发现该方法有特定领域转移效果，且引导受多种因素影响，强调评估应兼顾质量与行为转移。

Comments Under review, 26 pages, 5 figures, 16 tables

LongCrafter: Towards Diverse Long-Context Understanding via Evidence-Graph-Guided Instruction Synthesis

LongCrafter：通过证据图引导的指令合成实现多样化的长上下文理解

Chenhao Yuan, Yinhao Xu, Shuwen Xu, Xizhi Yang, Jiaxiang Liu, Chenxi Zhou, Shaoping Huang, Haolin Ren, Pengfei Cao, Jun Zhao, Kang Liu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所认知与决策智能复杂系统重点实验室） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有长上下文理解方法的局限，提出LongCrafter框架，结合分层任务分类法与证据管道，生成多样化长上下文SFT数据，微调后的模型在多个数据集上表现优异，能有效缓解“中间迷失”问题。

(How) Learning Rates Regulate Catastrophic Overtraining

(如何) 学习率调节灾难性过训练

Mark Rofin, Aditya Varre, Nicolas Flammarion

机构 * EPFL（瑞士联邦理工学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；pretraining(abstract)；post-training(abstract)

AI总结 研究通过隐式正则化分析学习率对微调中灾难性遗忘的影响，发现学习率大小影响模型收敛方向，并揭示学习率衰减加剧预训练模型尖锐性从而导致灾难性过训练。

Comments COLM 2026

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

在做中保留：在线策略数据在缓解遗忘中的作用

Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文系统比较了监督微调（SFT）和强化学习（RL）在语言模型后训练中的遗忘模式，发现RL因使用在线策略数据而更少遗忘，并验证了在线策略数据是缓解遗忘的关键因素。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

On the Geometry of On-Policy Distillation

论在线策略蒸馏的几何结构

Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

机构 * HKUST（香港科技大学） ； UT Austin（得克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； Hong Kong PolyU（香港理工大学） ； USTC（中国科学技术大学） ； BUPT（北京邮电大学） ； Nankai University（南开大学） ； BIT（北京理工大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过参数空间诊断，揭示在线策略蒸馏（OPD）的更新轨迹具有松弛离主成分、子空间锁定等独特几何特性，表明其并非介于SFT和RLVR之间的中间方法。

Comments 17 pages, 8 figures

STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction

STaR-DRO: 面向群体鲁棒结构化预测的状态化Tsallis重加权

Samah Fodeh, Ganesh Puthiaraju, Elyas Irankhah, Afshan Khan, Sreeraj Ramachandran, Linhai Ma, Srivani Talakokkul, Sarah Schellhorn

机构 * Yale University（耶鲁大学） ； Yale School of Medicine（耶鲁医学院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出STaR-DRO框架，结合Tsallis镜像上升和稀疏entmax映射，仅对持续困难群体上权重，在结构化预测中提升标签准确性和鲁棒性，在EPPC Miner任务上相比SFT和标准DRO分别提升F1分数1.08和2.20。

RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

RedditPersona: 一个用于从Reddit进行社区条件化LLM适配的模块化框架

Amirhossein Ghaffari, Ali Goodarzi, Huong Nguyen, Simo Hosio, Lauri Lovén, Ekaterina Gilman

机构 * Future Computing Group University of Oulu（未来计算组奥卢大学） ； Centre for Applied Computing University of Oulu（应用计算中心奥卢大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RedditPersona模块化框架，通过五种分组策略和QLoRA训练参数高效适配器，在112个Reddit子版块上评估社区条件化语言模型，发现适配器的行为可识别性与策略内在一致性相关，且所有策略在可识别性和分布相似性之间存在一致权衡。

Comments Accepted manuscript (CC BY 4.0). To appear in ACM CIKM 2026, Rome, Italy, Nov 7-11, 2026. DOI: https://doi.org/10.1145/3799682.3840182

HermesHFL: Incentive-Compatible Hierarchical Federated Unlearning for Dynamic LLM Fine-Tuning

HermesHFL：用于动态大语言模型微调的激励兼容分层联邦遗忘

Chenxi Sun, Minghui Liwang, Wusi He, Yuhan Su, Zhang Liu, Sai Zou, Wei Ni, Seyyedali Hosseinalipour

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对大语言模型微调中分层联邦遗忘面临的挑战，提出HermesHFL框架，通过参数高效微调支持选择性遗忘等。制定统一优化问题，开发Neogen框架解决，实验表明该框架在模型效用等多方面优于现有基线。

Comments 15pages,8 figures

MM-ARC: Multimodal Adaptive Routing of Capital with Robustness-Audited Strategy Pools

MM-ARC：具有稳健性审核策略池的资本多模态自适应路由

Yang Chen, Yuchen Cao, Jacky Keung, Leilei Gan, Kun Kuang, Yueheng Jiang, Zhaozhao Ma, Jianping Zhu, Fei Wu, Jinpeng Li

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 研究金融交易系统如何转化多模态市场历史，提出MM-ARC方法，通过多视图在不同专家间分配资本，经稳健性审核筛选候选方案，实验显示该方法在夏普比率和最大回撤等指标上优于基线，有相对基准的支持。

Endogenous Resistance to Activation Steering in Language Models

语言模型中激活引导的内生抵抗

Alex McKenzie, Keenan Pepper, Stijn Servaes, Martin Leitgab, Murat Cubuktepe, Mike Vaiana, Diogo de Lucena, Judd Rosenblatt, Michael S. A. Graziano

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现大型语言模型在任务不匹配的激活引导下能内生抵抗，通过显式重启恢复正确生成，并识别出相关稀疏自编码器潜在变量，可增强或削弱该抵抗。

CLIP-AUTT: Test-Time Personalization with Action Unit Prompting for Fine-Grained Video Emotion Recognition

CLIP-AUTT: 基于动作单元提示的测试时个性化方法用于细粒度视频情绪识别

Muhammad Osama Zeeshan, Masoumeh Sharafi, Benoit Savary, Alessandro Lameiras Koerich, Marco Pedersoli, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal（LIVIA, ILLS, 系统工程学院, 蒙特利尔高等技术学院） ； LIVIA, Dept. of Software and IT Engineering, ETS Montreal（LIVIA, 软件与IT工程学院, 蒙特利尔高等技术学院） ； Dept. of Computer Science, École Polytechnique（计算机科学系, 巴黎综合理工学院） 纠错

专题命中 指令微调 ：prompting(title)；LLM(abstract,abstract_cn)；language model(abstract)；pretraining(abstract)

AI总结 本文提出CLIP-AUTT，通过动作单元提示实现测试时个性化，提升细粒度视频情绪识别的鲁棒性和个性化能力。

Comments ECCV, 2026

Token-Level Entropy Reveals Demographic Disparities in Large Language Models

Token级熵揭示语言模型中的群体统计差异

Messi H. J. Lee

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；分类 cs.CL

AI总结 通过测量零温度下全词汇香农熵，发现黑裔名字比白裔名字产生更高的首token熵，且女性名字比男性名字产生更低的熵和更同质的输出，种族和性别效应可加，指令微调未减弱种族差距，显式群体标签探测无显著种族效应。

Comments 25 pages

Psyche-R1: Towards Reliable Psychological LLMs through Unified Empathy, Expertise, and Reasoning

Psyche-R1：通过统一的同理心、专业知识和推理实现可靠的心理语言模型

Chongyuan Dai, Jinpeng Hu, Hongchang Shi, Zhuo Li, Dan Guo, Xun Yang, Meng Wang

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究旨在将大语言模型应用于心理领域，提出Psyche-R1模型。通过设计数据合成管道生成大量心理问题及对话，采用混合训练策略，经实验验证该模型在多个心理基准测试中有效，7B的Psyche-R1能取得与671B的DeepSeek-R1相当的结果。

Comments ACL 2026

Graph Representation Learning Augmented Model Manipulation on Federated Fine-Tuning of LLMs

图表示学习增强的模型操纵在联邦微调大型语言模型中的应用

Hanlin Cai, Kai Li, Houtianfu Wang, Haofan Dong, Yichen Li, Falko Dressler, Ozgur B. Akan

机构 * Centre for neXt Communications (CXC), Department of Engineering, University of Cambridge（下一代通讯中心（CXC），工程系，剑桥大学） ； Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠与信任跨学科中心（SnT），卢森堡大学） ； Telecommunication Networks group (TKN) at the School of Electrical Engineering and Computer Science, TU Berlin（电信网络组（TKN）位于电气工程与计算机科学学院，柏林技术大学） ； Center for neXt-Generation Communications (CXC), Department of Electrical and Electronics Engineering, Koç University（下一代通讯中心（CXC），电子与电气工程系，科克大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出AugMP策略，通过图表示学习框架和迭代操纵算法，增强对抗性更新的有效性和隐蔽性，实验表明其能显著降低全局LLM准确率。

Speaker Verification with Speech-Aware LLMs: Evaluation and Augmentation

语音感知大语言模型的说话人验证：评估与增强

Thomas Thebaud, Yuzhe Wang, Laureano Moro-Velazquez, Jesus Villalba-Lopez, Najim Dehak

机构 * Electrical and Computer Engineering Department, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学电气与计算机工程系） ； Human Language Technology Center of Excellence, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学人机语言技术中心卓越中心） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出模型无关的评分协议评估语音感知LLM的说话人区分能力（EER>20%），并通过注入冻结的ECAPA-TDNN说话人嵌入和LoRA微调，实现接近专用系统的性能（EER 1.03%）。

Comments 3 Tables, 1 Figure, Published in Interspeech 2026

MolE-RAG: Molecular Structure-Enhanced Retrieval-Augmented Generation for Chemistry

MolE-RAG：面向化学的分子结构增强检索增强生成

Joey Chan, Wonbin Kweon, Ashley Shin, Niharika Bhattacharjee, Pengcheng Jiang, Yue Guo, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出无需训练的分子中心检索增强生成框架MolE-RAG，通过整合检索文献、分子特定信息和结构相似分子三种上下文，显著提升LLM在分子性质预测任务中的性能。

3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding

3D-RFT：基于视频的3D场景理解的强化微调

Xiongkun Linghu, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出3D-RFT框架，将可验证奖励的强化学习（RLVR）扩展到视频3D感知与推理，通过直接优化评估指标（如3D IoU和F1分数）提升性能，4B模型超越8B模型。

Comments Accepted at ICML 2026. Project page: https://3d-rft.github.io/

EiCAP: Beyond Fluency, Probing and Improving Emotional Intelligence in LLMs via Psychologically Grounded Multi-Turn Dialogue

EiCAP：超越流畅性，通过心理学基础的多轮对话探究和提升大语言模型的情感智能

Nizi Nazar, Pardis Sadat Zahraei, Dilek Hakkani-Tür, Natasa Milic-Frayling, Ehsaneddin Asgari

机构 * Qatar Computing Research Institute (QCRI), Hamad Bin Khalifa University（卡塔尔计算研究所（QCRI），哈马德·本·卡伊夫大学） ； University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于心理学六层情感智能分类法的EiCAP框架，包含评估基准EiCAP-Bench和微调语料EiCAP-SFT，发现通用对话微调不提升情感智能，而基于情感智能的LoRA微调显著提升模型在所有24个子类别上的表现。

What Really Matters for Table LLMs? A Meta-Evaluation of Model and Data Effects

表格LLM真正重要的是什么？模型与数据影响的元评估

Naihao Deng, Sheng Zhang, Henghui Zhu, Shuaichen Chang, Jiani Zhang, Alexander Hanbo Li, Chung-Wei Hang, Hideo Kobayashi, Yiqun Hu, Patrick Ng

机构 * University of Michigan（密歇根大学） ； AWS AI Labs（AWS人工智能实验室） ； Figma ； OKX ； Google（谷歌） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；foundation model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 通过指令微调12个模型并在16个基准上评估，发现基座模型选择比训练数据对性能影响更大，泛化与推理仍是挑战。

Comments EACL 2026 Findings

CacheRAG: A Semantic Caching System for Retrieval-Augmented Generation in Knowledge Graph Question Answering

CacheRAG：面向知识图谱问答中检索增强生成的语义缓存系统

Yushi Sun, Lei Chen

机构 * HKUST Hong Kong China（香港理工大学（中国）） ； HKUST(GZ) / HKUST Guangzhou / Hong Kong China (2018)（香港理工大学（广州）/ 香港理工大学（广州）/ 香港中国（2018）） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM驱动的KGQA系统作为无状态规划器导致模式幻觉和检索覆盖有限的问题，提出CacheRAG，一种基于缓存的架构，通过模式无关接口、多样性优化缓存检索和有界启发式扩展，将无状态规划器转变为持续学习器，显著提升准确性和真实性。

MOSS-Audio Technical Report

MOSS-Audio 技术报告

Chen Yang, Chufan Yu, Hanfu Chen, Jie Zhu, Jingqi Chen, Ke Chen, Wenxuan Wang, Yang Wang, Yaozhou Jiang, Yi Jiang, Zhengyuan Lin, Ziqi Chen, Zhaoye Fei, Chenghao Liu, Donghua Yu, Jun Zhan, Kang Yu, Kexin Huang, Liwei Fan, Mingshu Chen, Qinyuan Cheng, Ruixiao Li, Shimin Li, Songlin Wang, Xingjian Zhao, Yang Gao, Yitian Gong, Yiyang Zhang, Zhe Xu, Xipeng Qiu

机构 * OpenMOSS Team（开放MOSS团队） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出统一音频-语言模型 MOSS-Audio，通过 DeepStack 跨层特征注入和时间标记实现语音、环境声和音乐的理解，在音频字幕、时间感知问答、时间戳转录和音频推理任务上取得强性能。

TriShield: Zero-Utility-Loss Defense Against Privacy Backdoors in Federated Language Model Fine-Tuning via Orthogonal Gradient Projection and Optimizer State Entanglement

TriShield：通过正交梯度投影与优化器状态纠缠实现联邦语言模型微调中隐私后门的零效用损失防御

Cheng Wei

机构 * Honor Device Co., Ltd.（荣耀终端有限公司） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 TriShield是一种三层确定性防御，通过参数特征检测、有状态虚拟迭代和零效用正交投影，可完全抵御NeuroImprint攻击，且零模型效用损失、无额外通信轮次，计算开销低。

Comments 12 pages,3 figures

SafeCRS: Personalized Safety Alignment for LLM-Based Conversational Recommender Systems

SafeCRS: 为基于大语言模型的对话推荐系统实现个性化安全对齐

Haochang Hao, Yifan Xu, Xinzhuo Li, Yingqiang Ge, Lu Cheng

机构 * University of Illinois at Chicago（伊利诺伊大学芝加哥分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 SafeCRS通过整合安全监督微调与安全组奖励解耦归一化策略优化，提升基于大语言模型的对话推荐系统在个性化安全约束下的推荐质量与安全对齐能力。

Comments Accepted by SIGKDD 2026

LuxInstruct: A Cross-Lingual Instruction Tuning Dataset For Luxembourgish

LuxInstruct：一个用于卢森堡语的跨语言指令微调数据集

Fred Philippy, Laura Bernardy, Siwen Guo, Jacques Klein, Tegawendé F. Bissyandé

机构 * SnT, University of Luxembourg（卢森堡大学SnT学院） ； Zortify Labs, Zortify S.A.（Zortify实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对卢森堡语缺乏高质量指令数据集问题，利用英、法、德对齐数据创建跨语言指令微调数据集，避免机器翻译弊端，提升模型在卢森堡语中的生成能力，为低资源语言发展提供新思路。

Comments Paper accepted at KONVENS 2026

Benchmarking LLMs on File System Design and Implementation

在文件系统设计与实现上对大语言模型（LLMs）进行基准测试：优势、不足与缺陷

Yuqi Xue, Daixuan Li, Jian Huang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出针对文件系统特定任务的LLM基准框架phi-Bench，含505项六类任务，测试开源与专有LLMs，揭示模型效率、失败原因及缓解技术，将开源phi-Bench。

Constitutional Midtraining: Content Presence Drives Alignment Gains

宪法式中间训练：内容存在驱动对齐增益

Desiree Cho, Cameron Tice, Bernie Hogan, Hunar Batra, Puria Radmard, Jun Zhao, Nigel Shadbolt

机构 * University of Oxford（牛津大学） ； Institute for Ethics in AI, University of Oxford（牛津大学人工智能伦理研究所） ； Geodesic Research ； Oxford Internet Institute, University of Oxford（牛津大学互联网研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出宪法式中间训练方法，在中间训练中插入基于原则价值观的内容，可提升模型对齐的泛化性与持久性，削弱SFT灌输的敲诈倾向且不造成能力损失，为以SFT为中心的流程提供低成本补充方案。