语言大模型 / LLM

Guidelines for Empirical Studies in Software Engineering involving Large Language Models

涉及大语言模型的软件工程实证研究指南

Sebastian Baltes, Florian Angermeir, Chetan Arora, Marvin Muñoz Barón, Chunyang Chen, Lukas Böhme, Fabio Calefato, Neil Ernst, Davide Falessi, Brian Fitzgerald, Davide Fucci, Junda He, Christoph Treude, Marcos Kalinowski, Stefano Lambiase, Daniel Russo, Mircea Lungu, Cristina Martinez Montes, Lutz Prechelt, Paul Ralph, Rijnard van Tonder, Stefan Wagner

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对大语言模型在软件工程研究中的非确定性、不透明训练数据和快速演化问题，通过22位研究者的协作，提出七种研究类型分类和八条设计报告指南，以提升实证研究的可重复性和可复现性。

Comments 86 pages, 4 tables, accepted in Empirical Software Engineering

Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining

学习预测什么：下游引导的持续预训练任务设计

Shuqi Ke, Giulia Fanti

机构 * Department of ECE（电子工程系） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,summary_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出V-pretraining方法，通过轻量级任务设计器为无标签批次构建目标或视图，利用下游损失的一阶减少作为反馈，指导自监督更新，提升目标能力而不损害泛化。

Natively Unlearnable Large Language Models

原生不可学习的大语言模型

Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出NULLs模型，通过共享骨干和稀疏激活的sinks分离数据源贡献，实现无需梯度更新的高效遗忘，在维基百科上验证了单篇文章遗忘的有效性和鲁棒性。

OLaPh: Optimal Language Phonemizer

OLaPh: 最优语言音素化器

Johannes Wirth

机构 * Institute for Information Systems at Hof University of Applied Sciences（霍夫应用科学大学信息学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出OLaPh混合框架，结合多语言词典、NLP技术和统计子词分割，在WikiPron基准上显著优于基线，并通过LLM合成语料探索神经泛化能力。

Comments 12 pages, 1 figure, 4 tables

The Culture Funnel: You Can't Align What isn't in the Data

文化漏斗：你无法对齐不在数据中的内容

Ananya Sahu, Mehrnaz Mofakhami, Daniel D'Souza, Thomas Euyang, Julia Kreutzer, Marzieh Fadaee

机构 * Cohere Labs（Cohere实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；post-training(abstract)；分类 cs.CL

AI总结 针对当前文化对齐方法依赖推理时干预而忽视训练数据的问题，提出文化数据漏斗概念，通过多维标签框架分析预训练、微调、对齐和推理数据集，发现后训练阶段文化信号急剧下降，多语言性虽增强地理多样性但未能确保平衡，所提标签可提升下游文化基准性能。

Bayesian-Calibrated Detection of Hallucinated Package Imports in AI-Assisted Code

AI辅助代码中幻觉包导入的贝叶斯校准检测

Lom M. Hillah, Jean-Marc Richard, Ryan Hasnaoui

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出贝叶斯校准层，基于三元认知分类法输出Beta后验概率，并利用PyPI元数据检测注册但可疑的包，优于二元基线。

Comments 23 pages, 2 figures, 5 tables

Time Series Causal Discovery via Context-Conditioned and Causality-Augmented Pretraining

基于上下文条件与因果增强预训练的时间序列因果发现

Biao Ouyang, Tengxue Zhang, Zhihao Zhuang, Yang Shu, Chenjuan Guo, Bin Yang

机构 * East China Normal University（东华师范大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出PTCD框架，通过上下文条件建模和可迁移因果增强的预训练范式，提升跨任务时间序列因果发现的泛化能力，在多个真实OOD数据集上因果发现和根因识别表现优异。

Comments 20 pages

Achieving Precise Text-To-Cypher Via Grounded Knowledge Graph Data Generation

通过基于知识图谱的数据生成实现精确的文本到Cypher转换

Francesco Cazzaro, Jessica Lennon, Ariadna Quattoni

机构 * Universitat Politècnica de Catalunya（波兰理工大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出一种自动合成数据生成方法，微调小型LLM以提升Text2Cypher性能，使其在本地部署中与大型专有模型竞争，保障数据主权。

The Linguistics Olympiads: Towards a New Corpus for Linguistics Research?

语言学奥林匹克：语言学研究的语料库新方向？

Vlad A. Neacsu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文探讨语言学奥林匹克问题作为语言学语料库的潜力，分析其优势与局限，并提出在学术研究中负责任使用的标准。

Comments Accepted for publication in LingBaW. Linguistics Beyond and Within (Volume 12, 2026)

Stability and Political Orientation of International LLMs: An Exploratory Multi-Run Study Conducted in French

国际大语言模型的稳定性与政治倾向：一项在法语中进行的探索性多轮研究

Gabriel Hanna, Pierre Hanna

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本研究通过政治指南针问卷在法语环境下测试11个国际大语言模型，分析其政治回答的稳定性和隐含倾向，发现模型间及运行间存在显著差异。

Comments 21 pages. Also available in French

A Unified Subject Map for 130 Years of Physics

130年物理学的统一学科地图

Khoa Nguyen, Pragyan Pandey, Sophie Li, Eric Y. Ma

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 利用前沿大语言模型为美国物理学会历史档案统一分配现代物理主题词表，生成1893-2025年所有论文的学科地图，支持量化分析和数据驱动研究。

From Self-Supervised Speech Models to Mixture-of-Experts for Robust Anti-Spoofing

从自监督语音模型到混合专家系统以实现鲁棒的防欺骗

Hugo Daumain, Driss Matrouf, Khaled Khelif, Mickael Rouvier

机构 * Université d'Avignon（阿维尼翁大学） ； Airbus Defence & Space（空中客车防务与航天公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 将自监督语音模型转换为混合专家架构，通过层间门控机制增强泛化能力，在14个欺骗数据集上将宏EER从5.46%降至4.81%。

Comments 8 pages, 3 figures, accepted at Odyssey 2026 (The Speaker and Language Recognition Workshop)

A Computational Audit of Demographic Association Encoding in ClinicalBERT Language Predictions

ClinicalBERT 语言预测中人口统计关联编码的计算审计

Kehinde Temitayo Soetan

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 通过两种探针方法审计 ClinicalBERT 中的表征偏差，发现模型主要放大而非继承训练数据中的统计差异。

Comments 17 pages, 4 tables, appendices A-E, preprint

Self-Evolving Visual Questioner

自演化视觉提问器

Yijun Liang, Hengguang Zhou, Ming Li, Lichen Li, Cho-Jui Hsieh, Tianyi Zhou

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Peking University（北京大学） ； Arena ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 提出自演化框架，让视觉语言模型作为提问器和过滤器，无需外部监督即可生成更难、更信息丰富、更视觉中心的问题，并保持探索多样性以避免训练崩溃，显著提升自主提问质量和难度边界。

Comments 21 pages, including references and appendix. Project Page is available at https://joliang17.github.io/SelfEvolvingVQG/

C-MambaPose: A Physics-Informed Complex Mamba Framework for Cross-Environment WiFi Human Pose Estimation

C-MambaPose：一种物理信息驱动的复杂Mamba框架用于跨环境WiFi人体姿态估计

Phuc Nguyen H

机构 * VinUniversity（文大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出C-MambaPose，一种结合物理信息的复值Mamba-GraFormer混合框架，通过相位保留表示和动态选择性感受野的时空复杂Mamba编码器，实现跨环境WiFi三维人体姿态估计，在MM-Fi数据集上以3.78M参数达到SOTA。

BabAR: from phoneme recognition to developmental measures of young children's speech production

BabAR：从音素识别到幼儿语音产出的发展性测量

Marvin Lavechin, Elika Bergelson, Roger Levy

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出跨语言音素识别系统BabAR，利用多语种儿童语音语料库TinyVox训练，通过预训练和上下文微调提升性能，自动测量与发育评估一致。

From Prompts to Responses: Dual-Sided Data Leakage and Defense in Split Large Language Models

从提示到响应：分割大语言模型中的双面数据泄露与防御

Zixuan Gu, Xiaojun Ye, Yang Liu

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出PIDI攻击方法，同时泄露分割LLM中的输入提示和输出响应；并设计ADMI防御机制，通过适配器热身和互信息正则化有效抵御攻击。

Comments 18 pages, Accepted at ICML 2026

Token-Level LLM Collaboration via FusionRoute

通过融合路由实现令牌级LLM协作

Nuoya Xiong, Yuhang Zhou, Hanqing Zeng, Zhaorun Chen, Furong Huang, Shuchao Bi, Lizhu Zhang, Zhuokai Zhao

机构 * [cs.AI]（计算机科学与人工智能） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出FusionRoute框架，通过轻量级路由器在解码步骤中选择最合适的专家并补充对数几率以优化下一个令牌分布，解决了单个通用模型在多个领域表现不佳的问题，同时在多个基准测试中优于其他方法。

Comments 25 pages

SkillMutator: Benchmarking and Defending Language-and-Code Cross-modal Attacks on LLM Agent Skills

SkillMutator: 基准测试与防御针对LLM代理技能的语言与代码跨模态攻击

Youngduk Kim, Minkyoo Song, Seungwon Shin

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SkillMutator基准，模拟13类跨模态攻击，并设计四阶段推理轨迹蒸馏框架，将检测率从17.1%提升至88.2%，超越GPT-4o-mini。

Patcher: Post-Hoc Patching of Backdoored Large Language Models

Patcher: 后门大型语言模型的事后修补

Anjun Gao, Yueyang Quan, Yufei Xia, Zhuqing Liu, Minghong Fang

机构 * University of Louisville（路易斯维尔大学） ； University of North Texas（北得克萨斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出Patcher框架，仅利用单个失败案例和模型参数，通过基于梯度的显著性定位后门触发器，并采用约束微调消除触发-响应关联，同时保持模型效用。

Comments To appear in the USENIX Security Symposium, 2026

STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction

STaR-DRO: 面向群体鲁棒结构化预测的状态化Tsallis重加权

Samah Fodeh, Ganesh Puthiaraju, Elyas Irankhah, Afshan Khan, Sreeraj Ramachandran, Linhai Ma, Srivani Talakokkul, Sarah Schellhorn

机构 * Yale University（耶鲁大学） ； Yale School of Medicine（耶鲁医学院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出STaR-DRO框架，结合Tsallis镜像上升和稀疏entmax映射，仅对持续困难群体上权重，在结构化预测中提升标签准确性和鲁棒性，在EPPC Miner任务上相比SFT和标准DRO分别提升F1分数1.08和2.20。

3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding

3D-RFT：基于视频的3D场景理解的强化微调

Xiongkun Linghu, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出3D-RFT框架，将可验证奖励的强化学习（RLVR）扩展到视频3D感知与推理，通过直接优化评估指标（如3D IoU和F1分数）提升性能，4B模型超越8B模型。

Comments Accepted at ICML 2026. Project page: https://3d-rft.github.io/

EiCAP: Beyond Fluency, Probing and Improving Emotional Intelligence in LLMs via Psychologically Grounded Multi-Turn Dialogue

EiCAP：超越流畅性，通过心理学基础的多轮对话探究和提升大语言模型的情感智能

Nizi Nazar, Pardis Sadat Zahraei, Dilek Hakkani-Tür, Natasa Milic-Frayling, Ehsaneddin Asgari

机构 * Qatar Computing Research Institute (QCRI), Hamad Bin Khalifa University（卡塔尔计算研究所（QCRI），哈马德·本·卡伊夫大学） ； University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于心理学六层情感智能分类法的EiCAP框架，包含评估基准EiCAP-Bench和微调语料EiCAP-SFT，发现通用对话微调不提升情感智能，而基于情感智能的LoRA微调显著提升模型在所有24个子类别上的表现。

Learning the Context of Errors: Black-Box Online Adaptation of Time Series Foundation Models

学习错误的上下文：时间序列基础模型的黑盒在线自适应

Xilin Dai, Yiding Liu, Hongjie Xia, Yifan Hu, Zewei Dong, Jiang-Ming Yang, Qiang Xu

机构 * Ant International（蚂蚁国际） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对黑盒时间序列基础模型在线自适应问题，提出ORCA方法，通过学习基础模型预测误差的上下文（输入和输出）进行自适应，在5个模型和8个数据集上验证有效性。

CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward

CacheRL: 通过缓存轨迹和混合奖励实现多轮工具调用智能体

Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim

机构 * Center for Advanced AI Accenture（埃森哲高级人工智能中心） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；foundation model(abstract)；分类 cs.CL

AI总结 提出CacheRL系统，通过混合思维轨迹流水线、三级模糊缓存和缓存层级感知奖励，以100倍更少计算量实现92%的多步工具调用准确率，接近GPT-5的94%。

Optimality-Preserving Decomposition for Scalable QAOA in Natural-Language-Guided Multi-Drone Assignment

面向自然语言引导的多无人机分配中可扩展QAOA的最优性保持分解

Junyeop Bang, Byongho Lee, Dohyun An, Hwangnam Kim

机构 * Korea University（高丽大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 提出端到端框架，集成微调大语言模型与量子-经典后端，通过约束保持图分割和动态规划合并，实现自然语言引导下多无人机任务分配的可扩展量子优化。

Comments 10 pages, 2 figures, 3 tables, preprint

Quantized Evolution Strategies: High-precision Fine-tuning of Quantized LLMs at Low-precision Cost

量化进化策略：以低精度代价实现量化大语言模型的高精度微调

Yinggan Xu, Kajetan Schweighofer, Risto Miikkulainen, Xin Qiu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Cognizant AI Lab（Cognizant AI实验室） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出量化进化策略（QES），通过集成累积误差反馈和无状态种子重放，直接在量化空间进行全参数微调，无需反向传播，显著优于现有零阶微调方法。

Comments Added more tasks and baselines

TA-RAG: Tone-Aware Retrieval-Augmented Generation for Peer-Support Health Communication

TA-RAG: 面向同伴支持健康沟通的语气感知检索增强生成

Yong-Bin Kang, Anthony McCosker

机构 * Swinburne University of Technology（斯winburne大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出TA-RAG框架，通过轻量级提示在RAG管道中嵌入语气控制（无污名化、可读性调整、受众适应、同理心改写），无需微调模型，提升敏感健康沟通质量。

Comments 5 pages, 5 figures, CIKM 2026 submission manuscript

Selective Field Transmission: Bandwidth Efficient Communication under Standardized Message Schemas

选择性字段传输：标准化消息模式下的带宽高效通信

David Philipp Klüner, David Murach, Stefan Kowalewski, Alexandru Kampmann

专题命中 指令微调 ：SFT(summary_cn,abstract)

AI总结 提出选择性字段传输（SFT）机制，通过动态适配传输内容至接收方实际需求，在保持标准接口不变的同时显著降低带宽消耗，且无额外延迟开销。

Comments 8 pages, 9 figures, IEEE ETFA

Dense Coordinate-List Fine-Tuning Induces a Controllable Interference Surface in Vision-Language Models

密集坐标列表微调在视觉语言模型中诱导可控干扰面

Chenyu Zhou, Qiliang Jiang, Boguang Pan

机构 * School of Engineering, Institute of Science Tokyo（东京科学大学工学院） ； College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） ； Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 研究密集坐标列表微调对视觉语言模型结构化输出（如重复、终止）的影响，发现其产生结构绑定且跨家族的干扰面，可通过目标信号分离和结构轴探针进行测量与控制。