语言大模型 / LLM

Pretraining Data Exposure in Large Language Models: A Survey of Membership Inference, Data Contamination, and Security Implications

大型语言模型中的预训练数据暴露：成员推断、数据污染及安全影响综述

Ziyi Tong, Feifei Sun, Le Minh Nguyen

机构 * Japan Advanced Institute of Science and Technology（日本先进科学研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文首次统一综述了大型语言模型中的预训练数据暴露问题，涵盖成员推断和数据污染，形式化定义了暴露级别，回顾了攻击与防御方法，并总结了实证发现及未来研究方向。

Comments accepted by NLDB 2025

Attribute-Based Diagnosis of LLM Alignment with Hate Speech Annotations

基于属性的LLM与仇恨言论标注的对齐诊断

Mohammad Amine Jradi, Faeze Ghorbanpour, Alexander Fraser

机构 * School of Computation, Information and Technology, TU Munich（计算、信息与技术学院，慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过分析LLM在十个主观属性上的判断与人类标注的对齐情况，发现行为显式维度对齐良好而评价维度系统性反转，并提出基于置信度加权岭回归的属性组合方法，重构连续仇恨言论分数，R²达0.71。

Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories

灯塔中的伊莱亚斯，再次？诊断LLM故事中的低多样性

Sil Hamilton, David Mimno

机构 * Department of Information Science（信息科学系） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过采样20000个故事发现，LLM生成的故事中存在高度重复的词汇（如Elias、灯塔等），这些词汇来自偏好数据而非预训练数据，表明小数据集与强对齐算法的结合可能对多样性产生不成比例的影响。

Divergent Minds, Convergent Baselines: A Bounded-Rationality Account of LLM-Human Strategic Behaviour

分歧的思维，趋同的基线：LLM与人类战略行为的有界理性解释

Po Han Teo

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 本文提出有界理性框架，将人类与LLM在战略博弈中的行为差异归因于计算约束的不同，并给出四个操作测试来区分两者的偏差项δ。

Comments 12 pages, 1 table, no figures. Theoretical prequel paper

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

TSFMAudit: 时间序列基础模型中的数据污染审计

Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

机构 * Zhejiang University（浙江大学） ； Télécom Paris（巴黎高等电信学院） ； State Street Technology (Zhejiang) Ltd.（State Street Technology（浙江）有限公司） ； Datadog 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对时间序列基础模型（TSFMs）预训练数据污染问题，提出基于探针适应动力学的审计方法TSFMAudit，通过检测微调后损失下降更快且骨干网络移动更小的异常现象来识别污染数据集。

Comments 22 pages, 7 figures, 9 tables

Model Unlearning Objectives Vary for Distinct Language Functions

模型遗忘目标因语言功能而异

Berk Atil, Vipul Gupta, Rebecca J. Passonneau

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Scale AI 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出针对不同语言功能（危险知识遗忘和毒性遗忘）应设计不同的遗忘方法，并分别提出基于余弦的元学习变体RMU和多层目标方法，在多个7-8B模型上取得良好效果。

On the Robustness of Machine Unlearning for Vision-Language Models

机器遗忘在视觉-语言模型中的鲁棒性研究

Yujie Lin, Kaidi Jia, Jiayao Ma, Chengyi Yang, Jinsong Su

机构 * Xiamen University（厦门大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；prompting(abstract)

AI总结 本文首次系统调查了视觉-语言模型机器遗忘的鲁棒性，通过提出三种攻击范式揭示现有方法往往隐藏而非彻底移除目标知识。

InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement

InHabit: 利用图像基础模型实现可扩展的3D人体放置

Nikita Kister, Pradyumna YM, István Sárándi, Jiayi Wang, Anna Khoreva, Gerard Pons-Moll

机构 * Bosch Center of Artificial Intelligence（博世人工智能中心） ； Max Planck Institute for Informatics（马克斯·普朗克信息学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

AI总结 提出InHabit方法，通过渲染-生成-提升流程利用2D基础模型知识自动生成3D场景中与几何一致的人体交互数据，并构建大规模数据集InHabitants，显著提升3D人体-场景重建和接触估计性能。

An In-Vitro Study on Cross-Lingual Generalization in Language Models

语言模型中跨语言泛化的体外研究

Adrian Cosma

机构 * Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒莫利人工智能研究所（IDSIA）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过构建两种程序生成的语言，独立控制词汇距离、少数语言比例等变量，研究语言模型跨语言迁移的机制，发现迁移主要取决于分词是否保留可复用的跨语言子结构，且词汇量越小越有利于掩码迁移。

Comments 16 Figures, 1 Table

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

在预训练视觉语言模型的后验分布外检测中尊重模态差距

Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

机构 * The University of Queensland（昆士兰大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 针对预训练视觉语言模型在后验分布外检测中文本原型与视觉原型存在模态差距的问题，提出在线伪监督框架直接在视觉特征空间学习类原型，实现新最优性能。

Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model

锚定解码：可证明降低任何语言模型的版权风险

Jacqueline He, Jonathan Hayase, Wen-tau Yih, Sewoong Oh, Luke Zettlemoyer, Pang Wei Koh

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出锚定解码，一种即插即用的推理时方法，通过将生成内容约束在许可训练的安全模型附近，可证明地抑制语言模型逐字复制受版权保护的内容，实现可调的风险-效用权衡。

Comments Accepted to ICML 2026. 53 pages, 14 figures, 22 tables. Code is publicly available at https://github.com/jacqueline-he/anchored-decoding

Lifting Data-Tracing Machine Unlearning to Knowledge-Tracing for Foundation Models

将数据追踪的机器遗忘提升为基础模型的知识追踪

Yuwen Tan, Boqing Gong

机构 * Boston University（波士顿大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出将数据追踪的机器遗忘提升为基础模型的知识追踪，以应对多样化遗忘请求，并更接近人类遗忘机制，通过视觉语言模型案例展示实现范式。

Comments Accepted to TMLR

Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)

迷失在采样中：通过词覆盖率评估大语言模型中的词汇可达性

Samer Awad, Javier Conde, Carlos Arriaga, Tairan Fu, Javier Coronado-Blázquez, Pedro Reviriego

机构 * Information and Processing Telecommunications Center（信息与处理电信中心） ； Universidad Politécnica de Madrid（马德里理工大学） ； Politecnico di Milano（米兰理工大学） ； Banco de España（西班牙银行） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出词覆盖率（WCS）指标，量化标准采样过滤器（如Top-p、Top-k、Min-p）如何抑制低频率高信息词汇的生存率，揭示解码机制对语言多样性的影响。

Comments 15 pages, 6 figures

SeDT: Sentence-Transformer Decision-Transformer Conditioning for Multi-Turn Conversation Reliability

SeDT: 基于句子变换器的决策变换器条件化用于多轮对话可靠性

Ramakrishna Vamsi Setti, Jagadeesh Rachapudi, Sachin Chaudhary, Praful Hambarde, Amit Shukla

机构 * Independent Researcher（独立研究者） ； Drone Lab, IIT Mandi（IIT曼迪无人机实验室） ； UPES, Dehradun（德里敦UPES） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型在多轮对话中性能下降的问题，提出一种无需训练和额外数据的推理方法SeDT，通过引入离线强化学习中的return-to-go条件化，利用语义、词汇和位置信号计算累积相关性得分并注释对话历史，显著提升模型性能并降低不可靠性。

When Does Synthetic Patent Data Help? Volume-Fidelity Trade-offs in Low-Resource Multi-Label Classification

合成专利数据何时有帮助？低资源多标签分类中的数量-保真度权衡

Amirhossein Yousefiramandi, Ciaran Cooney

机构 * Clarivate, Intellectual Property（Clarivate知识产权） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 研究通过LLM生成合成数据用于多标签专利分类时的数量与保真度权衡，发现低资源场景下数量效应主导，高资源场景下保真度更重要，混合数据策略最优。

DunbaaBERT: From Sacrifice to Semantics

DunbaaBERT: 从牺牲到语义

Iffat Maab, Waleed Jamil, Raphael Schmitt

机构 * Research and Development Center for Large Language Models (LLMC), National Institute of Informatics, Tokyo（大型语言模型研发中心（LLMC），信息研究所，东京） ； School of Computation, Information and Technology, Technical University of Munich, Germany（计算、信息与技术学院，慕尼黑技术大学，德国） ； Institute of General Practice, Faculty of Medicine and Medical Center, University of Freiburg, Germany（临床医学系，弗赖堡大学医学院及医学中心，德国） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DunbaaBERT，一种从零训练的乌尔都语RoBERTa-base模型族，通过不同词汇表大小在17GB语料上预训练，在多项下游任务中达到与强多语言基线相当的性能，并发现较大词汇表并不持续提升效果。

To model human linguistic prediction, make LLMs less superhuman

为了模拟人类语言预测，让大语言模型不那么超人类

Byung-Doh Oh, Tal Linzen

机构 * Division of Linguistics and Multilingual Studies, Nanyang Technological University, Singapore（南洋理工大学语言学与多语言研究系，新加坡） ； Department of Linguistics, New York University, New York, USA（纽约大学语言学系，纽约，美国） ； Center for Data Science, New York University, New York, USA（纽约大学数据科学中心，纽约，美国） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文指出大语言模型因超人类预测能力而无法解释人类阅读行为，主张通过模拟人类记忆来改进模型，并提出新实验方向。

Comments Accepted to Trends in Cognitive Sciences

ParsVoice: A Large-Scale Multi-Speaker Persian Speech Corpus for Text-to-Speech Synthesis

ParsVoice: 面向文本到语音合成的大规模多说话人波斯语语音语料库

Mohammad Javad Ranjbar Kalahroodi, Heshaam Faili, Azadeh Shakery

机构 * School of Electrical and Computer Engineering, University of Tehran（塔里哈大学电气与计算机工程学院） ； Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM）） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ParsVoice，目前最大的公开波斯语语音-文本语料库，通过可扩展的流水线从长篇有声读物构建高质量数据，用于训练多说话人TTS系统，并验证了其在零样本多说话人TTS中的有效性。

Transformers Can Learn Posterior Predictive Distributions In-Context

Transformer可以在上下文中学习后验预测分布

Gyeonghun Kang, Changwoo J. Lee, Xiang Cheng

机构 * Department of Statistical Science, Duke University, Durham, NC, USA（统计科学系，达勒姆大学，达勒姆，NC，美国） ； Department of Electrical and Computer Engineering, Duke University, Durham, NC, USA（电气与计算机工程系，达勒姆大学，达勒姆，NC，美国） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文通过构造证明Transformer能够实现针对后验预测均值和方差的梯度下降算法，并研究其逼近后验预测分布的误差界，揭示了归一化和注意力深度对泛化能力的关键作用。

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

通过扩散策略优化扩展世界模型强化学习

Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

机构 * Dynamic Systems Lab, University College London（伦敦大学学院动态系统实验室） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Santa Fe Institute（圣塔菲研究所） ； School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院） ； Department of Computing, Imperial College London（伦敦帝国理工学院计算系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 针对世界模型强化学习中搜索与价值学习之间的结构错位问题，提出基于扩散策略优化的模型基方法MBDPO，统一搜索与策略优化，实现可扩展的策略学习。

Compute Optimal Tokenization

计算最优分词

Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer

机构 * FAIR at Meta（Meta 的 FAIR） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 通过训练988个BLT模型，研究压缩率（每token平均字节数）对缩放趋势的影响，发现计算最优配置下模型参数量与数据字节数成比例，且最优压缩率低于BPE并随计算量下降。

Is Position Bias in Dense Retrievers Built In-or Learned from Data?

密集检索器中的位置偏差是内置的还是从数据中学习的？

Daegon Yu, SeungYoon Han, Woomyoung Park

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 研究密集检索器中位置偏差的来源，通过构造位置偏斜的训练集微调模型，发现训练数据中证据的位置分布是影响检索级偏差方向的主要可控因素，并验证了位置平衡训练可显著降低位置敏感性。

Property Enhanced Instruction Tuning for Multi-task Molecule Generation with Large Language Models

属性增强指令微调用于大型语言模型的多任务分子生成

Xuan Lin, Long Chen, Yile Wang, Yangyang Chen, Xiangxiang Zeng

机构 * School of Computer Science, Xiangtan University（湘潭大学计算机科学学院） ； College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Department of Computer Science, University of Tsukuba（东京大学理工学部） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；instruction tuning(title)

AI总结 提出PEIT框架，通过多模态对齐预训练和指令微调，提升LLM在分子描述、文本分子生成、属性预测和多约束分子生成任务上的性能。

Comments 9

Fact4ac at the Financial Misinformation Detection Challenge Task: Reference-Free Financial Misinformation Detection via Fine-Tuning and Few-Shot Prompting of Large Language Models

Fact4ac在金融虚假信息检测挑战赛中的方法：通过微调和少样本提示的大语言模型实现无参考金融虚假信息检测

Cuong Hoang, Le-Minh Nguyen

机构 * KaiNKaiho 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract_cn)

AI总结 本文提出一种结合零样本/少样本提示和LoRA参数高效微调的大语言模型框架，用于无外部证据的金融虚假信息检测，在公开和私有测试集上分别达到95.4%和96.3%的准确率，获得竞赛第一名。

Journal ref Proceedings of the 2nd Workshop on Misinformation Detection in the Era of LLMs (MisD 2026), 20th International AAAI Conference on Web and Social Media

Learning to Adapt SFT Data for Better Reasoning Generalization

学习适应SFT数据以实现更好的推理泛化

Lisong Sun, Li Wang, Chen Zhang, Jinyang Wu, Kui Zhang, Tianhao Peng, Wenjun Wu

机构 * Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Hangzhou International Innovation Institute（杭州国际创新研究院） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高级创新中心） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出DART方法，通过强化学习训练映射器将分布不匹配的SFT数据转化为模型自适应的监督，提升推理泛化能力。

LAD-VF: LLM-Automatic Differentiation Enables Fine-Tuning-Free Robot Planning from Formal Methods Feedback

LAD-VF：LLM自动微分实现基于形式化方法反馈的无微调机器人规划

Yunhao Yang, Junyuan Hong, Gabriel Jacob Perin, Zhiwen Fan, Li Yin, Zhangyang Wang, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of São Paulo（圣保罗大学） ； Texas A&M University（德克萨斯A&M大学） ； SylphAI 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出LAD-VF框架，利用形式化验证反馈和LLM自动微分自动优化提示词，无需微调即可提升机器人规划任务中规范符合率，成功率从60%提升至90%以上。

Comments Presented at ICRA 2026

EmoDistill: Offline Emotion Skill Distillation for Language Model Agents in Adversarial Negotiation

EmoDistill: 对抗性谈判中语言模型代理的离线情感技能蒸馏

Yunbo Long, Haolang Zhao, Lukas Beckenbauer, Liming Xu, Alexandra Brintrup

机构 * University of Cambridge（剑桥大学） ； Technical University of Munich（慕尼黑技术大学） ； Exiger LLC ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 提出EmoDistill离线框架，通过隐式Q学习选择情感和低秩适应策略表达情感，蒸馏情感谈判技能到语言模型代理，在四个高风险谈判领域取得最高效用。

DV-SFT: Direct Vision Supervision for Fine-Grained Visual Understanding

DV-SFT: 直接视觉监督用于细粒度视觉理解

Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Bing Wang, Zhixing Tan

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） ； Beihang University（北航） ； Zhongguancun Laboratory（中关村实验室） ； Southeast Academy of Information Technology, Beijing Institute of Technology（北京理工大学信息科学技术东南学院） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出DV-SFT方法，通过为视觉令牌构建显式令牌级监督信号，利用OCR场景中的直接视觉-文本对应关系，在不修改模型架构或增加前向传播的情况下，显著提升多模态大语言模型的细粒度视觉理解能力。

Comments Under Review

Internalizing Tool Knowledge in Small Language Models via QLoRA Fine-Tuning

通过QLoRA微调将工具知识内化到小型语言模型中

Yuval Shemla, Ayal Yakobe, Tanmay Agarwal, Dhaval Patel, Kaoutar El Maghraoui

机构 * Columbia School of General Studies, Columbia University, NY, USA（哥伦比亚大学泛研学院） ； Columbia Engineering, Columbia University, NY, USA（哥伦比亚大学工程学院） ； IBM Research, NY, USA（IBM研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 本文研究通过QLoRA参数高效微调将工具知识内化到小型语言模型中，在AssetOpsBench基准上，微调后的Gemma 4 E4B和Qwen3-4B模型在无描述推理下优于有完整工具描述的未微调基线，输入长度减少82.6%，规划分数提升。

Learning Decentralized LLM Collaboration with Multi-Agent Actor Critic

基于多智能体Actor-Critic的分散式LLM协作学习

Shuo Liu, Tianle Chen, Ryan Amiri, Christopher Amato

机构 * Northeastern University, Boston, MA（波士顿马萨诸塞大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对分散式LLM协作优化，提出两种多智能体Actor-Critic方法（CoLLM-CC和CoLLM-DC），实验表明在长时域或稀疏奖励任务中集中式Critic方法优于蒙特卡洛方法和分散式Critic方法。