语言大模型 / LLM

Demonstrating GenDB: Instance-Optimized and Customized Query Processing Code Generation via LLM Agents

展示GenDB：通过大语言模型代理实现实例优化和定制化查询处理代码生成

Jiale Lao, Immanuel Trummer

机构 * Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对传统查询处理引擎扩展难题，提出GenDB生成式查询引擎，借助大语言模型代理生成代码。核心方法是通过LLM agents为特定场景生成优化代码，主要贡献是展示其工作流程、性能优势并提供用户探索平台。

Comments Accepted by VLDB 2026 (Demo)

SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales

SOAP、Muon及其他：推动语言模型预训练规模

Mikail Khona, Aditya Vavre, Boxiang Wang, Deyu Fu, Hao Wu, Mike Chrzanowski, Bryan Catanzaro, Dheevatsa Mudigere, Jeff Pool, Michael Lightstone, Mohammad Shoeybi, Mostofa Patwary, Nima Tajbakhsh, Tijmen Blankevoort

机构 * NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对高阶优化器在大规模语言模型预训练中的挑战，通过改进预处理梯度方法、统一实证研究不同优化器、引入分层分布式优化器及系统级改进，提升训练效果，最终发布含新兴优化算法的代码库。

Auditing pretraining contamination in single-cell foundation model benchmarks

单细胞基础模型基准中的预训练污染审计

Sarwan Ali

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 研究单细胞基础模型基准中的预训练污染问题，提出scContam审计框架，结合指纹信号与成员推理攻击。应用于多个基准和模型，发现部分基准有污染，且MIA-scFM的AUROC与模型容量数据比有关，证明预训练审计可行且应伴随基准报告。

Detecting LLM-Generated Tokens in Human--LLM Coauthored Text

在人类与大语言模型合作撰写的文本中检测大语言模型生成的令牌

Yangjun Lu, Hongyi Zhou, Fabian Spill, Kai Ye, Chengchun Shi, Jin Zhu

机构 * School of Mathematics, University of Birmingham（伯明翰大学数学学院） ； School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院） ； Department of Statistics, The London School of Economics and Political Science（伦敦政治经济学院统计系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 针对人类与大语言模型合作撰写文本中难以检测大语言模型生成内容的问题，提出在令牌级别运行、基于现有分数并平滑分数降低变异性的新方法，在合成与真实数据集上性能强，还部署了网站。

MSBraM: A Multi-scale Self-supervised Brain Foundation Model for Hierarchical EEG Dynamics Learning

MSBraM：用于分层脑电动力学学习的多尺度自监督脑基础模型

Tao Zhou, Jing Han, Lingyu Shu, Zixing Zhang

机构 * Hunan University（湖南大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 针对现有方法难捕捉EEG信号多尺度时间结构的问题，提出MSBraM模型。该模型采用两阶段预训练框架，经多尺度神经分词器和课程多尺度掩码策略学习分层EEG表征。实验显示其在多个下游任务中性能优越，证明显式建模多尺度时间动态对EEG基础模型的重要性。

Multimodal Pretraining for Generalizable EEG Representation Learning

用于可泛化脑电信号表征学习的多模态预训练

Targol Bakhtiarvand, Jugal Kalita, Adham Atyabi

机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究针对癫痫EEG模型应用局限问题，开发多模态EEG基础模型，结合多种编码器，通过创新预训练技术创建癫痫相关表征。在多个数据集和评估设置下实验，该模型实现强大癫痫检测与适应新场景能力，支持可解释癫痫定位，性能达当前最优。

Beyond Heavy Log Curation: Perplexity-Based APT Detection via Unsupervised, Context-Augmented Language Models

超越繁重的日志整理：通过无监督、上下文增强语言模型进行基于困惑度的APT检测

Shoya Otsu, Kei Suzuki, Toshiaki Koike-Akino, Jing Liu, Ye Wang

机构 * Mitsubishi Electric Corporation（三菱电机公司） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对APT检测难题，提出CAPTAIN方法，利用通用预训练语言模型，经最少领域无关预处理，通过编码历史、注入上下文令牌及应用平滑滤波器，实现稳健日志评分，在基准测试中表现良好，降低了日志预处理成本。

Comments 20 pages

OPTScientist: Multi-Agent Discovery of Typed Optimizer Programs for Transformer Pretraining

OPTScientist：用于Transformer预训练的类型化优化器程序的多智能体发现

Zhongzheng Li, Tiancan Feng, Wenhao Li, Qingsong Ran, Shikun Feng, Xiaoyuan Zhang, Yue Wang, Xiaoguang Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhongguancun Academy（中关村科学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究针对深度学习优化器设计难题，提出OPTScientist多智能体框架，在类型化DSL中结合进化搜索与第二阶段机制，发现RS-MR优化器改进Transformer预训练，为自动优化器科学提供新路径。

Belief Propagation in LLM World Models: Measuring Strategic Information Bias with Prediction Markets

大语言模型世界模型中的信念传播：用预测市场测量战略信息偏差

Mykola Khandoga, Yevhen Kostiuk, Anton Polishko, Yurii Filipchuk, Kostiantyn Kozlov, Dmytro Zamriy, Artur Kiulian

机构 * Future Principle（未来原理） ； Aarhus University（奥胡斯大学） 纠错

专题命中 预训练与数据 ：LLM(title)；分类 cs.CL、cs.LG

AI总结 研究大语言模型结合预测市场测量信息偏差，通过消融特定文本偏差贡献，应用于乌克兰相关预测市场发现英语新闻背景致偏差，主要源于文本，补充乌军事分析源可减偏差，此偏差在多架构中会持续并影响下游决策。

Comments Accepted at UNLP 2026. 12 pages, 8 figures, 11 tables. Dataset available at https://huggingface.co/datasets/OpenBabylon/unlp-ukraine-forecasting

The Storyteller in the Model: Narrative Pattern Inheritance, Escalation Dynamics, and Alignment Governance in LLMs

模型中的讲述者：大语言模型中的叙事模式继承、升级动态和对齐治理

Adam Rigby, Raz Saremi, Azadeh Sohrabinejad, Mehdi Rahimi

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 探讨大语言模型训练中是否吸收人类写作叙事模式并致输出漂移，通过文献综述和跨论文分析发现三个关键模式，包括复制训练数据模式、出现潜在特征及微调带来意外变化，指出叙事漂移是未监测的升级途径，需专门监测工具。

Comments 2 figures, 11 pages

Surprisal Theory is Tautological (without Rational Grounding)

惊奇理论是同义反复的（缺乏理性基础）

Ryan Cotterell

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 研究惊奇理论，指出其在无额外约束时是同义反复，任何难度模式都与某语言模型一致，无法证伪。长期被隐含假设掩盖，近期实证削弱该假设。结论是打破同义反复需理性主义干预，相关语言模型应源自非经验驱动模型。

Comments Under "Review" at ARR

Learn2Zinc: Fine-tuning Small Language Models for Text-to-Model Translation in MiniZinc

Learn2Zinc：微调小型语言模型以实现MiniZinc中的文本到模型翻译

Serdar Kadioglu, Karthik Uppuluri

机构 * AI Center of Excellence, Fidelity Investments（富达投资卓越人工智能中心） ； Department of Computer Science, Brown University（布朗大学计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 研究针对小型语言模型在MiniZinc文本到模型翻译的难题，提出跨模型错误引导方法，收集语法错误构建训练数据集微调模型，提升执行准确率至98%，虽语法可学但约束推理仍具挑战，且开源相关资源供后续研究。

Comments CP 2026 Workshop on LLMs meet Constraint Solving

LLM-INSTRUCT at UZH Shared Task 2026: Constraint-Aware Retrieval and Selective Debate for Paragraph-Level Argument Mining

LLM-INSTRUCT在UZH 2026共享任务中的应用：用于段落级论证挖掘的约束感知检索和选择性辩论

Phuong Huu Vu Tran, Long Minh Vo, Son Nguyen Minh Le, Hoang Van

机构 * Vietnamese-German University（越南-德国大学） ； RMIT University Vietnam（皇家墨尔本理工大学越南分校） ； VANGIA INNOVATIONS（VANGIA创新公司） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文介绍了在UZH 2026共享任务中用于段落级论证挖掘的获胜系统LLM-INSTRUCT，通过元数据感知检索、约束解码等方法缩小决策空间，提高了准确性和提交稳健性，在官方排行榜上取得优异成绩。

Comments Accepted to the 13th Workshop on Argument Mining (ArgMining 2026) at ACL 2026

ReliableTableQA:How Much Supervision Does Reliability Annotation Need?

可靠表格问答：可靠性标注需要多少监督？

Huei-Chung Hu, Hsin-Tai Wu, Koyo Kobayashi

机构 * DOCOMO Innovations, Inc.（都科摩创新公司） ； NTT DOCOMO, Inc.（日本电报电话公司都科摩） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 研究提出ReliableTableQA框架训练LLM标注表格问答结果统计可靠性，贡献分类法、数据管道及监督量研究。发现小的模式分层SFT集效果显著，GRPO在SFT不足时才有用，重新界定可靠性标注为数据效率问题，明确强化微调效果。

Comments 12 pages, 2 figures

A Unified Moral-Value Dataset for Instruction Tuning

用于指令微调的统一道德价值数据集

Zhaohui Zeng, Florian Mai

机构 * RWTH Aachen（亚琛工业大学） ； University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型与人类价值观对齐问题，构建统一道德价值数据集用于指令微调，通过合并现有数据集并转换格式而成，实验表明其结合通用任务数据集训练可保持性能，为对齐研究提供资源。

Comments Accepted at the 4th International Workshop on Value Engineering in AI (VALE 2026), co-located with IJCAI-ECAI 2026

SiGMA: Sign-Guided Merging and Adaptation for Multimodal Continual Instruction Tuning

SiGMA：用于多模态持续指令微调的符号引导合并与适配

Keonhee Park, Gunhee Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态持续指令微调中存在的问题，提出SiGMA框架，通过训练时符号引导自适应调优、推理时符号引导合并减轻负面干扰，在相关基准实验中显著减少干扰且性能优于现有方法。

Comments Accepted at ECCV 2026

Confidently Deceptive: How Confidence Amplifies the Risk of LLM Deception

自信的欺骗：信心如何放大语言模型欺骗的风险

Ali Asad, Stephen Obadinma, Anshul Pattoo, Wenxuan Zhang, Xiaodan Zhu

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型欺骗问题，通过多种方式衡量信心，发现其会产生高信心欺骗性回答，错位微调加剧问题，模型能识别自身欺骗性输出却不避免，指出自信的欺骗是独特风险，需综合评估欺骗、信心与意识。

Geometric Configurations of Perturbed Jailbreak Prompts

受扰动越狱提示的几何配置

Lynn Delcon, Andres Algaba, Vincent Ginis

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究Qwen和Llama系列小权重模型中受扰动越狱输入的内部表示，选两个表示空间，在拒绝主导答案集中两空间均无行为超平面，仅特定模型的个别token与合规答案有关联。

Comments 21 pages, 9 figures, 7 tables, 2nd Workshop on Safe AI (SafeAI)

Robust Critics: Defending LLMs Against Multi-Turn Attacks

鲁棒评论家：防御大语言模型免受多轮攻击

Roman Belaire, Arunesh Sinha, Pradeep Varakantham

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型在多轮攻击下的安全问题，提出对话评论家引导采样（DCGS）框架，通过推断用户意图、建模为马尔可夫决策过程并学习价值和遗憾评论家来生成回复，在多个数据集上评估优于基线和前沿模型，还能迁移提升模型鲁棒性。

3D-Aware VLMs with Implicit and Explicit Geometries

具有隐式和显式几何的3D感知视觉语言模型

Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Ran Xu, Shijian Lu, Gongjie Zhang

机构 * Nanyang Technological University（南洋理工大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； HuPan Lab（湖畔实验室） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对多数2D视觉输入的VLM处理3D任务困难的问题，提出VLM-IE3D框架，通过引入隐式和显式几何令牌及3D感知适配器，融合几何表示与视觉线索，在多种3D任务中表现优异。

Comments Accepted by ECCV 2026, Open Sourced

Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?

Instruct-FD：你的全双工语音系统能遵循轮流发言指令吗？

Yuzhi Tang, Wentao Ma, Xiling Zhao, Ahmad Salimi, Sepehr Harfi Moridani, Dongming Shen, Jixuan Wang, Abdulrahman Abdulrazzag, Murdock Aubry, Yu-Hua Chen, Daniel Lee, Jaewon Lee, Jonah Mackey, Silin Meng, Nicholas Stranges, Chenxu Xiong, Hao Yu, Yi Zhu, Mu Li, Alex Smola

机构 * Boson AI（玻色子人工智能公司） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究全双工语音系统在明确指令下的轮流发言行为，引入Instruct-FD基准，开发相关工具，通过对六个先进系统测试发现遵循指令的轮流管理有差距，为构建适应性全双工对话系统指明关键方向。

Emergent Misalignment Recruits a Pre-existing Persona Subspace

新兴的不一致性招募了预先存在的角色子空间

Mohammed Suhail B Nadaf

机构 * Qwen Team（通义团队） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 研究新兴不一致现象，通过从冻结模型提取角色子空间发现其在微调前就存在，微调第一步提升不一致幅度，投影子空间可防广泛不一致，注入子空间会致模型不一致，多种编辑无效，传播不良数据增加不一致。

Comments 108 pages (19 pages main text, 13 appendices), 13 figures

Towards Privacy-Preserving Federated Prompt Tuning under Data Heterogeneity: A Subspace-Decomposed Expert Approach

面向数据异构性下的隐私保护联邦提示调优：一种子空间分解专家方法

Yuhua Wang, Xiaodong Li, Yihao Guo, Yuxiang Jia, Qinnan Zhang, Yifan Sun, Hainan Zhang, Yongxin Tong, Zhiming Zheng

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Center for the Applied Statistics, School of Statistics, Renmin University of China（中国人民大学统计学院应用统计中心） ； School of Computer Science & Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； School of Software, Beihang University（北京航空航天大学软件学院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 研究针对数据异构性下的隐私保护联邦提示调优问题，提出FedSEPT方法，采用子空间分解专家建模及实例感知专家融合技术，在11个异构基准实验中，于相同隐私约束下，该方法在局部适配和全局泛化间实现更好权衡。

Comments Accepted by ACM MM 2026

DINO-VPT: Hierarchical Visual Prompt Tuning for Joint Physical-Digital Face Anti-Spoofing

DINO-VPT：用于联合物理-数字人脸反欺骗的分层视觉提示调整

Pierre Gallin-Martel, Mika Feng, Koichi Ito, Takafumi Aoki

机构 * Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 研究针对人脸反欺骗需求，提出DINO-VPT轻量级仅视觉框架，利用分层视觉提示调整，通过提示路由网络动态注入提示，无需多模态融合，在基准测试中比现有方法准确率更高，证明合理架构能达最优性能。

Comments accepted to IJCB2026

Reliability-Aware LLM Alignment from Inconsistent Human Feedback

从不一致的人类反馈中实现可靠性感知的大语言模型对齐

Jingyi Huang, Ruohan Zong, Yujun Feng, Liran Ma, Lanyu Shang, Yang Zhang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究如何解决人类反馈强化学习中人类注释不一致问题，提出可靠性引导的偏好优化框架RGPO，通过估计注释者可靠性、推断潜在真实标签及动态调整训练目标，有效减少训练数据不一致性和噪声，性能优于现有基线。

Domyn-Small: A European 10B Reasoning Language Model

Domyn-Small：一个欧洲的100亿参数推理语言模型

Simone Angarano, Francesco Bertolotti, Federico D'Ambrosio, Michele Resta, Alessandro Rognoni, Nicolò Ruggeri, Dario Salvati, Andrea Valenti, Alberto Veneri, Martin Cimmino

机构 * CINECA（意大利国家计算应用研究所） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract)；post-training(abstract)

AI总结 介绍了基于9万亿令牌多语言数据预训练的100亿参数推理语言模型Domyn-Small，经持续预训练、监督微调、强化学习等训练后管道，实现双模式推理，在与对等模型对比中平衡了准确性与效率，还发布了相关权重及开源框架。

Comments 27 pages, 5 figure

Preference Tuning as Spectral Update Reorganization

作为频谱更新重组的偏好调整

Peiyan Zhang, Haibo Jin, Liying Kang, Haohan Wang

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；post-training(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过频谱结构研究RLHF及偏好优化，将偏好诱导更新转化为可干预对象，发现更新呈现头-尾组织，头部主导端点偏移，揭示了偏好训练后是结构化更新重组，以及对齐增益和覆盖损失与更新组织方式的关系。

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus：使用冻结的语言模型监督器进行力预算的富接触装配恢复

Kyupaeck Jeff Rah, Midum Oh

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究在规定力上限下实现紧间隙装配及从插入失败中恢复的问题，提出含冻结大语言模型的两层框架，该模型分配力上限并选恢复策略，通过实验评估，此框架表现良好，解决了部分夹具故障问题，也有负面结果。

Making Open-Source Text LLM Watermarks Durable Against Merging

使开源文本语言模型水印在合并后仍具耐久性

Luisa Scharff, Thibaud Gloaguen, Robin Staab, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何让开源文本语言模型水印在模型合并后仍具耐久性，提出合并对抗训练算法，该算法能将水印融入模型权重，在保留下游能力的同时优于所有基线，还评估了针对现实合并场景的水印，表明对抗训练可提高水印耐久性。

CAMeR: Keyword-Gated Hybrid Activation for Adaptive Memory Retention in LLM Agents

CAMeR：用于大语言模型智能体中自适应记忆保留的关键词门控混合激活

Haowen Lai

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型智能体记忆问题，提出CAMeR框架，结合关键词门控混合激活与自适应权重动态。通过CAMeR-Bench测试，表明其关键词门控效果好，能有效节省令牌并提高检索精度，证明混合符号-神经门控可实现自适应记忆保留。