语言大模型 / LLM

MirrorMark: Generalizable Mirrored Sampling for Multi-bit LLM Watermarking

MirrorMark: 多位LLM水印的通用镜像采样

Ya Jiang, Massieh Kordi Boroujeny, Surender Suresh Kumar, Kai Zeng

机构 * George Mason University（乔治·马歇尔大学） ； Department of Computer Science（计算机科学系） ； Wireless Cyber Center（无线网络安全中心） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MirrorMark通过镜像变换实现多比特LLM水印，通过符号映射规则与基础水印采样器分离，结合CABS调度器平衡token分配，实验显示其在保持文本质量的同时具备强检测性和比特准确性。

Similar Pattern Annotation via Retrieval Knowledge for LLM-Based Test Code Fault Localization

通过检索知识实现相似模式注释的LLM基于测试代码故障定位

Golnaz Gharachorlu, Mahsa Panahandeh, Lionel C. Briand, Ruifeng Gao, Ruiyuan Wan

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出SPARK框架，通过整合CI环境积累的调试知识，提升LLM在测试代码故障定位中的效率，实验表明其在复杂测试用例中能更准确识别故障位置。

Why do Large Language Models Fail in Low-resource Translation? Unraveling the Token Dynamics of Large Language Models for Machine Translation

为何大语言模型在低资源翻译中失败？解析大语言模型在机器翻译中的令牌动态

Shenbin Qian, Yves Scherrer

机构 * Language Technology Group, Department of Informatics University of Oslo（奥斯陆大学语言技术组，信息学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究通过分析15种模型在22种语言对上的表现，发现非英语语言对翻译质量较低，引入令牌激活率指标揭示语言表示与翻译性能的关系，指出推理模型在低TAR语言中生成更多令牌可能补偿性能差异。

Comments Accepted to the 26th Annual Conference of the European Association for Machine Translation (EAMT2026)

Pretraining a Foundation Model for Small-Molecule Natural Products

为小分子天然产物预训练一个基础模型

Yuheng Ding, Bo Qiang, Shaoning Li, Yiran Zhou, Jie Yu, Qi Li, Cheng Shi, Liangren Zhang, Yusong Wang, Nanning Zheng, Zhenming Liu

机构 * State Key Laboratory of Natural and Biomimetic Drugs（天然与仿生药物国家重点实验室） ； School of Pharmaceutical Sciences, Peking University（北京大学药学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于天然产物独特性质的预训练基础模型，通过对比学习和掩码图学习目标，提升分子骨架和侧链信息的表征能力，在天然产物挖掘和药物发现任务中取得SOTA成果。

Comments Accepted by Nature Machine Intelligence(2026)

Journal ref Nature Machine Intelligence(2026)

DisastRAG: A Multi-Source Disaster Information Integration and Access System Based on Retrieval-Augmented Large Language Models

DisastRAG：基于检索增强大语言模型的多源灾害信息整合与访问系统

Bo Li, Zhitong Chen, Kai Yin, Junwei Ma, Yiming Xiao, Ali Mostafavi

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出DisastRAG系统，整合结构化、非结构化和上下文灾害信息，通过多路径架构支持文档检索、结构化访问和外部网络回退，提升灾害管理信息获取效率。

Prototype Guided Post-pretraining for Single-Cell Representation Learning

原型引导的单细胞表示学习预训练

Sachini Weerasekara, Natasha Darras, Sagar Kamarthi, Colles Price, Jacqueline Isaacs

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出CellRefine方法，通过整合标记基因集作为先验指导单细胞预训练后的优化，提升下游任务性能，实验显示性能提升达15%。

Experience Sharing in Mutual Reinforcement Learning for Heterogeneous Language Models

异构语言模型中的互强化学习经验共享

Xiaoze Liu, Dhananjay Ram, Yuting Zhang, Zhaoyang Zhang, Wei Xia, Stefano Soatto

机构 * Purdue University（普渡大学） ； AWS Agentic AI（AWS智能体实验室） 纠错

专题命中 预训练与数据 ：language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出互强化学习框架，通过共享经验提升异构语言模型性能，采用共享经验交换、多工人资源分配和 tokenizer 异质性层实现跨模型经验共享，验证了在稳定与支持之间取得平衡的可行性。

Comments 50 pages, 10 figures, 14 tables

Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise

基于符号的优化器在重尾噪声下表现有效

Dingzhi Yu, Hongyi Tao, Yuanyu Wan, Luo Luo, Lijun Zhang

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； School of Software Technology, Zhejiang University（浙江大学软件学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文研究了在重尾梯度噪声下，基于符号的优化器如SignSGD和Lion相较于传统自适应方法的优越性，通过理论分析和实验验证，证明其在处理重尾噪声时的高效性。

Comments Code is available at https://github.com/Dingzhen230/Heavy-tailed-Noise-in-LLMs

ProteinJEPA: Latent prediction complements protein language models

ProteinJEPA：潜在预测补充蛋白质语言模型

Dan Ofer, Dafna Shahaf, Michal Linial

机构 * Department of Biological Chemistry（生物化学系） ； School of Computer Science and Engineering（计算机科学与工程学院） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了在匹配的运行时间预算下，潜在空间预测能否补充蛋白质语言模型的token级目标。通过35-150M参数的预训练和随机初始化蛋白质序列编码器，发现最佳的Protein-JEPA设计是仅在掩码位置预测潜在目标并保留MLM交叉熵。

Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation

预训练诱导了可重用的谱基底以用于下游任务适应

Junjie Yu, Yue Wang, Zihan Deng, Yan Zhu, Wenxiao Ma, Quanying Liu

机构 * Department of Biomedical Engineering, Southern University of Science and Technology（生物医学工程系，南方科技大学） ； Department of Psychology, The University of Hong Kong（心理学系，香港大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过系统谱分析揭示预训练模型的主奇异向量在微调中保持稳定且跨任务共享，表明预训练建立了可重用的谱坐标系，且更大规模预训练提升几何可迁移性。

Arrow: A Foundation Model for Causal Discovery

Arrow：一种因果发现的基础模型

Ryan Thompson, He Zhao, Daniel M. Steinberg, Edwin V. Bonilla

机构 * University of Technology Sydney（技术科技大学） ； CSIRO’s Data61（CSIRO数据61） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 Arrow模型通过将有向无环图分解为无向骨架和拓扑序，实现零样本因果发现。该模型基于Transformer架构预测边概率和节点顺序，训练于合成数据集，能在多种数据集上实现高效准确的因果发现。

When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining

当损失对齐：基于梯度的复合损失加权用于高效的预训练

Ivan Karpukhin, Andrey Savchenko

机构 * Sber AI Lab（Sber AI实验室） ； HSE University（俄罗斯人民友谊大学） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信系统研究所可信人工智能研究中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于梯度的双层方法，通过将复合预训练梯度与下游目标对齐，在线学习预训练损失权重，从而减少超参数调优成本，提升预训练效率。

Large Video Planner Enables Generalizable Robot Control

大视频规划器实现通用机器人控制

Boyuan Chen, Tianyuan Zhang, Haoran Geng, Caiyi Zhang, Peihao Li, Kiwhan Song, William T. Freeman, Jitendra Malik, Pieter Abbeel, Russ Tedrake, Vincent Sitzmann, Yilun Du

机构 * MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； Harvard（哈佛大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本文提出利用大规模视频预训练构建通用机器人基础模型，通过生成视频计划实现跨任务和环境的泛化控制，并在真实机器人上验证了其可行性。

Comments 29 pages, 16 figures

How Big Should a Wireless Foundation Model Be?

无线基础模型应该有多大？

Wei-Lun Cheng, Wanjiun Liao

机构 * Department of Electrical Engineering, National Taiwan University, Taipei, Taiwan（电子工程系，国立台湾大学，台北，台湾） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文探讨了无线基础模型的规模限制，指出信道的内在维度是决定模型大小的关键因素，并提出了一种基于TTT的适应方法，证明在物理层无线AI设计中，信道几何而非模型大小决定缩放规律。

Decoding Dynamic Visual Experience from Calcium Imaging via Cell-Pattern-Aware Pretraining

通过细胞模式感知预训练解码动态视觉体验

Sangyoon Bae, Mehdi Azabou, Blake Richards, Jiook Cha

机构 * Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目） ； Seoul National University（首尔国立大学） ； NSF AI Institute for Artificial and Natural Intelligence (ARNI)（国家科学基金会人工智能与自然智能研究院） ； Columbia University（哥伦比亚大学） ； Mila (Quebec AI Institute)（蒙特利尔人工智能研究所） ； Dept. of Neurology & Neurosurgery（神经病学与神经外科系） ； McGill University（麦吉尔大学） ； Montreal Neurological Institute, McGill University（麦吉尔大学蒙特利尔神经科学研究所） ； School of Computer Science, McGill University（麦吉尔大学计算机科学学院） ； Learning in Machines and Brains Program, CIFAR（机器与大脑学习计划，CIFAR） ； Department of Psychology（心理学系） ； Department of Brain and Cognitive Sciences（脑与认知科学系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出POYO-CAP方法，通过预训练提升神经解码鲁棒性，实验证明其在Allen脑观察数据集上比从头训练有12-13%的提升，并实现模型规模的平稳扩展。

Rethinking Weight Tying: Pseudo-Inverse Tying for LM Stable Training and Updates

重新思考权重绑定：用于语言模型稳定训练和更新的伪逆绑定

Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang

机构 * Monash University（墨尔本大学） ； Technical University of Munich（慕尼黑技术大学） ； Chongqing University（重庆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出伪逆绑定方法，通过同步嵌入和解嵌入作为共享的潜在令牌记忆的耦合投影，提升语言模型训练稳定性与接口一致性，同时改善可解释性探查。

Comments an early-stage version

GRaSp: Automatic Example Optimization for In-Context Learning in Low-Data Tasks

GRaSp：用于低数据任务中上下文学习的自动示例优化

Simen Bihaug-Frøyland, Henrik Brådland

机构 * Centre for Artificial Intelligence Research, University of Agder（人工智能研究中心，阿格德大学） ； School of Computing and Information, University of Pittsburgh（计算与信息学院，匹兹堡大学） ； Norkart AS（Norkart公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 GRaSp提出一个三阶段框架，通过生成合成候选集、聚类降维和遗传算法优化，提升上下文学习任务的性能，尤其在金融命名实体识别任务中表现优异。

Comments 12 pages, 5 figures

TRAJGANR: Trajectory-Centric Urban Multimodal Learning via Geospatially Aligned Neural Representations

TRAJGANR: 通过地理对齐的神经表示进行轨迹导向的城市多模态学习

Maria Despoina Siampou, Gengchen Mai, Ni Lao, Jinmeng Rao, Neha Arora, Cyrus Shahabi, Shushman Choudhury

机构 * Google Research, Mountain View, CA（谷歌研究，山景城，加利福尼亚州） ； Google LLC, Mountain View, CA（谷歌公司，山景城，加利福尼亚州） ； Dept. of Computer Science, University of Southern California, Los Angeles, CA（计算机科学系，南加州大学，洛杉矶，加利福尼亚州） ； SEAI Lab, Dept. of Geography and the Environment, The University of Texas at Austin, Austin, TX（SEAI实验室，地理与环境系，德克萨斯大学奥斯汀分校，奥斯汀，德克萨斯州） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 TRAJGANR提出一种新的多模态自监督学习框架，通过将连续移动模式与静态位置观察对齐，提升城市理解和移动任务的性能，优于现有方法。

Neural Neural Scaling Laws

神经神经扩展定律

Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出NeuNeu模型，通过时间序列外推预测语言模型在下游任务中的性能，相比传统参数化方法，其在66个下游任务上的均方误差降低了44%。

On the Invariance and Generality of Neural Scaling Laws

关于神经扩展定律的不变性与普遍性

Xing Han, Ziyin Liu, Suchi Saria, Paul Pu Liang

机构 * Johns Hopkins University（约翰霍普金斯大学） ； NTT Research（NTT研究） ； MIT（麻省理工学院） ； Johns Hopkins University, Bayesian Health（约翰霍普金斯大学，贝叶斯健康） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文探讨如何建立通用的神经扩展定律，通过识别不变量，使定律能在不同领域间可靠传输，验证了在语言、视觉和语音任务中的有效性，并展示了跨领域应用。

Comments 23 pages, 6 figures, 11 tables

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model

优化学习率调度与随机特征模型的缩放定律理论

Blake Bordelon, Francesco Mori

机构 * Center for Mathematical Sciences and Applications, Harvard University（哈佛大学数学科学中心） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文研究了随机特征模型中最优学习率调度与缩放定律，通过分析易相和难相，提出优化调度方法并验证其在ResNet和GPT-2任务中的有效性。

When Symbol Names Should Not Matter: A Logistic Theory of Fresh-Symbol Classification

符号名称不应起作用：一种逻辑理论的鲜符号分类

Wenjie Guan, Jelena Bradic

机构 * Department of Statistics and Data Science, Cornell University, Ithaca, NY 14850（统计与数据科学系，康奈尔大学，纽约州伊萨卡市，14850） 纠错

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.LG

AI总结 本文研究了固定标签分类问题，探讨了模型如何在符号重命名不变的情况下学习决策规则，通过分析正则化核逻辑分类，提出了鲜符号分类的理论框架。

HumanNet: Scaling Human-centric Video Learning to One Million Hours

HumanNet: 将以人为中心的视频学习扩展到一百万小时

Yufan Deng, Daquan Zhou

机构 * Peking University（北京大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 HumanNet通过构建大规模人类活动视频数据集，探索以人为中心的视频在扩展具身基础模型中的潜力，展示其在动作生成和人机转移中的优势。

Comments Github: https://github.com/DAGroup-PKU/HumanNet Project website: https://dagroup-pku.github.io/HumanNet/

UFT: Unifying Fine-Tuning of SFT and RLHF/DPO/UNA through a Generalized Implicit Reward Function

UFT：通过通用隐式奖励函数统一SFT和RLHF/DPO/UNA的微调

Zhichao Wang, Bin Bi, Zixu Zhu, Xiangbo Mao, Jun Wang, Shiyu Wang, Cheng Wang, Dong Nie, Lingzi Hong

机构 * Salesforce ； RadixArk ； ChatAlpha AI ； University of North Texas（北卡罗来纳州立大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；RLHF(title,title_cn)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本文提出UFT框架，通过隐式奖励函数整合SFT与对齐过程，提升指令微调和事实性任务的性能，实验显示其优于传统方法。

The Position Curse: LLMs Struggle to Locate the Last Few Items in a List

位置诅咒：LLM在列表中定位最后几个项目时表现不佳

Zhanqi Zhang, Hua-Dong Xiong, Robert C. Wilson, Mikio Aoi, Marcelo G. Mattar, Li Ji-An

机构 * UC San Diego（加州大学圣地亚哥分校） ； Georgia Tech（佐治亚理工学院） ； New York University（纽约大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 LLM在定位长列表中单个相关项目时表现优异，但在短列表中最后几个项目定位上存在缺陷，即位置诅咒。通过构建PosBench数据集进行微调后，虽然提升了定位能力，但仍未达到理想水平。

Boosting Automatic Java-to-Cangjie Translation with Multi-Stage LLM Training and Error Repair

通过多阶段LLM训练和错误修复提升Java到Cangjie的自动翻译

Xinyue Liang, Jingxuan Zhang, Lin Li, Jun Zhang, Junhao Chen

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出多阶段LLM训练框架，结合编译器反馈和错误修复，提升Java到Cangjie的翻译准确性与语义一致性，实验显示在有限平行数据下功能等价性提升6.06%。

PerfCoder: Large Language Models for Interpretable Code Performance Optimization

PerfCoder：用于可解释代码性能优化的大型语言模型

Jiuding Yang, Shengyao Lu, Hongxuan Liu, Shayan Shirahmad Gale Bagi, Zahra Fazel, Tomasz Czajkowski, Di Niu

机构 * University of Alberta（阿尔伯塔大学） ； University of Victoria（维多利亚大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 PerfCoder通过可解释的定制化优化生成高性能代码，优于现有模型，在代码性能基准上实现更高效的优化策略。

Self-Play Enhancement via Advantage-Weighted Refinement in Online Federated LLM Fine-Tuning with Real-Time Feedback

通过优势加权细化的自我扮演增强在线联邦大语言模型微调与实时反馈

Seohyun Lee, Wenzhi Fang, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton

机构 * Purdue University（普渡大学） ； Yonsei University（延世大学） ； University at Buffalo-SUNY（布法罗大学-苏尼扬大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出SPEAR算法，通过反馈引导的自我扮演循环生成对比对，利用标准最大似然和置信度加权不似然训练，在无需昂贵组生成和真实上下文的情况下实现高效的在线联邦LLM微调。

Comments 27 pages

CommandSwarm: Safety-Aware Natural Language-to-Behavior-Tree Generation for Robotic Swarms

CommandSwarm: 为机器人群体提供安全意识的自然语言到行为树生成

Mohammed Majid, Amjad Yousef Majid

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出CommandSwarm系统，通过多语言翻译、安全过滤和约束提示生成XML行为树，验证了紧凑量化领域适应的LLM在机器人群体控制中的有效性，强调了解析器接受和安全过滤的重要性。

PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat

PSK@EEUCA 2026: 通过合成数据增强微调大语言模型用于游戏聊天中的多类毒性检测

Srikar Kashyap Pulipaka

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过合成数据增强微调大语言模型，用于游戏聊天中的多类毒性检测，实验结果显示在测试集上达到0.6234的F1-macro分数，发现验证性能高反而导致测试转移差的'验证陷阱'现象。

Comments Accepted to the EEUCA workshop at ACL 2026