语言大模型 / LLM

Complexity-Guided Component-wise Initialization for Language Model Pretraining

用于语言模型预训练的复杂度引导的逐组件初始化

Konstantin Garbers, Nicholas Oh

机构 * Peking University（北京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究预训练语言模型中反复出现的谱模式能否用于初始化，通过分析多个检查点构建初始化方案并与其他方法比较，发现预训练权重复用有竞争力，但仅粗略谱匹配非可靠策略，预训练谱是有用诊断，有效复用需保留更多信息。

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

语言模型需要睡眠：学习自我修改和巩固记忆

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard, Vahab Mirrokni

机构 * Google（谷歌） ； Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 受人类学习过程启发，提出“睡眠”范式，通过记忆巩固（知识播种）和梦境（自我改进）两阶段，使模型持续学习、将短期记忆转化为长期知识并自我提升。

Comments A version of this work has been publicly available from September 2025 on OpenReview

CITRAS-FM: Tiny Time Series Foundation Model for Covariate-Informed Zero-Shot Forecasting

CITRAS-FM: 面向协变量信息零样本预测的微型时间序列基础模型

Yosuke Yamaguchi, Issei Suemitsu, Yuki Kajihara, Wenpeng Wei

机构 * University of Tokyo（东京大学） ； Keio University（庆应大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出CITRAS-FM，一个仅7M参数的时间序列基础模型，通过引入Shifted Attention和协变量合成方法CovSynth，实现高效零样本预测，在100个任务上达到子10M模型最优精度且CPU推理时间低于0.1秒。

Comments Accepted to EUSIPCO 2026. Code available at https://github.com/hitachi-ais/citras-fm

Neural Collapse Is Forbidden: Information Floors in Language Models

语言模型中的信息下限：神经坍缩是被禁止的

Bruno Abrahao

机构 * NYU Shanghai Leonard N. Stern School of Business, New York University（纽约大学上海纽约大学斯特恩商学院） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究语言模型中信息分配定律，通过单行中心化恒等式等方法，揭示宏观类别结构与令牌内上下文方差占比，理论上说明权重衰减影响，证明二元类别下限，表明定律在多方面成立及预训练中类别份额变化规律。

CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

CoCoT-EEG：用于脑电解码的对比预训练多尺度卷积Transformer

Gabriel Mahuas, Victoria Shevchenko, Ugo Tanielian, Yassir Bendou, Richard Gao

机构 * Sigma Nova Paris（巴黎西格玛诺瓦公司） ； Goethe University Frankfurt（法兰克福歌德大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.LG

AI总结 研究针对EEG解码，开发了含多尺度时间卷积输入层和Transformer编码器块的对比预训练模型CoCoT，在广泛基准解码任务中表现出色，优于单任务解码模型，证明对比学习构建EEG基础模型可行，还给出架构设计考量。

Smooth Scaling Laws Hide Stepwise Token Learning

平滑缩放定律隐藏了逐步的令牌学习

Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

机构 * Dots Studio, Xiaohongshu Inc.（dots studio，小红书公司） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua university（清华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 本文提出令牌级框架，将缩放定律分解为上下文令牌的局部学习事件，通过拟合S形曲线发现令牌学习集中在局部转换中，并利用学习时间谱定量重建验证损失导数，进而通过重塑训练分布实现11%的验证损失加速降低。

Comments 21 pages

Lost in Backpropagation: The LM Head is a Gradient Bottleneck

陷入反向传播：语言模型头部是一个梯度瓶颈

Nathan Godey, Yoav Artzi

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 语言模型头部的梯度瓶颈导致表达和优化受限，影响训练效率，需新设计

Comments To be presented at COLM'26

Video Generation Models are General-Purpose Vision Learners

视频生成模型是通用视觉学习者

Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究探讨计算机视觉中实现通用模型的催化剂，提出大规模文本到视频生成是预训练范式。介绍GenCeption模型，利用视频生成扩散主干定义感知模型。实验表明该模型在多任务中性能领先，有数据效率优势且具涌现行为，为通用视觉智能提供基础路径。

Comments ECCV 2026

When Routes Run Out: Adversarial Co-Learning and Explainable Robustness in Quantum Repeater Networks

当路线耗尽时：量子中继器网络中的对抗协同学习与可解释鲁棒性

Brennan Bell, Inti Gabriel Mendoza Estrada, Andreas Trügler, Paul Erker

机构 * RFI-IRFOS and TU Graz（RFI-IRFOS和格拉茨技术大学） ； openmaind FlexCo and TU Graz（openmaind FlexCo和格拉茨技术大学） ； Know Center Research GmbH and University of Graz（Know Center Research GmbH和格拉茨大学） ； Atominstitut, TU Wien and IQOQI, ÖAW（原子院、维也纳技术大学和ÖAW IQOQI） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 研究量子中继器网络路由对抗博弈问题，通过对抗协同学习，发现保留率与参考值紧密跟踪，拟合决策树解释模型并报告忠实度，构建提示记录形成开源解释工作流程。

Comments 4 pages, 5 figures, submitted to IEEE QCE26, Workshop on Q-GenAI: Synergies between QC & GenAI

Point of Order: Action-Aware LLM Persona Modeling for Data-Grounded Civic Deliberation

秩序点：面向行动的LLM角色建模用于真实市政模拟

Scott Merrill, Shashank Srivastava

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种可复现的流程，将公开Zoom录像转换为带有角色档案和行动标签的发言转录，通过细调LLM提升角色建模效果，显著降低困惑度并提高模拟真实性和一致性。

Comments 8 pages (39 pages including appendix), 29 figures

RELISH: LLM REgression with a Latent Iterative State Head

基于潜在迭代状态头的大型语言模型回归

Yiheng Su, Matthew Lease

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 RElish通过迭代优化潜在状态实现文本回归，优于三种主流回归方法，参数效率高。

Comments Accepted to the Third Conference on Language Modeling (COLM 2026)

Multimodal Reward Hacking in Reinforcement Learning

强化学习中的多模态奖励黑客攻击

Jiayu Yao, Yiwei Wang, Anmeng Zhang, Zhe Sun, Songsong Wang, Lingrui Mei, Yuyao Ge, Shenghua Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； Southeast University（东南大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究强化学习中多模态奖励黑客攻击问题，通过引入新奖励失败率（NRFR）等方法，在多种设置下改变模型规模、算法等因素进行实验，发现仅结果奖励易导致黑客攻击，扩大规模可减少但不能消除，还得出不同算法和奖励方式对黑客攻击的影响及相关结论。

Every Sample Counts: Supervised Fine-Tuning of Language Models with Pointwise Constraints

每个样本都很重要：基于逐点约束的语言模型监督微调

Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

专题命中 指令微调 ：language model(title,abstract)

AI总结 研究语言模型微调中逐点约束问题，提出新对齐框架，通过逐样本约束最小化平均损失，引入学习松弛方法并开发增广拉格朗日方法，在多任务和约束下实例化，减少约束违反且保留模型性能。

A censoring-aware target interface for tabular foundation models in survival prediction

生存预测中用于表格基础模型的删失感知目标接口

Yue Lyu, Steven H. Lin, Xuelin Huang, Ziyi Li

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 研究针对表格患者数据事件发生时间预测中右删失问题，提出SurvFM-RMST框架，将生存结果转换为伪观察目标用于RMST回归，在模拟和多数据集测试中表现良好，支持其作为删失生存数据与表格基础模型预测的接口。

Comments 33 pages, 5 figures. Supplementary Information included as an ancillary file

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

多语言视觉多项选择题中小视觉语言模型的测试时缩放

Spiros Baxevanakis, Peng-Jian Yang

机构 * ImageCLEF Lab（图像CLEF实验室） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究小型视觉语言模型在多语言视觉多项选择题中的测试时缩放，比较多种方法，发现运行条件重要，可解析性是关键，增加解码预算有帮助，复杂方法贡献小，最佳配置在测试集上表现出色，位居排行榜首位。

Comments 14 pages, 2 figures, accepted at ImageCLEF 2026

Automatic Thematic Indexing of Large Literary Corpora: A Machine Learning Approach to Voltaire's Complete Works

大型文学语料库的自动主题索引：一种适用于伏尔泰全集的机器学习方法

Miguel Arana-Catania, Gillian Pink, Glenn Roe

机构 * University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文以伏尔泰全集子语料库为测试案例，将自动主题索引任务设为多标签分类问题，比较多种机器学习方法，最佳模型F1分数达0.67，还评估跨语料库泛化及分析模型行为，为大规模文学和历史语料库的结构化主题访问提供了启示。

Comments 22 pages, 3 figures, 3 tables

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

超调优：从激活感知剪枝到稀疏微调

Ivan Ilin, Philip Zmushko, Peter Richtárik

机构 * KAUST（沙特阿卜杜拉国王科技大学） ； ISTA（奥地利科学技术研究所） ； Yandex Research（Yandex 研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究大型语言模型微调成本高的问题，提出Super和Supra方法，利用剪枝显著性信号，结合Wanda分数与LoRA，通过预算分配规则保持参数预算，在算术实验中取得高准确率，证明简单排序可为PEFT提供支持。

Comments 26 pages, 3 figures, 19 tables. Code: https://github.com/vectozavr/SuperTuning

Blockchain-Linked Auditable Decision Management for Telecom/IoT Fraud-Control Requests

用于电信/物联网欺诈控制请求的区块链关联可审计决策管理

Saviz Changizi, Nasibeh Mohammadzadeh, Mohammad Shojafar, Rahim Tafazolli

机构 * G Innovation Centre, Institute for Communication Systems, University of Surrey, UK（Surrey大学6G创新中心，通信系统研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；prompting(abstract)；分类 cs.AI

AI总结 研究针对电信/物联网欺诈控制请求，将其重构为区块链关联可审计决策管理。采用QLoRA调整大语言模型分支及多种方法评分、决策，经实验验证不同方法效果，分析区块链遥测数据，揭示相关指标差异原因。

Comments 16 pages, 5 figures, 10 tables, IEEE Transaction Submission

FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space

FlowDAgger：在潜在空间中对生成式机器人策略进行人工参与的自适应调整

Michael Murray, Daphne Chen, Simran Bagaria, Dean Fortier, Tess Hellebrekers, Galen Mullins, Harshavardhan Gajarla, Oier Mees, Maya Cakmak, Andrey Kolobov

机构 * Microsoft Research（微软研究院） ； University of Washington（华盛顿大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究针对预训练生成式机器人策略在实际部署中出现的问题，提出FlowDAgger方法，通过动作反转从人工干预获取监督，在模拟及现实操纵中评估，该方法优于基线且能保留预训练技能，为机器人基础模型自适应调整提供实用路径。

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

一种新兴的海市蜃楼：新兴的错位与重新对齐真的是一种稳健的现象吗？

Abhinav Rao, Liancheng Gong, Bin Hu, Atharva Naik

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 研究新兴错位与重新对齐现象，通过受控微调循环研究其循环过程及相关表现，发现错位和重新对齐对数据集表面特征敏感，先前机制特征与行为错位不始终相关，指出当前EM证据欠稳健，需控制数据集伪像的评估协议。

CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding

CLAP：通过语言-动作基础实现从视觉语言模型到视觉语言动作模型的直接适配

Yuri Ishitoya, Jeremy Siburian, Masashi Hamaya, Kuniaki Saito, Cristian C. Beltran-Hernandez, Mai Nishimura

机构 * Ochanomizu University（御茶水女子大学） ； University of Tokyo（东京大学） ； OMRON SINIC X Corp（欧姆龙（中国）有限公司） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI

AI总结 研究如何将预训练视觉语言模型直接转换为视觉语言动作模型，核心方法是提出CLAP，通过在数字动作序列前加自然语言描述来解决输出分布不匹配问题，单轮微调效果良好，还将发布多尺度紧凑VLA家族助力能力转移分析。

Comments Project website: https://omron-sinicx.github.io/clap/

Large Behavior Model: A Promptable Digital Twin of the Retail Customer

大型行为模型：零售客户的可提示数字孪生体

Wachiravit Modecrua, Krittin Pachtrachai, Touchapon Kraisingkorn

机构 * Amity Research and Application Center (ARAC), Amity AI Holdings Co., Ltd.（友好研究与应用中心（ARAC），友好人工智能控股有限公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究旨在解决客户行为建模问题，提出大型行为模型（LBM），通过统一公式从零售交易学习客户决策，经多种训练方式优化。该模型在多任务中表现出色，消融研究揭示各因素作用，为客户数字孪生体和行为模拟提供可扩展基础。

Comments 17 pages, 5 figures

Benchmarking Universal Machine Learning Force Fields for Molecular Dynamics of Lunar Regolith Minerals

用于月球风化层矿物分子动力学的通用机器学习力场基准测试

Ziyu Huang, Ken-ichi Nomura

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究对六个通用机器学习力场模型用于月球矿物分子动力学模拟进行基准测试，通过多种方式评估结构保真度，测试羟基化表面，还进行性能基准测试，为模型应用提供初步基准并明确未来关键方向。

Comments 14 pages, 7 figures, 2 tables

A Descriptive and Normative Theory of Human Beliefs in RLHF

基于人类反馈强化学习中的人类信念描述性与规范性理论

Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

机构 * College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校） ； Department of Computer Science The University of Texas at Austin（计算机科学系 德州大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 研究 RLHF 中人类信念作用，提出新偏好模型，通过人类和综合实验，证实人类对智能体能力信念影响偏好，指出减少信念与能力不匹配可提升 RLHF 并给出新实践方向。

Comments Published at TMLR

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

HiPO：用于大语言模型自适应推理的分层偏好优化

Darsh Kachroo, Arjun Prasaath Anbazhagan, Adriana Caraeni, Brennan Lagasse, Kevin Zhu

机构 * Vellore Institute of Technology（维洛雷理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Northwestern University（西北大学） ； Yale University（耶鲁大学） ； Algoverse AI Research（Algoverse AI研究） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 HiPO通过分层优化提升大语言模型在复杂推理任务中的表现，结合偏好优化与结构化推理的优势，实现更高效的训练和更一致的输出。

Comments 12 pages, 4 figures, 6 tables. Includes ablation study across Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct on 5 math reasoning benchmarks (GSM8K, MATH500, Minerva, AIME24, Gaokao2023). GPT-4.1 used for structured evaluation of reasoning quality

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

PAC-ACT：用于动作分块变换器的训练后演员评论家方法

Yujie Pang, Zudong Li

机构 * LeRobot 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 针对精密工业接触操纵问题，提出PAC-ACT框架，通过在块级别重新制定策略优化、构建特定架构并引入混合行为先验约束，提升了机器人策略在姿态扰动和接触力约束下的性能，实验验证了其有效性。

PeTeR: Post-Training Robustification of Probabilistic Circuits

PeTeR：概率电路的训练后鲁棒化

Adrian Ciotinga, Yeming Dai, YooJung Choi

机构 * School of Computing and Augmented Intelligence Arizona State University（计算与增强智能学院亚利桑那州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 研究针对概率电路学习易过拟合和泛化能力弱的问题，提出PeTeR这一无需数据的训练后框架，可使预训练概率电路抵御分布变化，实证评估显示该框架能有效增强模型对随机和对抗性扰动的鲁棒性，性能良好。

Learning More from Less: Reinforcement Learning from Hindsight

从更少中学习更多：事后诸葛亮式强化学习

Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室） ； Stanford University（斯坦福大学） ； University of California, San Diego（加利福尼亚大学圣地亚哥分校） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究针对强化学习用于视觉-语言-动作模型后期训练时样本效率低的问题，提出事后诸葛亮式学习方法，通过对失败轨迹重标记，让策略联合原始与重标记轨迹训练，在分布外任务上显著提升样本效率并优于基线。

Improving Language Agents through BREW: Bootstrapping expeRientially-learned Environmental knoWledge

通过BREW改进语言智能体：引导式经验学习环境知识

Shashank Kirtania, Param Biyani, Priyanshu Gupta, Yasharth Bajpai, Roshni Iyer, Sumit Gulwani, Gustavo Soares

机构 * University of Michigan（密歇根大学） ； Independent（独立研究者） ； Microsoft（微软） ； Apple（苹果公司） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language agent(title)；large language model(abstract)；language model(abstract)

AI总结 研究基于LLM的智能体无法从经验学习的问题，提出BREW框架，通过提炼交互轨迹成知识库、引入EG-MCTS算法及适应事后重标记等方法，在多基准测试中提升任务成功率并减少执行步骤，且知识库具有良好特性。

General Non-Clairvoyant KV-Cache Scheduling via Regime-Aware Routing

通过状态感知路由实现通用的非先知式键值缓存调度

Yiding Feng, Siyu Liu, Zonghan Yang, Yuhao Zhang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究硬KV缓存内存预算下批量LLM推理的非先知式调度，提出基于状态感知路由框架的常数竞争算法，能处理任意提示和响应长度，对完工时间和总完成时间有常数竞争保证。