语言大模型 / LLM

Complexity-Guided Component-wise Initialization for Language Model Pretraining

用于语言模型预训练的复杂度引导的逐组件初始化

Konstantin Garbers, Nicholas Oh

机构 * Peking University（北京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究预训练语言模型中反复出现的谱模式能否用于初始化，通过分析多个检查点构建初始化方案并与其他方法比较，发现预训练权重复用有竞争力，但仅粗略谱匹配非可靠策略，预训练谱是有用诊断，有效复用需保留更多信息。

CITRAS-FM: Tiny Time Series Foundation Model for Covariate-Informed Zero-Shot Forecasting

CITRAS-FM: 面向协变量信息零样本预测的微型时间序列基础模型

Yosuke Yamaguchi, Issei Suemitsu, Yuki Kajihara, Wenpeng Wei

机构 * University of Tokyo（东京大学） ； Keio University（庆应大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出CITRAS-FM，一个仅7M参数的时间序列基础模型，通过引入Shifted Attention和协变量合成方法CovSynth，实现高效零样本预测，在100个任务上达到子10M模型最优精度且CPU推理时间低于0.1秒。

Comments Accepted to EUSIPCO 2026. Code available at https://github.com/hitachi-ais/citras-fm

Neural Collapse Is Forbidden: Information Floors in Language Models

语言模型中的信息下限：神经坍缩是被禁止的

Bruno Abrahao

机构 * NYU Shanghai Leonard N. Stern School of Business, New York University（纽约大学上海纽约大学斯特恩商学院） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究语言模型中信息分配定律，通过单行中心化恒等式等方法，揭示宏观类别结构与令牌内上下文方差占比，理论上说明权重衰减影响，证明二元类别下限，表明定律在多方面成立及预训练中类别份额变化规律。

CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

CoCoT-EEG：用于脑电解码的对比预训练多尺度卷积Transformer

Gabriel Mahuas, Victoria Shevchenko, Ugo Tanielian, Yassir Bendou, Richard Gao

机构 * Sigma Nova Paris（巴黎西格玛诺瓦公司） ； Goethe University Frankfurt（法兰克福歌德大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.LG

AI总结 研究针对EEG解码，开发了含多尺度时间卷积输入层和Transformer编码器块的对比预训练模型CoCoT，在广泛基准解码任务中表现出色，优于单任务解码模型，证明对比学习构建EEG基础模型可行，还给出架构设计考量。

Video Generation Models are General-Purpose Vision Learners

视频生成模型是通用视觉学习者

Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究探讨计算机视觉中实现通用模型的催化剂，提出大规模文本到视频生成是预训练范式。介绍GenCeption模型，利用视频生成扩散主干定义感知模型。实验表明该模型在多任务中性能领先，有数据效率优势且具涌现行为，为通用视觉智能提供基础路径。

Comments ECCV 2026

When Routes Run Out: Adversarial Co-Learning and Explainable Robustness in Quantum Repeater Networks

当路线耗尽时：量子中继器网络中的对抗协同学习与可解释鲁棒性

Brennan Bell, Inti Gabriel Mendoza Estrada, Andreas Trügler, Paul Erker

机构 * RFI-IRFOS and TU Graz（RFI-IRFOS和格拉茨技术大学） ； openmaind FlexCo and TU Graz（openmaind FlexCo和格拉茨技术大学） ； Know Center Research GmbH and University of Graz（Know Center Research GmbH和格拉茨大学） ； Atominstitut, TU Wien and IQOQI, ÖAW（原子院、维也纳技术大学和ÖAW IQOQI） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 研究量子中继器网络路由对抗博弈问题，通过对抗协同学习，发现保留率与参考值紧密跟踪，拟合决策树解释模型并报告忠实度，构建提示记录形成开源解释工作流程。

Comments 4 pages, 5 figures, submitted to IEEE QCE26, Workshop on Q-GenAI: Synergies between QC & GenAI

Multimodal Reward Hacking in Reinforcement Learning

强化学习中的多模态奖励黑客攻击

Jiayu Yao, Yiwei Wang, Anmeng Zhang, Zhe Sun, Songsong Wang, Lingrui Mei, Yuyao Ge, Shenghua Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； Southeast University（东南大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究强化学习中多模态奖励黑客攻击问题，通过引入新奖励失败率（NRFR）等方法，在多种设置下改变模型规模、算法等因素进行实验，发现仅结果奖励易导致黑客攻击，扩大规模可减少但不能消除，还得出不同算法和奖励方式对黑客攻击的影响及相关结论。

Every Sample Counts: Supervised Fine-Tuning of Language Models with Pointwise Constraints

每个样本都很重要：基于逐点约束的语言模型监督微调

Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

专题命中 指令微调 ：language model(title,abstract)

AI总结 研究语言模型微调中逐点约束问题，提出新对齐框架，通过逐样本约束最小化平均损失，引入学习松弛方法并开发增广拉格朗日方法，在多任务和约束下实例化，减少约束违反且保留模型性能。

A censoring-aware target interface for tabular foundation models in survival prediction

生存预测中用于表格基础模型的删失感知目标接口

Yue Lyu, Steven H. Lin, Xuelin Huang, Ziyi Li

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 研究针对表格患者数据事件发生时间预测中右删失问题，提出SurvFM-RMST框架，将生存结果转换为伪观察目标用于RMST回归，在模拟和多数据集测试中表现良好，支持其作为删失生存数据与表格基础模型预测的接口。

Comments 33 pages, 5 figures. Supplementary Information included as an ancillary file

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

多语言视觉多项选择题中小视觉语言模型的测试时缩放

Spiros Baxevanakis, Peng-Jian Yang

机构 * ImageCLEF Lab（图像CLEF实验室） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究小型视觉语言模型在多语言视觉多项选择题中的测试时缩放，比较多种方法，发现运行条件重要，可解析性是关键，增加解码预算有帮助，复杂方法贡献小，最佳配置在测试集上表现出色，位居排行榜首位。

Comments 14 pages, 2 figures, accepted at ImageCLEF 2026

Automatic Thematic Indexing of Large Literary Corpora: A Machine Learning Approach to Voltaire's Complete Works

大型文学语料库的自动主题索引：一种适用于伏尔泰全集的机器学习方法

Miguel Arana-Catania, Gillian Pink, Glenn Roe

机构 * University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文以伏尔泰全集子语料库为测试案例，将自动主题索引任务设为多标签分类问题，比较多种机器学习方法，最佳模型F1分数达0.67，还评估跨语料库泛化及分析模型行为，为大规模文学和历史语料库的结构化主题访问提供了启示。

Comments 22 pages, 3 figures, 3 tables

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

超调优：从激活感知剪枝到稀疏微调

Ivan Ilin, Philip Zmushko, Peter Richtárik

机构 * KAUST（沙特阿卜杜拉国王科技大学） ； ISTA（奥地利科学技术研究所） ； Yandex Research（Yandex 研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究大型语言模型微调成本高的问题，提出Super和Supra方法，利用剪枝显著性信号，结合Wanda分数与LoRA，通过预算分配规则保持参数预算，在算术实验中取得高准确率，证明简单排序可为PEFT提供支持。

Comments 26 pages, 3 figures, 19 tables. Code: https://github.com/vectozavr/SuperTuning

Blockchain-Linked Auditable Decision Management for Telecom/IoT Fraud-Control Requests

用于电信/物联网欺诈控制请求的区块链关联可审计决策管理

Saviz Changizi, Nasibeh Mohammadzadeh, Mohammad Shojafar, Rahim Tafazolli

机构 * G Innovation Centre, Institute for Communication Systems, University of Surrey, UK（Surrey大学6G创新中心，通信系统研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；prompting(abstract)；分类 cs.AI

AI总结 研究针对电信/物联网欺诈控制请求，将其重构为区块链关联可审计决策管理。采用QLoRA调整大语言模型分支及多种方法评分、决策，经实验验证不同方法效果，分析区块链遥测数据，揭示相关指标差异原因。

Comments 16 pages, 5 figures, 10 tables, IEEE Transaction Submission

FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space

FlowDAgger：在潜在空间中对生成式机器人策略进行人工参与的自适应调整

Michael Murray, Daphne Chen, Simran Bagaria, Dean Fortier, Tess Hellebrekers, Galen Mullins, Harshavardhan Gajarla, Oier Mees, Maya Cakmak, Andrey Kolobov

机构 * Microsoft Research（微软研究院） ； University of Washington（华盛顿大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究针对预训练生成式机器人策略在实际部署中出现的问题，提出FlowDAgger方法，通过动作反转从人工干预获取监督，在模拟及现实操纵中评估，该方法优于基线且能保留预训练技能，为机器人基础模型自适应调整提供实用路径。

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

一种新兴的海市蜃楼：新兴的错位与重新对齐真的是一种稳健的现象吗？

Abhinav Rao, Liancheng Gong, Bin Hu, Atharva Naik

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 研究新兴错位与重新对齐现象，通过受控微调循环研究其循环过程及相关表现，发现错位和重新对齐对数据集表面特征敏感，先前机制特征与行为错位不始终相关，指出当前EM证据欠稳健，需控制数据集伪像的评估协议。

CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding

CLAP：通过语言-动作基础实现从视觉语言模型到视觉语言动作模型的直接适配

Yuri Ishitoya, Jeremy Siburian, Masashi Hamaya, Kuniaki Saito, Cristian C. Beltran-Hernandez, Mai Nishimura

机构 * Ochanomizu University（御茶水女子大学） ； University of Tokyo（东京大学） ； OMRON SINIC X Corp（欧姆龙（中国）有限公司） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI

AI总结 研究如何将预训练视觉语言模型直接转换为视觉语言动作模型，核心方法是提出CLAP，通过在数字动作序列前加自然语言描述来解决输出分布不匹配问题，单轮微调效果良好，还将发布多尺度紧凑VLA家族助力能力转移分析。

Comments Project website: https://omron-sinicx.github.io/clap/

Large Behavior Model: A Promptable Digital Twin of the Retail Customer

大型行为模型：零售客户的可提示数字孪生体

Wachiravit Modecrua, Krittin Pachtrachai, Touchapon Kraisingkorn

机构 * Amity Research and Application Center (ARAC), Amity AI Holdings Co., Ltd.（友好研究与应用中心（ARAC），友好人工智能控股有限公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究旨在解决客户行为建模问题，提出大型行为模型（LBM），通过统一公式从零售交易学习客户决策，经多种训练方式优化。该模型在多任务中表现出色，消融研究揭示各因素作用，为客户数字孪生体和行为模拟提供可扩展基础。

Comments 17 pages, 5 figures

Benchmarking Universal Machine Learning Force Fields for Molecular Dynamics of Lunar Regolith Minerals

用于月球风化层矿物分子动力学的通用机器学习力场基准测试

Ziyu Huang, Ken-ichi Nomura

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究对六个通用机器学习力场模型用于月球矿物分子动力学模拟进行基准测试，通过多种方式评估结构保真度，测试羟基化表面，还进行性能基准测试，为模型应用提供初步基准并明确未来关键方向。

Comments 14 pages, 7 figures, 2 tables

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

PAC-ACT：用于动作分块变换器的训练后演员评论家方法

Yujie Pang, Zudong Li

机构 * LeRobot 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 针对精密工业接触操纵问题，提出PAC-ACT框架，通过在块级别重新制定策略优化、构建特定架构并引入混合行为先验约束，提升了机器人策略在姿态扰动和接触力约束下的性能，实验验证了其有效性。

PeTeR: Post-Training Robustification of Probabilistic Circuits

PeTeR：概率电路的训练后鲁棒化

Adrian Ciotinga, Yeming Dai, YooJung Choi

机构 * School of Computing and Augmented Intelligence Arizona State University（计算与增强智能学院亚利桑那州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 研究针对概率电路学习易过拟合和泛化能力弱的问题，提出PeTeR这一无需数据的训练后框架，可使预训练概率电路抵御分布变化，实证评估显示该框架能有效增强模型对随机和对抗性扰动的鲁棒性，性能良好。

Learning More from Less: Reinforcement Learning from Hindsight

从更少中学习更多：事后诸葛亮式强化学习

Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室） ； Stanford University（斯坦福大学） ； University of California, San Diego（加利福尼亚大学圣地亚哥分校） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究针对强化学习用于视觉-语言-动作模型后期训练时样本效率低的问题，提出事后诸葛亮式学习方法，通过对失败轨迹重标记，让策略联合原始与重标记轨迹训练，在分布外任务上显著提升样本效率并优于基线。

General Non-Clairvoyant KV-Cache Scheduling via Regime-Aware Routing

通过状态感知路由实现通用的非先知式键值缓存调度

Yiding Feng, Siyu Liu, Zonghan Yang, Yuhao Zhang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究硬KV缓存内存预算下批量LLM推理的非先知式调度，提出基于状态感知路由框架的常数竞争算法，能处理任意提示和响应长度，对完工时间和总完成时间有常数竞争保证。

Shared Selective Persistent Memory for Agentic LLM Systems

用于智能语言模型系统的共享选择性持久内存

Sanjana Pedada, Aditya Dhavala, Neelraj Patil

机构 * Apple Inc.（苹果公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 智能语言模型系统面临上下文问题，本文提出共享选择性持久内存架构，识别保留四类可重用上下文，丢弃特定会话推理痕迹，实现共享协作重用。在企业场景和公共数据集实验中验证其有效性，提高任务完成率，降低成本，优于全历史持久化等极端方式。

Comments 11 pages, 2 figures, 4 tables

Self-Guided Test-Time Training for Long-Context LLMs

长上下文语言模型的自引导测试时训练

Xinyu Zhu, Zhe Xu, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Kaushik Rangadurai, Hua Zhi, Frank Shyu, Sandeep Pandey, Luke Simon, Yu Meng, Xi Liu

机构 * Meta AI ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长上下文语言模型处理中单纯扩窗口不能有效利用长输入、准确率易降的问题，提出自引导测试时训练（S-TTT）方法，通过模型识别证据跨度并仅对选定跨度训练，在两个基准上提升了模型准确率。

COBS: Cumulant Order Block Sparse Attention

COBS：累积阶数块稀疏注意力

Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra

机构 * MatX 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型中缓解KV缓存读取瓶颈的块稀疏注意力方法，以DeepSeek的NSA为代表分析其块选择问题。通过累积量展开指出现有方法局限，提出COBS方法，在32k RULER基准上提升了NSA基线分数，缩小与密集注意力差距，且减少了KV缓存读取流量。

SAGEAgent: A Self-Evolving Agent for Cost-Aware Modality Acquisition in Multimodal Survival Prediction

SAGEAgent：用于多模态生存预测中成本感知模态获取的自进化智能体

Chongyu Qu, Can Cui, Zhengyi Lu, Junchao Zhu, Tianyuan Yao, Junlin Guo, Juming Xiong, Yanfan Zhu, Yuechen Yang, Bennett A. Landman, Yuankai Huo

机构 * Vanderbilt University（范德堡大学） ； Vanderbilt University Medical Center（范德堡大学医学中心） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究多模态生存预测中如何平衡预测准确性与临床侵入性，提出基于自进化大语言模型的SAGEAgent，通过多种记忆和工具为患者决定诊断方式，实验证明其能在胶质瘤队列中降低获取负担并保持竞争力。

WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time

WAM-TTT：在测试时通过观察人类行为来引导世界行动模型

Yusen Feng, Bingchen Han, Jiangran Lyu, Kai Liu, Yixin Zheng, Yuxuan Wan, Weiheng Liu, Sun Han, Ruiqin Li, Yulong Zhang, Fangfu Liu, Xuesong Shi, Libin Liu, Yizhou Wang, Zhizheng Zhang, He Wang

机构 * Peking University（北京大学） ； Galbot ； CASIA（中国科学院自动化所） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 研究旨在解决引导机器人基础模型的难题，提出WAM-TTT框架，通过自监督视频预测吸收人类视频到自适应内存，经元训练阶段对齐人机行为，测试时仅用未标记人类视频，实现高效可重复引导且优于基线。

REBASE: Reference-Background Subspace Elimination for Training-Free In-Context Segmentation

REBASE：用于无训练上下文分割的参考背景子空间消除

Mantha Sai Gopal, Jaison Saji Chacko, Harsh Nandwana, Sandesh Hegde, Debarshi Banerjee, Uma Mahesh

机构 * CamCom Technologies Private Limited（卡姆康技术私人有限公司） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 研究无训练上下文分割问题，提出REBASE框架，通过识别参考图像低秩背景特征子空间并投影特征，结合相似性加权最远点采样等生成正点提示，在多个数据集上取得无训练方法新成果，有效提升一次性定位效果。

Neuro-Agentic Control: A Deep Learning-based LLM-Powered Agentic AI Framework for Controlling Security Controls

神经代理控制：一种基于深度学习的由大型语言模型驱动的用于控制安全控制的代理人工智能框架

Saroj Gopali, Bipin Chhetri, Deepika Giri, Sima Siami-Namini, Akbar Siami Namin

机构 * Texas Tech University（德克萨斯理工大学） ； Cumberland University（坎伯兰大学） ； Advanced Academic Programs Science（高级学术项目科学部） ； Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 推理与问题求解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 针对运营技术网络攻击问题，提出神经代理控制框架，结合基于LLM的规划器与预训练的TimesFM，并引入“反事实物理注入”机制，在工业数据集评估中表现优于基线，能有效保障关键基础设施中代理人工智能。

Agora: Enhancing LLM Agent Reasoning Via Auction-Based Task Allocation

Agora：通过基于拍卖的任务分配增强大语言模型智能体推理

Kaiji Zhou, Ales Leonardis, Yue Feng

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 推理与问题求解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究旨在增强LLM智能体推理能力，提出Agora框架，通过基于拍卖的机制动态分配任务，将推理步骤视为可交易项目让智能体依纠正能力投标，实验表明该框架在多基准测试中表现优且能实现成本-质量权衡。

Comments Preprint. 12 pages, 4 figures