语言大模型 / LLM

On the Value of Tokeniser Pretraining in Physics Foundation Models

在物理基础模型中tokenizer预训练的价值

Hadi Sotoudeh, Payel Mukhopadhyay, Ruben Ohana, Michael McCabe, Neil D. Lawrence, Shirley Ho, Miles Cranmer

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了在物理基础模型中预训练tokenizer对准确性和效率的影响，发现领域内预训练可显著提升模拟性能，并引入灵活的时空压缩操作以适应多样化的下游任务。

Comments 16 pages, 4 figures. Workshop paper at ICLR 2026 AI & PDE

IsoCompute Playbook: Optimally Scaling Sampling Compute for LLM RL

IsoCompute Playbook: 优化LLM RL中的采样计算规模

Zhoujun Cheng, Yutao Xie, Yuxiao Qu, Amrith Setlur, Shibo Hao, Varad Pimpalkhute, Tongtong Liang, Feng Yao, Zhengzhong Liu, Eric Xing, Virginia Smith, Ruslan Salakhutdinov, Zhiting Hu, Taylor Killian, Aviral Kumar

机构 * UC San Diego（UC圣地亚哥大学） ； MBZUAI-IFM ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究了LLM RL中采样计算的最优分配，发现并行回放数随计算预算增加而增加并饱和，不同问题驱动机制不同，且增加并行回放可减少干扰，问题数影响训练稳定性。

Comments 29 pages, 27 figures. Under review

Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing

专家阈值路由用于自回归语言模型的动态计算分配与负载均衡

Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出专家阈值路由方法，通过动态计算分配和负载平衡机制提升自回归语言模型性能，实验显示其在预训练任务中表现更优。

Text-Trained LLMs Can Zero-Shot Extrapolate PDE Dynamics, Revealing a Three-Stage In-Context Learning Mechanism

通过文本训练的LLM能够零样本外推PDE动力学，揭示一种三阶段的上下文学习机制

Jiajun Bao, Nicolas Boullé, Toni J. B. Liu, Raphaël Sarfati, Christopher J. Earls

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 研究揭示了通过文本训练的LLM能零样本外推PDE动态，并发现其三阶段上下文学习机制。

Learning Transferable Sensor Models via Language-Informed Pretraining

通过语言引导预训练学习可迁移的传感器模型

Yuliang Chen, Arvind Pillai, Yu Yvonne Wu, Tess Z. Griffin, Lisa Marsch, Michael V. Heinz, Nicholas C. Jacobson, Andrew Campbell

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SLIP通过语言引导预训练学习可迁移的传感器模型，整合对比对齐与传感器条件标注，支持不同时间分辨率和输入长度，实现跨领域任务的高效性能。

Continued Pretraining for Low-Resource Swahili ASR: Achieving State-of-the-Art Performance with Minimal Labeled Data

持续预训练用于低资源斯瓦希里语语音识别：在极少量标注数据下实现最先进的性能

Hillary Mutisya, John Mugane

机构 * Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 通过持续预训练和监督微调，在极少量标注数据下实现斯瓦希里语ASR的高性能，较基线提升82%，超越现有最佳系统61%。

Mock Worlds, Real Skills: Building Small Agentic Language Models with Synthetic Tasks, Simulated Environments, and Rubric-Based Rewards

假世界，真实技能：利用合成任务、模拟环境和评分标准奖励构建小型代理语言模型

Yuanjie Lyu, Chengyu Wang, Lei Shen, Jun Huang, Tong Xu

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；分类 cs.CL

AI总结 SYNTHAGENT框架通过合成多样化任务和模拟环境，结合评分标准奖励，提升小型LLM在数学、搜索和工具使用等任务中的代理能力。

Comments The first author prefers the more commonly used English name "Yuanjie Lyu" over "Yuan-Jay Lü", so we have updated it; both refer to the same person

Seq vs Seq: An Open Suite of Paired Encoders and Decoders

序列 vs 序列：一个配对编码器和解码器的开放套件

Orion Weller, Kathryn Ricci, Marc Marone, Antoine Chaffin, Dawn Lawrie, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） ； LightOn 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SOTA开放数据Ettin模型套件，包含不同规模的编码器和解码器模型，通过统一训练方法在分类、检索和生成任务中取得最佳性能。

Comments Accepted to ICLR'26

Hyperbolic Multiview Pretraining for Robotic Manipulation

双曲多视角预训练用于机器人操作

Jin Yang, Ping Wei, Yixin Chen, Nanning Zheng

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本文提出HyperMVP，一种基于双曲空间的多视角自监督预训练框架，通过GeoLink编码器学习结构化嵌入，提升机器人操作任务的性能。

Comments This paper was submitted to CVPR 2026 and was recommended for Findings, but the authors have withdrawn it and are currently adding more content to submit it elsewhere

Cascade: Composing Software-Hardware Attack Gadgets for Adversarial Threat Amplification in Compound AI Systems

级联：组合软件硬件攻击工具以在复合AI系统中实现对抗性威胁放大

Sarbartha Banerjee, Prateek Sahu, Anjo Vahldiek-Oberwagner, Jose Sanchez Vicarte, Mohit Tiwari

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出通过结合传统软件硬件漏洞与LLM算法攻击，实现复合AI系统中的对抗性威胁放大，展示两种新型攻击方法并系统化分析其组合。

Comments 11 pages, 8 figures, 1 table

Scaling Laws for Educational AI Agents

教育AI代理的扩展规律

Mengsong Wu, Hao Hao, Shuzhen Bi, Keqian Li, Wentao Liu, Siyu Song, Hongbo Zhao, Aimin Zhou

机构 * East China Normal University（东华师范大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出教育AI代理的扩展规律，通过结构化维度如角色定义、技能深度等，构建AgentProfile机制，展示EduClaw平台在K-12学科中实现330+代理的性能扩展，强调结构化能力系统的重要性。

Comments 19 pages, 6 figures, 3 tables, 1 algorithm

Deactivating Refusal Triggers: Understanding and Mitigating Overrefusal in Safety Alignment

消除拒绝触发：理解并缓解安全对齐中的过度拒绝问题

Zhiyu Xue, Zimo Qi, Guangliang Liu, Bocheng Chen, Ramtin Pedarsani

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Johns Hopkins University（约翰霍普金斯大学） ； Michigan State University（密歇根州立大学） ； University of Mississippi（密苏里州立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文研究了安全对齐中过度拒绝问题的成因，提出了一种考虑拒绝触发的缓解策略，通过优化训练过程提高模型对良性查询的响应能力。

Can LLMs Help Localize Fake Words in Partially Fake Speech?

大语言模型能否帮助在部分伪造语音中定位伪造词？

Lin Zhang, Thomas Thebaud, Zexin Cai, Sanjeev Khudanpur, Daniel Povey, Leibny Paola García-Perera, Matthew Wiesner, Nicholas Andrews

机构 * Xiaomi Corp., Beijing, China（小米公司，北京，中国） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了大语言模型在部分伪造语音中定位伪造词的能力，通过下一个token预测构建语音LLM，并探讨了模型对编辑风格模式的依赖问题。

Comments Submitted to Interspeech 2026; put on arxiv based on requirement from Interspeech: "Interspeech no longer enforces an anonymity period for submissions." and "For authors that prefer to upload their paper online, a note indicating that the paper was submitted for review to Interspeech should be included in the posting."

Graph Tokenization for Bridging Graphs and Transformers

图标记化：连接图与变换器

Zeyuan Guo, Enmao Diao, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecom.（北京邮电大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出图标记化框架，结合可逆图序列化与BPE，使变换器模型可直接应用于图结构数据，实现对图基准测试的高性能表现。

Comments Accepted as a poster at ICLR 2026. Code is available at https://github.com/BUPT-GAMMA/Graph-Tokenization-for-Bridging-Graphs-and-Transformers

EvoTok: A Unified Image Tokenizer via Residual Latent Evolution for Visual Understanding and Generation

EvoTok：通过残差潜在进化实现统一的图像分词器用于视觉理解和生成

Yan Li, Ning Liao, Xiangyu Zhao, Shaofeng Zhang, Xiaoxing Wang, Yifan Yang, Junchi Yan, Xue Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 EvoTok通过残差潜在进化统一图像理解和生成，实现高效视觉表征建模。

Swiss Parliaments Corpus Re-Imagined (SPC_R): Enhanced Transcription with RAG-based Correction and Predicted BLEU

瑞士议会语料库重新构想（SPC_R）：基于RAG的增强转录与预测BLEU

Vincenzo Timmel, Manfred Vogel, Daniel Perruchoud, Reza Kakooee

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 本文通过结合高精度ASR、基于LLM的校正和数据驱动过滤，提升瑞士议会语料库的转录质量，实现6点BLEU提升。

Comments Change: Updated number of hours for train/test