语言大模型 / LLM

On the Value of Tokeniser Pretraining in Physics Foundation Models

在物理基础模型中tokenizer预训练的价值

Hadi Sotoudeh, Payel Mukhopadhyay, Ruben Ohana, Michael McCabe, Neil D. Lawrence, Shirley Ho, Miles Cranmer

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了在物理基础模型中预训练tokenizer对准确性和效率的影响，发现领域内预训练可显著提升模拟性能，并引入灵活的时空压缩操作以适应多样化的下游任务。

Comments 16 pages, 4 figures. Workshop paper at ICLR 2026 AI & PDE

IsoCompute Playbook: Optimally Scaling Sampling Compute for LLM RL

IsoCompute Playbook: 优化LLM RL中的采样计算规模

Zhoujun Cheng, Yutao Xie, Yuxiao Qu, Amrith Setlur, Shibo Hao, Varad Pimpalkhute, Tongtong Liang, Feng Yao, Zhengzhong Liu, Eric Xing, Virginia Smith, Ruslan Salakhutdinov, Zhiting Hu, Taylor Killian, Aviral Kumar

机构 * UC San Diego（UC圣地亚哥大学） ； MBZUAI-IFM ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究了LLM RL中采样计算的最优分配，发现并行回放数随计算预算增加而增加并饱和，不同问题驱动机制不同，且增加并行回放可减少干扰，问题数影响训练稳定性。

Comments 29 pages, 27 figures. Under review

Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing

专家阈值路由用于自回归语言模型的动态计算分配与负载均衡

Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出专家阈值路由方法，通过动态计算分配和负载平衡机制提升自回归语言模型性能，实验显示其在预训练任务中表现更优。

Text-Trained LLMs Can Zero-Shot Extrapolate PDE Dynamics, Revealing a Three-Stage In-Context Learning Mechanism

通过文本训练的LLM能够零样本外推PDE动力学，揭示一种三阶段的上下文学习机制

Jiajun Bao, Nicolas Boullé, Toni J. B. Liu, Raphaël Sarfati, Christopher J. Earls

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 研究揭示了通过文本训练的LLM能零样本外推PDE动态，并发现其三阶段上下文学习机制。

Learning Transferable Sensor Models via Language-Informed Pretraining

通过语言引导预训练学习可迁移的传感器模型

Yuliang Chen, Arvind Pillai, Yu Yvonne Wu, Tess Z. Griffin, Lisa Marsch, Michael V. Heinz, Nicholas C. Jacobson, Andrew Campbell

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SLIP通过语言引导预训练学习可迁移的传感器模型，整合对比对齐与传感器条件标注，支持不同时间分辨率和输入长度，实现跨领域任务的高效性能。

Continued Pretraining for Low-Resource Swahili ASR: Achieving State-of-the-Art Performance with Minimal Labeled Data

持续预训练用于低资源斯瓦希里语语音识别：在极少量标注数据下实现最先进的性能

Hillary Mutisya, John Mugane

机构 * Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 通过持续预训练和监督微调，在极少量标注数据下实现斯瓦希里语ASR的高性能，较基线提升82%，超越现有最佳系统61%。

Mock Worlds, Real Skills: Building Small Agentic Language Models with Synthetic Tasks, Simulated Environments, and Rubric-Based Rewards

假世界，真实技能：利用合成任务、模拟环境和评分标准奖励构建小型代理语言模型

Yuanjie Lyu, Chengyu Wang, Lei Shen, Jun Huang, Tong Xu

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；分类 cs.CL

AI总结 SYNTHAGENT框架通过合成多样化任务和模拟环境，结合评分标准奖励，提升小型LLM在数学、搜索和工具使用等任务中的代理能力。

Comments The first author prefers the more commonly used English name "Yuanjie Lyu" over "Yuan-Jay Lü", so we have updated it; both refer to the same person

Seq vs Seq: An Open Suite of Paired Encoders and Decoders

序列 vs 序列：一个配对编码器和解码器的开放套件

Orion Weller, Kathryn Ricci, Marc Marone, Antoine Chaffin, Dawn Lawrie, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） ； LightOn 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SOTA开放数据Ettin模型套件，包含不同规模的编码器和解码器模型，通过统一训练方法在分类、检索和生成任务中取得最佳性能。

Comments Accepted to ICLR'26

Hyperbolic Multiview Pretraining for Robotic Manipulation

双曲多视角预训练用于机器人操作

Jin Yang, Ping Wei, Yixin Chen, Nanning Zheng

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本文提出HyperMVP，一种基于双曲空间的多视角自监督预训练框架，通过GeoLink编码器学习结构化嵌入，提升机器人操作任务的性能。

Comments This paper was submitted to CVPR 2026 and was recommended for Findings, but the authors have withdrawn it and are currently adding more content to submit it elsewhere

Cascade: Composing Software-Hardware Attack Gadgets for Adversarial Threat Amplification in Compound AI Systems

级联：组合软件硬件攻击工具以在复合AI系统中实现对抗性威胁放大

Sarbartha Banerjee, Prateek Sahu, Anjo Vahldiek-Oberwagner, Jose Sanchez Vicarte, Mohit Tiwari

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出通过结合传统软件硬件漏洞与LLM算法攻击，实现复合AI系统中的对抗性威胁放大，展示两种新型攻击方法并系统化分析其组合。

Comments 11 pages, 8 figures, 1 table

Scaling Laws for Educational AI Agents

教育AI代理的扩展规律

Mengsong Wu, Hao Hao, Shuzhen Bi, Keqian Li, Wentao Liu, Siyu Song, Hongbo Zhao, Aimin Zhou

机构 * East China Normal University（东华师范大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出教育AI代理的扩展规律，通过结构化维度如角色定义、技能深度等，构建AgentProfile机制，展示EduClaw平台在K-12学科中实现330+代理的性能扩展，强调结构化能力系统的重要性。

Comments 19 pages, 6 figures, 3 tables, 1 algorithm

Deactivating Refusal Triggers: Understanding and Mitigating Overrefusal in Safety Alignment

消除拒绝触发：理解并缓解安全对齐中的过度拒绝问题

Zhiyu Xue, Zimo Qi, Guangliang Liu, Bocheng Chen, Ramtin Pedarsani

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Johns Hopkins University（约翰霍普金斯大学） ； Michigan State University（密歇根州立大学） ； University of Mississippi（密苏里州立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文研究了安全对齐中过度拒绝问题的成因，提出了一种考虑拒绝触发的缓解策略，通过优化训练过程提高模型对良性查询的响应能力。

Can LLMs Help Localize Fake Words in Partially Fake Speech?

大语言模型能否帮助在部分伪造语音中定位伪造词？

Lin Zhang, Thomas Thebaud, Zexin Cai, Sanjeev Khudanpur, Daniel Povey, Leibny Paola García-Perera, Matthew Wiesner, Nicholas Andrews

机构 * Xiaomi Corp., Beijing, China（小米公司，北京，中国） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了大语言模型在部分伪造语音中定位伪造词的能力，通过下一个token预测构建语音LLM，并探讨了模型对编辑风格模式的依赖问题。

Comments Submitted to Interspeech 2026; put on arxiv based on requirement from Interspeech: "Interspeech no longer enforces an anonymity period for submissions." and "For authors that prefer to upload their paper online, a note indicating that the paper was submitted for review to Interspeech should be included in the posting."

Graph Tokenization for Bridging Graphs and Transformers

图标记化：连接图与变换器

Zeyuan Guo, Enmao Diao, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecom.（北京邮电大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出图标记化框架，结合可逆图序列化与BPE，使变换器模型可直接应用于图结构数据，实现对图基准测试的高性能表现。

Comments Accepted as a poster at ICLR 2026. Code is available at https://github.com/BUPT-GAMMA/Graph-Tokenization-for-Bridging-Graphs-and-Transformers

EvoTok: A Unified Image Tokenizer via Residual Latent Evolution for Visual Understanding and Generation

EvoTok：通过残差潜在进化实现统一的图像分词器用于视觉理解和生成

Yan Li, Ning Liao, Xiangyu Zhao, Shaofeng Zhang, Xiaoxing Wang, Yifan Yang, Junchi Yan, Xue Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 EvoTok通过残差潜在进化统一图像理解和生成，实现高效视觉表征建模。

Swiss Parliaments Corpus Re-Imagined (SPC_R): Enhanced Transcription with RAG-based Correction and Predicted BLEU

瑞士议会语料库重新构想（SPC_R）：基于RAG的增强转录与预测BLEU

Vincenzo Timmel, Manfred Vogel, Daniel Perruchoud, Reza Kakooee

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 本文通过结合高精度ASR、基于LLM的校正和数据驱动过滤，提升瑞士议会语料库的转录质量，实现6点BLEU提升。

Comments Change: Updated number of hours for train/test

Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans

分词使多模态大语言模型能够理解、生成和编辑建筑平面图

Sizhong Qin, Ramon Elias Weber, Xinzheng Lu

机构 * Tsinghua University（清华大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 HouseMind通过引入离散房间实例标记，实现了建筑平面图的统一理解和生成，具备高效且可控的布局生成能力。

Comments 20 pages, 9 figures. Accepted to CVPR 2026

Temporal Text Classification with Large Language Models

基于大语言模型的时序文本分类

Nishat Raihan, Marcos Zampieri

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究评估了多种大语言模型在时序文本分类任务中的表现，发现专有模型在少样本提示下表现优异，而微调虽能提升开源模型性能，但仍无法超越专有模型。

DeReason: A Difficulty-Aware Curriculum Improves Decoupled SFT-then-RL Training for General Reasoning

DeReason: 一种考虑难度的课程改进了解耦的SFT-然后-RL训练以促进一般推理

Hanxu Hu, Yuxuan Wang, Maggie Huan, Jannis Vamvas, Yinya Huang, Zhijiang Guo, Rico Sennrich

机构 * University of Zurich（苏黎世大学） ； University of Pennsylvania（宾夕法尼亚大学） ； ETH Zurich（苏黎世联邦理工学院） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 DeReason通过基于难度的数据解耦策略，优化SFT与RL的训练分配，提升一般推理能力。

Comments 13 pages, 6 figures

BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion

BLooP：利用大语言模型的双元前瞻促进进行零样本抽象摘要

Varun Iyer, Cornelia Caragea

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 BLooP通过双元前瞻促进技术，在无需训练的情况下提升大语言模型生成摘要的准确性和忠实度。

Comments LREC 2026

Text-only adaptation in LLM-based ASR through text denoising

基于文本去噪的LLM语音识别领域适应

Andrés Carofilis, Sergio Burdisso, Esaú Villatoro-Tello, Shashi Kumar, Kadri Hacioglu, Srikanth Madikeri, Pradeep Rangappa, Manjunath K E, Petr Motlicek, Shankar Venkatesan, Andreas Stolcke

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过文本去噪方法实现LLM语音识别领域适应，有效保持跨模态对齐并提升性能，实测在两个数据集上达到22.1%的相对提升。

Can RL Improve Generalization of LLM Agents? An Empirical Study

强化学习能否提升大语言模型代理的泛化能力？一项实证研究

Zhiheng Xi, Xin Guo, Jiaqi Liu, Jiazheng Zhang, Yutao Fan, Zhihao Zhang, Shichun Liu, Mingxu Chai, Xiaowei Shi, Yitao Zhai, Xunliang Cai, Tao Gui, Qi Zhang, Xuanjing Huang

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文通过实证研究探讨强化学习如何提升大语言模型代理在不同环境中的泛化能力，发现顺序训练和跨环境混合训练能有效提升性能，同时减少遗忘问题。

Comments Preprint, under review

Resurfacing Paralinguistic Awareness in Large Audio Language Models

在大型音频语言模型中重新浮现语义外特性意识

Hao Yang, Minghan Wang, Tongtong Wu, Lizhen Qu, Ehsan Shareghi, Gholamreza Haffari

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出一种语义外增强的微调方法，通过五种分层分析提升LALMs的语义外意识能力，实验表明其效果优于全层微调策略。

Comments Submitted to Interspeech 2026

Speak or Stay Silent: Context-Aware Turn-Taking in Multi-Party Dialogue

说话还是沉默：多方对话中的情境感知发言轮换

Kratika Bhagtani, Mrinal Anand, Yu Chen Xu, Amit Kumar Singh Yadav

机构 * School of Electrical and Computer Engineering, Purdue University, United States（帕克大学电气与计算机工程学院） ； Ishiki Labs Inc.（Ishiki实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于上下文的情境感知发言轮换方法，通过监督微调和推理痕迹提升模型在多方对话中的发言准确性，发现现有大语言模型在零样本条件下无法有效实现该能力。

Comments Submitted for review to Interspeech 2026

CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs

CTIGuardian：一种缓解微调大语言模型隐私泄露的少样本框架

Shashie Dilhara Batan Arachchige, Benjamin Zi Hao Zhao, Hassan Jameel Asghar, Dinusha Vatsalan, Dali Kaafar

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 CTIGuardian通过少样本监督整合隐私分类器和红员，提升微调大语言模型的隐私保护与效用平衡。

Comments Accepted at the 18th Cybersecurity Experimentation and Test Workshop (CSET), in conjunction with ACSAC 2025

Journal ref 2025 Annual Computer Security Applications Conference Workshops (ACSAC Workshops), Honolulu, HI, USA, 2025, pp. 510-522

Generalizing Vision-Language Models with Dedicated Prompt Guidance

通过专用提示引导泛化视觉语言模型

Xinyao Li, Yinjie Min, Hongbo Chen, Zhekai Du, Fengling Li, Jingjing Li

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出GuiDG框架，通过提示微调和跨模态注意力模块提升视觉语言模型的领域泛化能力，并在ImageNet-DG上验证了其有效性。

Comments Accepted to AAAI26

Task-Conditioned Routing Signatures in Sparse Mixture-of-Experts Transformers

稀疏混合专家变压器中的任务条件路由签名

Mynampati Sri Ranganadha Avinash

机构 * MSR Avinash Independent Researcher（MSR阿文纳什独立研究员） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现稀疏混合专家变压器中的路由机制具有任务条件结构，通过路由签名分析显示同类任务提示具有高相似性，不同任务提示相似性较低，且基于路由签名的分类器在任务分类中表现优异。

Comments 11 pages, 5 figures. Empirical analysis of routing behavior in sparse Mixture-of-Experts transformers using OLMoE

DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use

DIVE：在代理任务合成中扩展多样性以实现通用工具使用

Aili Chen, Chi Zhang, Junteng Liu, Jiangjie Chen, Chengyu Du, Yunji Li, Ming Zhong, Qin Wang, Zhengmao Zhu, Jiayuan Song, Ke Ji, Junxian He, Pengyu Zhao, Yanghua Xiao

专题命中 指令微调 ：post-training(abstract)；SFT(abstract)；分类 cs.AI

AI总结 DIVE通过反转合成顺序，先执行多样化的现实工具并反向推导任务，从而提升代理任务合成的多样性，使模型在不同任务和工具集下的泛化能力显著增强。

ReHARK: Refined Hybrid Adaptive RBF Kernels for Robust One-Shot Vision-Language Adaptation

ReHARK：基于重构混合自适应RBF核的鲁棒单样本视觉-语言适应

Md Jahidul Islam

机构 * Buet.ac.bd（巴特西大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 ReHARK通过重构混合自适应RBF核框架，利用全局近端正则化提升单样本视觉-语言适应的稳定性与准确性，实现65.83%的平均准确率。

Critique-Coder: Enhancing Coder Models by Critique Reinforcement Learning

Critique-Coder: 通过批判强化学习增强Coder模型

Chi Ruan, Dongfu Jiang, Yubo Wang, Wenhu Chen

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL

AI总结 Critique-Coder通过批判强化学习提升Coder模型性能，优于传统强化学习方法。