语言大模型 / LLM

Information-Theoretic Limits of Reliability and Scaling in Language Models

语言模型中可靠性和扩展性的信息论极限

Subhabrata Majumdar

机构 * Indian Institute of Management Bangalore（班加罗尔印度管理学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型可靠性和扩展性的信息论极限，通过分析任务输出不确定性等因素得出缩放定律，指出LLM性能受训练数据或模型容量限制，还统一多种实际现象，提供生成语言模型性能极限的统一理论。

Comments 29 pages, 2 figures

Stabilizing Native Low-Rank LLM Pretraining

稳定原生低秩大语言模型预训练

Paul Janson, Edouard Oyallon, Eugene Belilovsky

机构 * Concordia University, Montreal, Canada（Concordia 大学） ； Mila Quebec AI Institute, Montreal, Canada（Quebec AI 研究院） ； Sorbonne University, CNRS , Paris , France（Sorbonne 大学） 纠错

专题命中 预训练与数据 ：LLM(title)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出Spectron方法，通过谱归一化实现稳定原生低秩大语言模型预训练，显著提升推理效率并优化计算资源使用。

Comments Accepted at ICML 2026

Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

基于病理切片基础模型的多教师蒸馏预训练多实例学习网络

Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； University of Washington（华盛顿大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； Medical Optical Technology R&D Center, Research Institute of Tsinghua（清华研究院医学光学技术研发中心） ； Jinfeng Laboratory（金凤实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

AI总结 针对计算病理学中多实例学习存在的问题，提出基于蒸馏的预训练框架，利用两个基础模型作为教师，引入角分散归一化蒸馏损失，将蒸馏权重用于下游适应，实验表明该方法在少样本场景中优势明显，能提升计算效率。

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

言语化采样：如何减轻模式坍塌并释放大语言模型的多样性

Jiayi Zhang, Simon Yu, Derek Chong, Anthony Sicilia, Michael R. Tomz, Christopher D. Manning, Weiyan Shi

专题命中 预训练与数据 ：LLM(title,abstract)；post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现偏好数据中的典型性偏差致大语言模型模式坍塌，引入言语化采样策略。该策略能促使模型说出响应概率分布，经实验验证可显著提升创意写作等多方面性能，为模式坍塌提供新视角及实用补救方法。

Comments 83 pages, 31 figures, 44 tables. Code is available at https://github.com/CHATS-lab/verbalize-sampling

Pretraining Data Can Be Poisoned through Computational Propaganda

预训练数据可通过计算宣传被下毒

Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（艾伦人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现预训练数据可通过公共讨论界面被下毒，引入HalfLife方法衡量恶意内容，探索在网络规模下毒预训练语料库的可行性，证明估计毒注入重要性，确立第三方网页内容为攻击语言模型预训练的可能载体。

Native Video-Action Pretraining for Generalizable Robot Control

用于可泛化机器人控制的原生视频动作预训练

Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 研究针对机器人控制中视频动作模型应用于物理环境的不足，提出LingBot-VA 2.0，通过语义视觉动作分词器等四个核心设计原则构建基础模型，经真实世界部署验证其在复杂操作任务中的少样本泛化能力。

TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models

TokenSwap：对大型视觉语言模型组合理解的后门攻击

Zhifang Zhang, Qiqi Tao, Jiaqi Lv, Na Zhao, Lei Feng, Joey Tianyi Zhou

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； School of Electrical Engineering and Computer Science, University of Queensland, Australia（昆士兰大学电气工程与计算机科学学院） ； Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学设计学院） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore（前沿人工智能研究中心（CFAR）） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所（IHPC）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究针对大型视觉语言模型的后门攻击，提出TokenSwap方法，通过注入视觉触发器和交换文本答案中关键令牌语法角色，并采用自适应加权损失，在多基准和不同架构上实现高成功率且隐蔽性强的后门攻击。

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

基于多级智能数据管理的自动硬示例合成

Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型在内容安全审核任务中易受攻击的问题，提出自动智能红队框架，利用多智能体架构合成对抗示例，无需人工干预，提高模型鲁棒性，降低公共图像安全基准中的误报率。

Comments 23 pages; work in progress

Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

扩展基于吉兹语的非洲语言词汇：阿姆哈拉语和提格雷尼亚语的比较研究

Hailay Kidu Teklehaymanot, Debela Desalegn Yadeta, Wolfgang Nejdl

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 针对低资源非拉丁脚本语言表现不佳问题，提出VEXMLM。通过训练特定语言分词器扩展XLM - R词汇并初始化嵌入，分两阶段训练，在多种任务上评估。贡献为定制程序、两阶段策略及多语言评估，提升了相关语言任务性能。

Comments 13 pages , 7 tables , 2 figurs

FirmPilot: Evidence-Guided Multi-Agent Environment Recovery for IoT Firmware Rehosting

FirmPilot：用于物联网固件重新托管的证据引导多智能体环境恢复

Yanbing Shen, Fan Zhang, Haitao Xu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究针对物联网固件重新托管管道脆弱问题，提出证据引导多智能体框架FirmPilot，通过迭代环境重建解决跨层依赖，经实验验证其能提升可达性、增加检测服务数并支持下游分析，提高了固件重新托管的成功率和效用。

Comments 11 pages, 10 figures, 7 tables

Is External Database Protection Static in Retrieval-Augmented Generation? Rethinking Privacy Preservation under Dynamic Queries

检索增强生成中的外部数据库保护是静态的吗？重新思考动态查询下的隐私保护

Gang Zhang, Mingyu Tian, Xukun Luan, Yuanchi Ma, Jinyan Liu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究检索增强生成中外部数据库隐私保护问题，提出Prompt-Aware动态分层差分隐私框架PA-HDP，通过风险分层评估和自适应保护，在减少隐私泄露的同时保持高检索质量，实现更好的隐私-效用权衡。

Probabilistic "Copies" in Generative AI Models

生成式人工智能模型中的概率性“复制”

Mark A. Lemley, A. Feder Cooper

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究探讨生成式人工智能模型中概率性“复制”问题，指出能从大语言模型提取版权作品文本，因其权重存储令牌统计关系影响概率性生成过程。版权法对此判定重要但现有法律难助力，认为可能采取功能性方法，还建议了法律变革。

Comments Forthcoming, Berkeley Technology Law Journal

Grow-Prune-Freeze Networks: Adaptive & Continual Learning Technique for Olfactory Navigation

生长-剪枝-冻结网络：用于嗅觉导航的自适应与持续学习技术

Kordel K. France, Ovidiu Daescu

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出生长-剪枝-冻结（GPF）网络框架，通过动态调整策略网络层数实现持续学习，在湍流羽流导航任务中达到94%成功率，并推广到其他机器学习任务。

Comments Accepted as poster to the Reinforcement Learning in Big Worlds Workshop at the 2026 Reinforcement Learning Conference

TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations

TerraTransfer: 无需专家示范的端到端驾驶策略学习

Zikang Xiong, Weixin Li, Zhouchonghao Wu, Akshay Rangesh, Saarth Bonde, Grantland Hall, Chen Tang, Yihan Hu, Wei Zhan

机构 * Applied Intuition ； UCLA（加州大学洛杉矶分校） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出一种无需专家示范的端到端驾驶方法，通过向量化模拟器中的自博弈预训练策略，再与预训练视觉骨干对齐，降低了数据成本并达到或超越现有方法。

SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment

SUFLECA：扩大用于CAD到图像对齐的特征学习

Saad Ejaz, Miguel Fernandez-Cortizas, Javier Civera, Holger Voos, Jose Luis Sanchez-Lopez

机构 * Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability, and Trust (SnT), University of Luxembourg（自动化与机器人研究组，卢森堡大学跨学科安全、可靠性与信任中心（SnT）） ； Faculty of Science, Technology, and Medicine, University of Luxembourg（卢森堡大学科学、技术与医学学院） ； I3A, Universidad de Zaragoza（萨拉戈萨大学I3A） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 研究旨在解决CAD到图像对齐问题，提出弱监督框架SUFLECA。通过归一化物体坐标监督扩大特征学习，结合几何一致匹配算法，能准确快速对齐，在ScanNet25k上取得优异成绩，优于零样本基线并超越全监督方法。