语言大模型 / LLM

Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization

梯度平滑：耦合逐层更新以改进优化

Haoming Meng, Anton Sugolov, Vardan Papyan

机构 * Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出深度梯度增强框架，通过窗口平滑算子沿深度方向变换优化器更新，在不改变模型架构或训练目标下提升多种架构和任务的优化与泛化性能。

Comments Published in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings

SCARCE: 基于嵌入的可扩展级联分析用于罕见事件表征

Yingjie Wang, Yi Dong, Edmund Lau, Jie Meng, Taylor T Johnson, Xiaowei Huang

机构 * University of Liverpool, UK（利物浦大学） ； UK AI Security Institute, UK（英国人工智能安全研究所） ； Loughborough University, UK（洛桑大学） ； Department of Computer Science, Vanderbilt University, USA（范德比大学计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出SCARCE方法，用学习到的潜在表示和几何标尺替代传统子集模拟中的性能函数，通过自适应阈值构建嵌套事件，在MNIST误分类和LLM越狱任务中实现更低的估计误差和更好的可迁移性。

Comments 23 pages, 11 figures, 5 tables

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

更新的几何：词汇规模下的Fisher对齐

John Sweeney

机构 * Sideplane AI 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 针对共享词汇的LLM家族，提出FisherSketch方法，通过核均值嵌入的余弦相似度估计Fisher对齐，实现词汇规模下的高效源选择，并揭示激活、误差及耦合因素。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026), PMLR 306. 64 pages total (main paper plus appendix), 4 figures, 29 tables

State-Grounded Multi-Agent Synthetic Data Generation for Tool-Augmented LLMs

面向工具增强型大语言模型的基于状态的多智能体合成数据生成

Rahul Khedar, Eshita, Sneha Teja Sree Reddy Thondapu, Mayank Malhotra, Arup Das, Jitesh Chandra, Yun-Shiuan Chuang, Chaitanya Kulkarni, Arun Menon, Linsey Pang, Avinash Karn, Mouli V, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出StateGen平台，通过四角色LLM循环和状态管理器生成多轮、工具接地的高质量训练对话，消除工具调用幻觉，支持层次化多智能体设置。

Comments 9 pages, 5 figures, 6 tables, 1 algorithm

Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops

通过对抗性黑客-修复者循环强化智能体基准测试

Ziqian Zhong, Ivgeni Segal, Ivan Bercovich, Shashwat Saxena, Kexun Zhang, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fewshot Corp（Fewshot公司） ； Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出黑客-修复者循环方法，通过LLM代理交替攻击和修补验证器，自动生成抗利用的验证器，将KernelBench攻击成功率从62%降至0%。

Argument Collapse: LLMs Flatten Long-Form Public Debate

论点坍缩：LLMs 扁平化长篇公共辩论

Yekyung Kim, Yapei Chang, Chau Minh Pham, Mohit Iyyer

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究大型语言模型在生成公共辩论文本时导致论点坍缩的现象，即不同模型生成的论文在主要论点、子论点和段落结构上趋于收敛，通过对比人类与LLM生成文本发现LLM的论点多样性显著降低。

Superintelligent Retrieval Agent: The Next Frontier of Agentic Retrieval

超级智能检索代理：代理检索的下一个前沿

Zeyu Yang, Qi Ma, Jason Chen, Anshumali Shrivastava

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（里士满大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出SIRA，通过单次语料判别性检索压缩多轮探索，利用LLM丰富文档词汇、预测查询缺失词汇并基于语料统计过滤，在BEIR基准上取得最强平均检索性能，并在下游QA任务中超越RL训练的代理系统。

Inverse Depth Scaling From Most Layers Being Similar

大多数层相似时的逆深度缩放

Yizhou Liu, Sara Kangaslahti, Ziming Liu, Jeff Gore

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过分析大型语言模型和玩具残差网络，发现损失与深度成反比，归因于功能相似的层通过集成平均而非组合学习或平滑动力学离散化来减少误差，表明需要架构创新以鼓励深度组合使用。

Comments Camera-ready version, ICML 2026

Beyond Agreement: Scoring Panel-Surfaced Biomedical Entity Candidates for Curator Triage

超越一致性：为策展人分类对面板筛选的生物医学实体候选进行评分

Shuheng Cao, Ruiqi Chen, Renjie Cao, Zhenhao Zhang, Siyu Zhang, Tingting Dan

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； The Hong Kong University of Science and Technology, Guangzhou（香港科学与技术大学（广州）） ； ShanghaiTech University（上海科技大学） ； University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出BioConCal评分器，利用无金标准的一致性、提及、表面可用性和文档特征，对多LLM面板筛选的候选实体进行评分，显著提高候选筛选的精确率和召回率。

CobSeg: Coherence Boundary Modeling for Dialogue Topic Segmentation

CobSeg: 对话主题分割的连贯性边界建模

Sijin Sun, Liangbin Zhao, Jiaxiang Cai, Ming Deng, Mingyu Luo, Xiuju Fu

机构 * Institute of High Performance Computing, Agency for Science, Technology and Technology（高性能计算研究所，科技局） ； Shanghai Univeristy（上海大学） ； Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出CobSeg多分支架构，通过分离连贯性语义与词汇边界转换并利用边界信息加权和主题连贯性线索，在无需LLM调用下提升对话主题分割性能。

Comments 8 pages with appindx. Under review

GenesisFunc: Multi-Agent Data Generation for Accurate and Generalizable Function-Calling

GenesisFunc: 面向准确且泛化的函数调用的多智能体数据生成

Hao-Xiang Xu, Chong Deng, Jiaqing Liu, Wen Wang, Qian Chen, Lujia Bao, Xiangang Li, Zhen-Hua Ling

机构 * Tongyi Fun Team, Alibaba Group（通义功能团队，阿里巴巴集团） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出GenesisFunc多智能体自动生成函数调用训练数据，通过多阶段评估保证质量，微调8B模型在域内和域外均优于同类开源模型，性能接近部分API模型。

Comments Accepted by ACL 2026 Main

SynthTools: A Framework for Scaling Synthetic Tools for Agent Development

SynthTools: 用于扩展智能体开发中合成工具的框架

Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于LLM的端到端管道SynthTools，通过环境生成、模拟、验证和任务构建，生成大规模多样化工具使用环境，提升智能体工具使用能力。

Remember what you did so you know what to do next

记住你做了什么，以便知道下一步该做什么

Manuel R. Ciosici, Alex Hedges, Yash Kankanampati, Justin Martin, Marjorie Freedman, Ralph Weischedel

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究使用中等规模的大语言模型GPT-J为模拟机器人在ScienceWorld文本游戏中的30类目标生成计划，通过填充更多历史步骤显著提升性能，并发现任务平均可能掩盖性能差异。

Comments Identical to EMNLP 2023 Findings

Terminal-World: Scaling Terminal-Agent Environments via Agent Skills

Terminal-World: 通过智能体技能扩展终端智能体环境

Zihao Cheng, Hongru Wang, Zeming Liu, Xinyi Wang, Xiangrong Zhu, Yuhang Guo, Wei Lin, Jeff Z. Pan, Yunhong Wang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； Independent Researcher（独立研究者） ； Beijing Institute of Technology（北京理工大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 预训练与数据 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Terminal-World，一种自动化流程，利用智能体技能作为核心合成原语，共同编码任务目标、执行时机和方法，从而生成任务指令、环境和教师轨迹。通过构建5,723个训练环境，训练出Terminal-World-8B/14B/32B模型，在六个基准测试中均优于终端智能体基线，其中Terminal-World-32B在Terminal-Bench 2.0上以仅1.2%的训练数据超越Nemotron-Terminal-32B。

Comments Work in Progress

Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

不要检索，导航：将企业知识转化为可导航的代理技能用于问答和RAG

Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

机构 * Magellan Technology Research Institute（马格纳技术研究 institute） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Corpus2Skill，通过将文档库转化为层次化技能目录，使LLM代理在服务时能导航该目录，提升问答质量和 grounding，但指出导航并非所有场景下的最佳替代方案。

WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

WARDEN：利用6小时训练数据进行濒危原住民语言的转录与翻译

Ziheng Zhang, Yunzhong Hou, Naijing Liu, Liang Zheng

机构 * Australian National University（澳大利亚国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 WARDEN通过分阶段模型处理濒危语言转录与翻译，利用印尼语初始化加速训练，结合专家词典提升翻译性能，以6小时数据优于统一模型。

Comments https://github.com/Ziheng-Zhang-AUS/WARDEN

Phoenix-VL 1.5 Medium Technical Report

Phoenix-VL 1.5 中等技术报告

Team Phoenix, :, Arka Ray, Askar Ali Mohamed Jawad, Biondi Lee, Elijah Seah, Eva Lim, Fiona Teo, Grace Toh, Guang Xiang Teo, Jun En Tan, Jia Hui Bong, Jiale Wang, Jonathan Ng, Justin Tan, Kai Zhe Yew, Matthew Ong, Shun Yi Yeo, Wen Jett Lam, Wen Xiu Tan, Ze Yu Zhang, Gee Wah Ng, Chee Wee Ang, Mistral AI, :, Adrien Sadé, Guillaume Kunsch, Jia Sin Loh, Nicolas Schuhl, Rupert Menneer, Umar Jamil, Vincent Maladière, Yimu Pan

机构 * Mistral AI 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 Phoenix-VL 1.5 是一个123B参数的多模态多语言基础模型，适应区域语言和新加坡环境，通过本地化数据集和对齐优化实现深度领域适应，同时在多项基准测试中表现优异。

Comments Release page: https://medium.com/htx-ai/introducing-phoenix-vl-1-5-medium-multimodal-intelligence-uniquely-singaporean-ef8214c8cfa1

CircuitSynth: Reliable Synthetic Data Generation

CircuitSynth：可靠的合成数据生成

Zehua Cheng, Wei Dai, Jiahao Sun, Thomas Lukasiewicz

机构 * University of Oxford（牛津大学） ； TU Wien（维也纳工业大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 CircuitSynth提出了一种新的神经符号框架，通过将语义推理与表层实现解耦，结合概率句法决策图和凸优化机制，实现高保真合成数据生成，确保逻辑约束和分布目标。

Comments 11 Pages

Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

改进的证据提取与文档不一致性检测的度量标准与LLMs

Nelvin Tan, Yaowen Zhang, James Asikin Cheung, Fusheng Liu, Yu-Ching Shih, Dong Yang

机构 * American Express（美国运通） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出新的证据提取度量标准和红acted-重试框架，提升LLMs在文档不一致性检测中的证据提取性能，并释放新的半合成数据集进行评估。

Comments 14 pages, 9 figures

Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation

Optimsyn: 基于影响的合成数据生成 rubrics 优化

Zhiting Fan, Ruizhe Chen, Tianxiang Hu, Ru Peng, Zenan Huang, Haokai Xu, Yixin Chen, Jian Wu, Junbo Zhao, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Inclusion AI, Ant Group（Inclusion AI, 蚂蚁集团） ； Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江省医学影像人工智能重点实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

AI总结 本文提出 Optimsyn 框架，通过影响估计优化 rubrics，提升合成数据生成质量，实现跨领域和模型的泛化性能。

OpenSeeker: Democratizing Frontier Search Agents by Fully Open-Sourcing Training Data

OpenSeeker：通过完全开源训练数据民主化前沿搜索代理

Yuwen Du, Rui Ye, Shuo Tang, Xinyu Zhu, Yijun Lu, Yuzhu Cai, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 OpenSeeker通过两项技术创新实现前沿性能，利用开源数据提升搜索代理能力，实验表明其在多个基准测试中表现优异，超越现有开源和工业竞争对手。

Comments 15 pages, 6 figures

High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning

高精度、少言 (HALT)：通过能力对齐微调实现可靠的LLM

Tim Franzmeyer, Archie Sravankumar, Lijuan Liu, Yuning Mao, Rui Hou, Sinong Wang, Jakob N. Foerster, Luke Zettlemoyer, Madian Khabsa

机构 * University of Oxford（牛津大学） ； Anthropic（Anthropic公司） ； Meta ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 HALT通过能力对齐微调提高LLM的响应正确性，使模型在四个领域中正确性提升至87%

Late-to-Early Training: LET LLMs Learn Earlier, So Faster and Better

后期到早期训练：LET LLMs 早期学习，从而更快且更好

Ji Zhao, Yufei Gu, Shitong Shao, Xun Zhou, Liang Xiang, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出LET范式，通过利用已有小型预训练模型加速大模型训练，实现更快的训练速度和更高的性能。

Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment

流畅但异域：即使区域LLM也缺乏文化契合

Dhruv Agarwal, Anya Shukla, Sunayana Sitaram, Aditya Vashistha

机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 研究发现，即使区域LLM也缺乏文化契合，需通过社区基础的数据和厚宽评估来构建真正主权的LLM。

Comments Under review

Synthetic Data for Veterinary EHR De-identification: Benefits, Limits, and Safety Trade-offs Under Fixed Compute

兽医电子健康记录的合成数据：在固定计算下的好处、限制和安全权衡

David Brundage

机构 * University of Wisconsin-Madison, School of Veterinary Medicine（威斯康星大学麦迪逊分校兽医学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究探讨了合成数据在兽医电子健康记录去标识化中的应用，发现合成数据在固定预算下无法替代真实数据，但适度混合可提升性能，但需注意训练暴露增加而非数据质量提升。

Closing the Data Loop: Using OpenDataArena to Engineer Superior Training Datasets

闭合数据循环：利用OpenDataArena工程更优质的训练数据集

Xin Gao, Xiaoyang Wang, Yun Zhu, Mengzhang Cai, Conghui He, Lijun Wu

机构 * Shanghai Artificial Intelligence Laboratory, OpenDataLab, OpenDataArena（上海人工智能实验室、OpenDataLab、OpenDataArena） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 本文提出利用OpenDataArena构建闭合循环数据集，通过ODA-Math-460k和ODA-Mixture数据集展示其在数学推理和多领域指令任务上的卓越性能。

Comments Superior ODA-Math, ODA-Mixture Datasets

Learning the Topic, Not the Language: How LLMs Classify Online Immigration Discourse Across Languages

学习主题，而非语言：如何LLMs在跨语言环境下分类在线移民 discourse

Andrea Nasuto, Stefano Maria Iacus, Francisco Rowe, Devika Jain

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出一种轻量级开源框架，利用微调后的LLaMA模型跨13种语言分类移民相关推文，展示LLMs在少量数据下可泛化主题理解，并通过多语言微调捕捉意识形态细微差别，实现高效且低成本的多语言分析。

C2LLM Technical Report: A New Frontier in Code Retrieval via Adaptive Cross-Attention Pooling

C2LLM技术报告：通过自适应跨注意力池化实现代码检索的新前沿

Jin Qin, Zihan Liao, Ziyin Zhang, Hang Yu, Peng Di, Rui Wang

机构 * Ant Group（蚂蚁集团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 C2LLM通过自适应跨注意力池化技术，实现更高效的代码检索，其模型在代码嵌入任务中取得新突破。

Hallucinations in Bibliographic Recommendation: Citation Frequency as a Proxy for Training Data Redundancy

Junichiro Niimi

机构 * Meijo University（名古屋大学） ； RIKEN AIP（理化学研究所AIP） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Aligning LLMs for Multilingual Consistency in Enterprise Applications

Amit Agarwal, Hansa Meghwani, Hitesh Laxmichand Patel, Tao Sheng, Sujith Ravi, Dan Roth

机构 * Oracle AI 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments Accepted at EMNLP 2025