语言大模型 / LLM

MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning

MetaSICL: 通过元语音上下文学习适应听觉大语言模型

Haolong Zheng, Siyin Wang, Zengrui Jin, Mark Hasegawa-Johnson

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出MetaSICL方法，利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力，在低资源场景下优于直接微调。

FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact

FACTWASH：捕捉将传闻洗成事实的AI改写

Alex Kwon

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出开源工具factwash，用于捕捉AI将传闻洗成事实的改写，明确否定线索检测F1达0.91，LLM见证者可提升线索检测召回率，在mem0 2.0.7上标记8个模糊传闻写入中的5个。

Comments 15 pages, 3 figures. Code and data: https://github.com/collapseindex/factwash

ScalableRAG: High-Quality RAG at Zero Ingestion Cost

ScalableRAG：零摄入成本下的高质量检索增强生成

Hilaf Hasson, Aditya Chakravarty, Jayant Thomas, Krishna Gogineni

机构 * Cohesity（科赫思） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 研究提出零摄入成本的ScalableRAG及有限摄入的改进版本，通过维护工作区实现即时聚合推理，在六个语料库测试中表现出色，平均准确率大幅超越基线，还通过固定LLM调用次数等进一步提升大规模时的准确率。

AI Security Policy Should Assess Systems, Not Only Models

位置：AI安全政策应针对系统，而非模型

Michael A. Riegler, Inga Strümke

机构 * AI Safety Department（人工智能安全部门） ； SimulaMet and OsloMet（SimulaMet和奥斯陆计量） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出swarm-attack框架，展示通过协调轻量级LLM代理发现系统漏洞和绕过安全机制的可能性，证明在低成本硬件上可实现零成本安全测试。

Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approach

智能体技能中的跨层错位检测：一种渐进式加载感知对比学习方法

Chengjun Zhang, Yang Gao, Jianna Hur, Jingjing Zhang, Sagar Samtani

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究智能体技能跨层错位问题，提出渐进式加载感知分层对比学习框架PL-HCL，通过建模技能分层结构和学习跨层一致性来检测错位，使用相关语料库与挑战集，提升宏F1指标，为用户和运营商提供筛选工具与设计原则。

Comments 10 pages, 5 pages supplemental. Accepted at the KDD 2026 Workshop on Evaluation and Trustworthiness of Agentic AI

Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization

梯度平滑：耦合逐层更新以改进优化

Haoming Meng, Anton Sugolov, Vardan Papyan

机构 * Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出深度梯度增强框架，通过窗口平滑算子沿深度方向变换优化器更新，在不改变模型架构或训练目标下提升多种架构和任务的优化与泛化性能。

Comments Published in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings

SCARCE: 基于嵌入的可扩展级联分析用于罕见事件表征

Yingjie Wang, Yi Dong, Edmund Lau, Jie Meng, Taylor T Johnson, Xiaowei Huang

机构 * University of Liverpool, UK（利物浦大学） ； UK AI Security Institute, UK（英国人工智能安全研究所） ； Loughborough University, UK（洛桑大学） ； Department of Computer Science, Vanderbilt University, USA（范德比大学计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出SCARCE方法，用学习到的潜在表示和几何标尺替代传统子集模拟中的性能函数，通过自适应阈值构建嵌套事件，在MNIST误分类和LLM越狱任务中实现更低的估计误差和更好的可迁移性。

Comments 23 pages, 11 figures, 5 tables

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

更新的几何：词汇规模下的Fisher对齐

John Sweeney

机构 * Sideplane AI 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 针对共享词汇的LLM家族，提出FisherSketch方法，通过核均值嵌入的余弦相似度估计Fisher对齐，实现词汇规模下的高效源选择，并揭示激活、误差及耦合因素。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026), PMLR 306. 64 pages total (main paper plus appendix), 4 figures, 29 tables

State-Grounded Multi-Agent Synthetic Data Generation for Tool-Augmented LLMs

面向工具增强型大语言模型的基于状态的多智能体合成数据生成

Rahul Khedar, Eshita, Sneha Teja Sree Reddy Thondapu, Mayank Malhotra, Arup Das, Jitesh Chandra, Yun-Shiuan Chuang, Chaitanya Kulkarni, Arun Menon, Linsey Pang, Avinash Karn, Mouli V, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出StateGen平台，通过四角色LLM循环和状态管理器生成多轮、工具接地的高质量训练对话，消除工具调用幻觉，支持层次化多智能体设置。

Comments 9 pages, 5 figures, 6 tables, 1 algorithm

Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops

通过对抗性黑客-修复者循环强化智能体基准测试

Ziqian Zhong, Ivgeni Segal, Ivan Bercovich, Shashwat Saxena, Kexun Zhang, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fewshot Corp（Fewshot公司） ； Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出黑客-修复者循环方法，通过LLM代理交替攻击和修补验证器，自动生成抗利用的验证器，将KernelBench攻击成功率从62%降至0%。

Argument Collapse: LLMs Flatten Long-Form Public Debate

论点坍缩：LLMs 扁平化长篇公共辩论

Yekyung Kim, Yapei Chang, Chau Minh Pham, Mohit Iyyer

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究大型语言模型在生成公共辩论文本时导致论点坍缩的现象，即不同模型生成的论文在主要论点、子论点和段落结构上趋于收敛，通过对比人类与LLM生成文本发现LLM的论点多样性显著降低。

Superintelligent Retrieval Agent: The Next Frontier of Agentic Retrieval

超级智能检索代理：代理检索的下一个前沿

Zeyu Yang, Qi Ma, Jason Chen, Anshumali Shrivastava

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（里士满大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出SIRA，通过单次语料判别性检索压缩多轮探索，利用LLM丰富文档词汇、预测查询缺失词汇并基于语料统计过滤，在BEIR基准上取得最强平均检索性能，并在下游QA任务中超越RL训练的代理系统。

Inverse Depth Scaling From Most Layers Being Similar

大多数层相似时的逆深度缩放

Yizhou Liu, Sara Kangaslahti, Ziming Liu, Jeff Gore

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过分析大型语言模型和玩具残差网络，发现损失与深度成反比，归因于功能相似的层通过集成平均而非组合学习或平滑动力学离散化来减少误差，表明需要架构创新以鼓励深度组合使用。

Comments Camera-ready version, ICML 2026

Beyond Agreement: Scoring Panel-Surfaced Biomedical Entity Candidates for Curator Triage

超越一致性：为策展人分类对面板筛选的生物医学实体候选进行评分

Shuheng Cao, Ruiqi Chen, Renjie Cao, Zhenhao Zhang, Siyu Zhang, Tingting Dan

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； The Hong Kong University of Science and Technology, Guangzhou（香港科学与技术大学（广州）） ； ShanghaiTech University（上海科技大学） ； University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出BioConCal评分器，利用无金标准的一致性、提及、表面可用性和文档特征，对多LLM面板筛选的候选实体进行评分，显著提高候选筛选的精确率和召回率。

CobSeg: Coherence Boundary Modeling for Dialogue Topic Segmentation

CobSeg: 对话主题分割的连贯性边界建模

Sijin Sun, Liangbin Zhao, Jiaxiang Cai, Ming Deng, Mingyu Luo, Xiuju Fu

机构 * Institute of High Performance Computing, Agency for Science, Technology and Technology（高性能计算研究所，科技局） ； Shanghai Univeristy（上海大学） ； Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出CobSeg多分支架构，通过分离连贯性语义与词汇边界转换并利用边界信息加权和主题连贯性线索，在无需LLM调用下提升对话主题分割性能。

Comments 8 pages with appindx. Under review

GenesisFunc: Multi-Agent Data Generation for Accurate and Generalizable Function-Calling

GenesisFunc: 面向准确且泛化的函数调用的多智能体数据生成

Hao-Xiang Xu, Chong Deng, Jiaqing Liu, Wen Wang, Qian Chen, Lujia Bao, Xiangang Li, Zhen-Hua Ling

机构 * Tongyi Fun Team, Alibaba Group（通义功能团队，阿里巴巴集团） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出GenesisFunc多智能体自动生成函数调用训练数据，通过多阶段评估保证质量，微调8B模型在域内和域外均优于同类开源模型，性能接近部分API模型。

Comments Accepted by ACL 2026 Main

SynthTools: A Framework for Scaling Synthetic Tools for Agent Development

SynthTools: 用于扩展智能体开发中合成工具的框架

Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于LLM的端到端管道SynthTools，通过环境生成、模拟、验证和任务构建，生成大规模多样化工具使用环境，提升智能体工具使用能力。

Remember what you did so you know what to do next

记住你做了什么，以便知道下一步该做什么

Manuel R. Ciosici, Alex Hedges, Yash Kankanampati, Justin Martin, Marjorie Freedman, Ralph Weischedel

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究使用中等规模的大语言模型GPT-J为模拟机器人在ScienceWorld文本游戏中的30类目标生成计划，通过填充更多历史步骤显著提升性能，并发现任务平均可能掩盖性能差异。

Comments Identical to EMNLP 2023 Findings

Terminal-World: Scaling Terminal-Agent Environments via Agent Skills

Terminal-World: 通过智能体技能扩展终端智能体环境

Zihao Cheng, Hongru Wang, Zeming Liu, Xinyi Wang, Xiangrong Zhu, Yuhang Guo, Wei Lin, Jeff Z. Pan, Yunhong Wang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； Independent Researcher（独立研究者） ； Beijing Institute of Technology（北京理工大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 预训练与数据 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Terminal-World，一种自动化流程，利用智能体技能作为核心合成原语，共同编码任务目标、执行时机和方法，从而生成任务指令、环境和教师轨迹。通过构建5,723个训练环境，训练出Terminal-World-8B/14B/32B模型，在六个基准测试中均优于终端智能体基线，其中Terminal-World-32B在Terminal-Bench 2.0上以仅1.2%的训练数据超越Nemotron-Terminal-32B。

Comments Work in Progress

Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

不要检索，导航：将企业知识转化为可导航的代理技能用于问答和RAG

Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

机构 * Magellan Technology Research Institute（马格纳技术研究 institute） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Corpus2Skill，通过将文档库转化为层次化技能目录，使LLM代理在服务时能导航该目录，提升问答质量和 grounding，但指出导航并非所有场景下的最佳替代方案。

WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

WARDEN：利用6小时训练数据进行濒危原住民语言的转录与翻译

Ziheng Zhang, Yunzhong Hou, Naijing Liu, Liang Zheng

机构 * Australian National University（澳大利亚国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 WARDEN通过分阶段模型处理濒危语言转录与翻译，利用印尼语初始化加速训练，结合专家词典提升翻译性能，以6小时数据优于统一模型。

Comments https://github.com/Ziheng-Zhang-AUS/WARDEN

Phoenix-VL 1.5 Medium Technical Report

Phoenix-VL 1.5 中等技术报告

Team Phoenix, :, Arka Ray, Askar Ali Mohamed Jawad, Biondi Lee, Elijah Seah, Eva Lim, Fiona Teo, Grace Toh, Guang Xiang Teo, Jun En Tan, Jia Hui Bong, Jiale Wang, Jonathan Ng, Justin Tan, Kai Zhe Yew, Matthew Ong, Shun Yi Yeo, Wen Jett Lam, Wen Xiu Tan, Ze Yu Zhang, Gee Wah Ng, Chee Wee Ang, Mistral AI, :, Adrien Sadé, Guillaume Kunsch, Jia Sin Loh, Nicolas Schuhl, Rupert Menneer, Umar Jamil, Vincent Maladière, Yimu Pan

机构 * Mistral AI 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 Phoenix-VL 1.5 是一个123B参数的多模态多语言基础模型，适应区域语言和新加坡环境，通过本地化数据集和对齐优化实现深度领域适应，同时在多项基准测试中表现优异。

Comments Release page: https://medium.com/htx-ai/introducing-phoenix-vl-1-5-medium-multimodal-intelligence-uniquely-singaporean-ef8214c8cfa1

CircuitSynth: Reliable Synthetic Data Generation

CircuitSynth：可靠的合成数据生成

Zehua Cheng, Wei Dai, Jiahao Sun, Thomas Lukasiewicz

机构 * University of Oxford（牛津大学） ； TU Wien（维也纳工业大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 CircuitSynth提出了一种新的神经符号框架，通过将语义推理与表层实现解耦，结合概率句法决策图和凸优化机制，实现高保真合成数据生成，确保逻辑约束和分布目标。

Comments 11 Pages

Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

改进的证据提取与文档不一致性检测的度量标准与LLMs

Nelvin Tan, Yaowen Zhang, James Asikin Cheung, Fusheng Liu, Yu-Ching Shih, Dong Yang

机构 * American Express（美国运通） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出新的证据提取度量标准和红acted-重试框架，提升LLMs在文档不一致性检测中的证据提取性能，并释放新的半合成数据集进行评估。

Comments 14 pages, 9 figures

Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation

Optimsyn: 基于影响的合成数据生成 rubrics 优化

Zhiting Fan, Ruizhe Chen, Tianxiang Hu, Ru Peng, Zenan Huang, Haokai Xu, Yixin Chen, Jian Wu, Junbo Zhao, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Inclusion AI, Ant Group（Inclusion AI, 蚂蚁集团） ； Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江省医学影像人工智能重点实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

AI总结 本文提出 Optimsyn 框架，通过影响估计优化 rubrics，提升合成数据生成质量，实现跨领域和模型的泛化性能。

OpenSeeker: Democratizing Frontier Search Agents by Fully Open-Sourcing Training Data

OpenSeeker：通过完全开源训练数据民主化前沿搜索代理

Yuwen Du, Rui Ye, Shuo Tang, Xinyu Zhu, Yijun Lu, Yuzhu Cai, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 OpenSeeker通过两项技术创新实现前沿性能，利用开源数据提升搜索代理能力，实验表明其在多个基准测试中表现优异，超越现有开源和工业竞争对手。

Comments 15 pages, 6 figures

High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning

高精度、少言 (HALT)：通过能力对齐微调实现可靠的LLM

Tim Franzmeyer, Archie Sravankumar, Lijuan Liu, Yuning Mao, Rui Hou, Sinong Wang, Jakob N. Foerster, Luke Zettlemoyer, Madian Khabsa

机构 * University of Oxford（牛津大学） ； Anthropic（Anthropic公司） ； Meta ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 HALT通过能力对齐微调提高LLM的响应正确性，使模型在四个领域中正确性提升至87%

Late-to-Early Training: LET LLMs Learn Earlier, So Faster and Better

后期到早期训练：LET LLMs 早期学习，从而更快且更好

Ji Zhao, Yufei Gu, Shitong Shao, Xun Zhou, Liang Xiang, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出LET范式，通过利用已有小型预训练模型加速大模型训练，实现更快的训练速度和更高的性能。

Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment

流畅但异域：即使区域LLM也缺乏文化契合

Dhruv Agarwal, Anya Shukla, Sunayana Sitaram, Aditya Vashistha

机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 研究发现，即使区域LLM也缺乏文化契合，需通过社区基础的数据和厚宽评估来构建真正主权的LLM。

Comments Under review

Synthetic Data for Veterinary EHR De-identification: Benefits, Limits, and Safety Trade-offs Under Fixed Compute

兽医电子健康记录的合成数据：在固定计算下的好处、限制和安全权衡

David Brundage

机构 * University of Wisconsin-Madison, School of Veterinary Medicine（威斯康星大学麦迪逊分校兽医学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究探讨了合成数据在兽医电子健康记录去标识化中的应用，发现合成数据在固定预算下无法替代真实数据，但适度混合可提升性能，但需注意训练暴露增加而非数据质量提升。