语言大模型 / LLM

NIXT: A NCCL Inspector Exporter Tool for Observability of Collective Communication in Large Model Training

NIXT：用于大模型训练中集合通信可观测性的NCCL检查器导出工具

Ziyang Jia, Sirshak Das, Jason Sewall, Laxmi Bhuyan, Pasha Shamis, Daniel Wong

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)

AI总结 本文提出NIXT工具，解决NCCL Inspector数据量大难以分析的问题，通过案例展示其在大模型训练中提升集合通信可观测性、定位性能问题的作用。

Comments Accepted at IEEE IISWC 2026

Secrets Everywhere: Auditing Memorization in Mobility Prediction Models

无处不在的秘密：移动性预测模型中的记忆审计

Anne Josiane Kouam, Hristo Boyadzhiev, Konrad Rieck

机构 * Inria（法国国家信息与自动化研究所） ； TU Berlin（柏林工业大学） ； BIFOLD（数据科学与人工智能柏林研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文首次系统审计移动性预测模型的记忆风险，提出框架量化不同粒度的移动性记忆，发现普遍记忆模式关联用户规律性并提升数据提取风险，呼吁开展强制性隐私审计。

Comments Full version of the paper accepted for publication at the ACM SIGSAC Conference on Computer and Communications Security (CCS 2026). Includes supplementary appendices omitted from the proceedings version

Leveraging AI for fine-grained food safety risk forecasting in sparse data conditions

利用人工智能在稀疏数据条件下进行细粒度食品安全风险预测

Dongqi Wang, Weiwei Chen, Han Zhou, Weihua Zhou

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 该研究提出基于Transformer的框架，整合多类数据与Wilson区间预训练，在稀疏数据下细粒度预测城市食品安全风险，实验及浙江实地测试显示其性能优于基线，可提升检测率与检查资源分配效率。

Role-Decoupled Attention Residuals: Separating Matching and Content Retrieval Across Depth

角色解耦注意力残差：跨深度分离匹配与内容检索

Kehan Wang

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 该研究提出角色解耦注意力残差（RD-AttnRes），将注意力的匹配与内容检索解耦，在多参数规模模型上验证其可提升语言建模性能，证实二者需从残差层级差异化读取。

Comments a improvement of attnres

Select-And-Extract: A Lightweight Plugin for Retrieval-Augmented Generation

Select-And-Extract：一种用于检索增强生成的轻量级插件

Chenming Tang, Jiawei Han

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 该研究针对RAG的检索与阅读两类失效模式，提出轻量级插件SANE，通过语义检索+LM选候选、蓝图引导证据提取实现稳定性能提升，且开销适度。

Comments Pre-print

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptor：一种用于多乐器音乐转录的开放模型

Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 研究多乐器音乐转录问题，核心方法是分析合成数据预训练有效性，结合真实音乐音频微调与强化学习后训练，还引入乐器存在条件定制转录，主要贡献是发布MuScriptor开放模型用于多种音乐录音。

Comments ISMIR 2026 Camera Ready

CANDLE: CTC-based Arabic Noisy-character Deduplication using a Lightweight Encoder

CANDLE: 基于轻量级编码器的阿拉伯语字符级噪声去重

Faris Alasmary, Taif Nono, Orjuwan Zaafarani, Kholood Al Tabash, Ahmad Ghannam, Anas Salamah, Shouq Sadah, Lahouari Ghouti

机构 * Abjad Ltd.（阿布贾有限公司） ； SDAIA - NCAI（SDAIA-国家人工智能 institute） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 提出CANDLE系统，利用连接主义时间分类（CTC）对阿拉伯语文本中的字符重复进行去重，无需手工规则或词典，在三个基准上达到5.37%的句子错误率，并通过知识蒸馏实现3倍深度缩减。

Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail

谱范围：理解神经缩放作为进入谱尾的进展

Konstantin Nikolaou, Jonas Scheunemann, Sven Krippendorf, Samuel Tovey, Christian Holm

机构 * Institute for Computational Physics, University of Stuttgart, Stuttgart, Germany（斯图加特大学计算物理研究所） ； Department of Applied Mathematics（应用数学系） ； Department of Physics, University of Cambridge, Cambridge, UK（剑桥大学物理系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出“谱位置”度量，通过经验神经正切核的特征值分析神经缩放定律，发现大模型通过“谱范围”进入更深的谱尾从而降低损失，并指出特征学习是关键机制。

StoryScope: Investigating idiosyncrasies in AI fiction

StoryScope：探究人工智能小说中的个体差异

Jenna Russell, Rishanth Rajendhran, Chau Minh Pham, Mohit Iyyer, John Wieting

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出StoryScope方法，通过分析叙事层面的特征区分AI和人类生成的故事，发现AI故事在主题解释和情节结构上更单一，而人类故事更具道德模糊性和时间复杂性。

Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions

Bagpiper: 通过丰富描述解决开放式音频任务

Jinchuan Tian, Haoran Wang, Bo-Hao Su, Chien-yu Huang, Qingzheng Wang, Jiatong Shi, William Chen, Xun Gong, Siddhant Arora, Chin-Jou Li, Masao Someki, Takashi Maekaku, Keita Goto, Yusuke Shinohara, Jin Sakuma, Chao-Han Huck Yang, Shinji Watanabe

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； LY Corporation（LY公司） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.CL

AI总结 提出Bagpiper，一个8B参数音频基础模型，通过丰富描述（自然语言描述）实现音频理解和生成的统一，在MMAU和AIRBench上超越Qwen-2.5-Omni，生成质量优于CosyVoice3和TangoFlux。

Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data

Ego2Robot：从第一视角人类数据生成可扩展机器人数据

Ye Wang, Pei Lin, Xiong-Hui Chen, Haoqi Yuan, Zhixuan Liang, Yiyang Huang, Anzhe Chen, Zixing Lei, Jie Zhang, Tao Zhang, Haoyang Li, Tong Zhang, Chenxi Xiao, Ziyuan Jiao, Qin Jin

机构 * AIM3 Lab, Renmin University of China（中国人民大学AIM3实验室） ； Qwen Team, Alibaba Inc.（阿里巴巴通义千问团队） ； ShanghaiTech University（上海科技大学） ； Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 Ego2Robot提出将第一视角人类操控视频转换为机器人训练数据的可扩展流水线，生成18561小时机器人数据，扩展RoboTwin2.0验证其联合预训练可提升机器人分布外泛化能力并经真实部署验证

G-Skin: Learning to Bind 3D Gaussians with Generative Visual Priors

G-Skin：学习结合生成式视觉先验的3D高斯绑定方法

Yuxin Yao, Kendong Liu, Shiqi Zhou, Jiazhi Xia, Junhui Hou

机构 * City University of Hong Kong（香港城市大学） ； Central Media Technology Institute, Huawei（华为中央媒体技术研究院） ； Central South University（中南大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文针对3D高斯资产绑定的难题，提出生成式蒙皮框架G-Skin，利用2D视觉基础模型提炼运动先验构建优化流程，可灵活泛化并优于现有方法。

SG-WAM: Self-Guided World Modeling in Geometry-Aware Policy Space

SG-WAM：几何感知策略空间中的自引导世界建模

Ruiteng Zhao, Zhengshen Zhang, Yue Su, Wenshuo Wang, Jiahui Li, Zhiyuan Yang, Francis E. H. Tay, Marcelo H. Ang, Haiyue Zhu

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 SG-WAM是自引导的几何感知世界动作模型框架，通过策略衍生空间联合优化动态预测等，在LIBERO等数据集上实现高成功率，性能优于基线。

SARe: Structure-Aware Generative 3D Fragment Reassembly

SARe: 基于结构的大规模3D碎片重组

Hanze Jia, Chunshi Wang, Yuxiao Yang, Zhonghua Jiang, Yawei Luo, Shuainan Ye, Tan Tang

机构 * State Key Lab of CAD\&CG, Zhejiang University（浙江大学CAD与计算机图形学国家重点实验室） ； School of Software Technology, Zhejiang University（浙江大学软件学院） ； Laboratory of Art and Archaeology Image, Zhejiang University（浙江大学艺术与考古图像实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出SARe框架，通过生成式方法解决大规模3D碎片重组问题，通过显式接触建模提高接触推理的稳定性与一致性，实验证明在碎片数量增加时具有更优的性能。

Comments 9 pages, 5 figures

CDG-MAE: Cross-view Masked Modeling using Diffusion Generated Views

CDG-MAE：基于扩散生成视图的跨视图掩码建模

Varun Belagali, Pierre Marza, Srikar Yellapragada, Zilinghan Li, Tarak Nath Nandi, Ravi K Madduri, Joel Saltz, Stergios Christodoulidis, Maria Vakalopoulou, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； MICS, CentraleSupélec, Université Paris-Saclay（MICS，CentraleSupélec，巴黎-萨克雷大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Chicago（芝加哥大学） ； Archimedes/Athena RC 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 CDG-MAE是一种基于MAE的自监督方法，通过图像条件扩散模型生成多样化合成视图并采用多锚掩码策略，缩小了与基于视频的MAE方法的差距，同时保持仅图像MAE的数据优势。

Comments Accepted to TMLR 2026, Github link: https://github.com/cvlab-stonybrook/CDG-MAE

SyncPlan: Long-Horizon LLM Coordination with Explicit Synchronization and Adaptive Correction

SyncPlan：通过显式同步与自适应修正实现长视 Large Language Model（大语言模型，LLM）协调

Shen You, Xiaoming Zhu, Weining Weng, Hefei Mei, Weixuan Wang, Zhongshen Li, Zeji LI, Ye-Wen Wang, Zijun Liao, Juchao Zhuo, Yang Wei, Fuhao Qiu, Siqin Li, Zhenjie Lian, Danei Gong, Junkai Ji, Xiangtao Li, Qiuzhen Lin, Liang Wang, Ka-Chun Wong

专题命中 指令微调 ：LLM(title,title_cn)；large language model(title_cn)；language model(title_cn)；SFT(abstract,abstract_cn)

AI总结 SyncPlan 是用于长视 LLM 多智能体协调的“规划-执行-修正”框架，通过显式同步、自适应修正及轻量级计划过时检测器优化，在低耗时下实现了超越现有方法的任务成功率。

Why Large Language Models Fail at Tabular Prediction

为什么大型语言模型在表格预测任务中表现不佳

Marta Garnelo, Wojciech M. Czarnecki

机构 * Fundamental Technologies（基础技术） ； Voylab 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 该研究探究通用大型语言模型（LLM）在表格预测任务中表现不佳的原因，通过控制实验排除了数据噪声、CSV格式等因素，发现维度是关键，LLM准确率随维度增长下降，而经典基线方法不受影响。

CIgrate: Automating CI Service Migration with Large Language Models

CIgrate：利用大语言模型自动化持续集成服务迁移

Md Nazmul Hossain, Taher A. Ghaleb

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文提出基于大语言模型（LLM）的CI配置迁移框架CIgrate，经对比实验，其性能显著优于现有基于规则的方法CIMig，为CI配置迁移提供了更实用准确的方案。

Personalizing Large Language Model Agents with Small Policy Models

用小型策略模型个性化大型语言模型智能体

Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究提出轻量级策略层FABLE，通过在线学习用户执行策略实现LLM智能体个性化，在多类评估中改进偏好敏感行为且保持端到端任务性能。

SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach

小型语言模型（SLMs）作为多智能体路由器：一种渐进式监督微调与强化学习方法

Gayathri V Kondapalli, Alexander Ng, Hirsh Pithadia, Rahul Monish, Harvey Yorke, Amir Kayhani

机构 * Valyu AI ； University of Warwick（华威大学） ； University College London（伦敦大学学院） 纠错

专题命中 指令微调 ：SFT(title,abstract_cn)；SLM(summary_cn,abstract_cn)；LLM(abstract,abstract_cn)；language model(abstract)

AI总结 该研究提出用小型语言模型（SLM）结合渐进式监督微调与强化学习的方法，解决多智能体路由中仅基于意图选择的局限，在智能体-查询不匹配子集及总体NDCG@10指标上均优于仅基于意图路由的大语言模型基线，且选择延迟更低。

Auditing Data Provenance in LLM Fine-tuning via Intrinsic Distributional Fingerprints

基于内在分布指纹的LLM微调数据来源审计

Zirui Huang, Yunlong Mao, Wei Tong, Tingting Wu, Xin Ge, Sheng Zhong

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM微调的数据IP侵权审计难题，提出事后框架DPA，通过内在分布指纹实现黑盒恶意场景下的可靠审计，性能优于基线且抗混淆，同时存在审计与隐私攻击的两用张力。

Comments This is the extended version of CCS'26 paper https://doi.org/10.1145/3830454.3832639

Simulating Tenant Responses to Energy Policy Interventions with Transaction-Cost-Aware LLM Agent

使用具有交易成本意识的大语言模型模拟租户对能源政策干预的反应

Weijie Xia, Stefanie Horian, Hanyue Huang, Queena K. Qian, Jie Yang, Pedro P. Vergara

机构 * Mistral AI（米斯特拉尔人工智能公司） ； Ollama（奥拉马） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 研究利用感知交易成本，开发摩擦感知角色建模方法，以模拟租户对能源政策干预的反应。通过荷兰公民调查数据，比较不同模型和设置，发现纳入该方法能提升模型性能，为政策理论与LLM政策模拟搭建桥梁。

Can LLMs Reliably Self-Report Adversarial Prefills, and How?

LLM 能否可靠地自我报告对抗性预填充，以及如何实现？

Quang Minh Nguyen, Uzair Ahmed, Taegyoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；SFT(abstract_cn)

AI总结 研究LLM在安全场景中识别自身输出是否受对抗性预填充攻击的能力，发现模型平均27.3%声称预填充输出有意图，且内省信号主要来自安全/拒绝推理，LoRA微调方法扩大了意图-篡改探针差距并提高了攻击成功率。

Comments Under review

Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

Self-Correction Bench：揭示并解决大语言模型中的自校正盲点

Ken Tsui

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出Self-Correction Bench框架，发现大语言模型存在64.5%的自校正盲点，经微调或添加“Wait”可显著降低该盲点，揭示了自校正能力未激活的机制。

Comments Accepted to COLM 2026

From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems

从事实到判断：探讨任务框架对对话系统中LLM确信度的影响

Parisa Rabbani, Nimet Beyza Bozdag, Dilek Hakkani-Tür

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究探讨了任务框架对LLM在对话系统中判断确信度的影响，发现对话上下文显著改变模型判断，强调了对话框架在评估中的重要性。

Comments 11 pages, 3 figures

Journal ref Proceedings of the 16th International Workshop on Spoken Dialogue System Technology (IWSDS 2026), pages 193-204

Lifted State Hypothesis in Large Language Models

语言模型中的提升表示假设

Bumjin Park, Jaesik Choi

机构 * KAIST AI（韩国科学技术院人工智能研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究大型语言模型中结构的存储、选择和修正问题，提出提升表示假设，通过多种实验评估其提升和细化情况，发现数据受嵌套规则和异常支配时模型存在问题，强调需研究数据与规则结构关系。

Comments 24 pages, 13 figures

Turn-Based Structural Triggers: Structure-Conditioned Backdoors in Multi-Turn LLMs

基于回合的结构性触发器：多轮LLM中的无提示后门

Yiyang Lu, Jinwen He, Yue Zhao, Kai Chen, Ruigang Liang, Cheng Hong, Yingjun Zhang

机构 * School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 提出一种利用对话结构（回合索引）作为触发器的后门攻击方法TST，无需用户输入即可激活，实现高攻击成功率并绕过提示中心防御。

Knowledge Graph Augmented Large Language Models for Disease Prediction

基于知识图谱的大型语言模型用于疾病预测

Ruiyu Wang, Tuan Vinh, Ran Xu, Yuyin Zhou, Jiaying Lu, Francisco Pasquel, Mohammed K Ali, Carl Yang

机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Division of Medical Sciences, Oxford University（牛津大学医学系） ； Department of Computer Science and Engineering, UCSC（UCSC计算机科学与工程系） ； Nell Hodgson Woodruff School of Nursing, Emory University（埃默里大学内尔·霍根·伍德鲁夫护理学院） ； School of Medicine, Emory University（埃默里大学医学院） ； Rollins School of Public Health, Emory University（埃默里大学罗林斯公共卫生学院） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出基于知识图谱的大型语言模型框架，用于提升疾病预测的准确性与解释性，通过构建时间一致的推理依据，在多个数据集上取得优于经典基线的性能。

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

超越路由饱和：多模态持续指令调优中专家路由的长程类增量视角

Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对多模态持续指令调优中专家路由的任务识别问题，构建含34个任务的FLEX基准，提出MCIL框架，适配CIL方法后使LoRA匹配和MacroScore分别提升最高16.3个百分点、4.6个点

LongCrafter: Towards Diverse Long-Context Understanding via Evidence-Graph-Guided Instruction Synthesis

LongCrafter：通过证据图引导的指令合成实现多样化的长上下文理解

Chenhao Yuan, Yinhao Xu, Shuwen Xu, Xizhi Yang, Jiaxiang Liu, Chenxi Zhou, Shaoping Huang, Haolin Ren, Pengfei Cao, Jun Zhao, Kang Liu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所认知与决策智能复杂系统重点实验室） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有长上下文理解方法的局限，提出LongCrafter框架，结合分层任务分类法与证据管道，生成多样化长上下文SFT数据，微调后的模型在多个数据集上表现优异，能有效缓解“中间迷失”问题。