语言大模型 / LLM

Syntax Without Semantics: Teaching Large Language Models to Code in an Unseen Language

无语义的语法：教大语言模型在未见过的语言中编程

Vinayshekhar Bannihatti Kumar, Disha Makhija, Manoj Ghuhan Arivazhagan, Rashmi Gangadharaiah

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 研究探讨大语言模型在未见过的语言中生成代码的能力，发现微调仅能教授语法而无法转移语义能力，揭示了推理与语言实现之间的鸿沟。

Comments Accepted at COLM 2026

Curriculum-Guided Layer Scaling for Language Model Pretraining

用于语言模型预训练的课程引导层缩放

Karanpartap Singh, Neil Band, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 受人类认知发展启发，提出课程引导层缩放框架，通过渐进式层堆叠使数据难度与模型增长同步，在不同参数规模预训练并分层数据，提升模型泛化及零样本性能。

Comments Accepted to ICML 2026. Code available at https://github.com/su-karanps/cgls

LLM generation novelty through the lens of semantic similarity

通过语义相似性视角探讨大语言模型的生成新颖性

Philipp Davydov, Ameya Prabhu, Matthias Bethge, Elisa Nguyen, Seong Joon Oh

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过语义相似性视角探讨大语言模型生成新颖性的评估方法，揭示模型在预训练数据中的长序列抽取能力及任务领域对生成新颖性的影响

Tracing LLM Behavior to the Training Data with Empirical Next-Token Distributions

利用经验下一个token分布追踪大语言模型行为到训练数据

Zachary Izzo

机构 * NEC Labs America（美国 NEC 实验室） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究大语言模型输出分布与训练数据的联系，通过经验下一个token分布追踪。发现多数输入下二者近乎完美一致且随模型规模等提升，也存在差异，探讨了差异来源，鼓励以数据为中心的机制可解释性研究。

Cochise: A Reference Harness for Autonomous Penetration Testing

Cochise：自主渗透测试的参考框架

Andreas Happe, Jürgen Cito

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI

AI总结 Cochise提供了一个简洁的自主渗透测试框架，支持通过SSH连接LLM代理与Linux主机，并通过分离的规划-执行架构实现可控环境，同时提供重放和分析工具以支持研究。

MAPLE: Metadata Augmented Private Language Evolution

MAPLE：元数据增强的隐私语言演化

Eli Chien, Yuzheng Hu, Ryan McKenna, Shanshan Wu, Zheng Xu, Peter Kairouz

机构 * National Taiwan University（国立台湾大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google Research（谷歌研究） ； Meta 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MAPLE通过差分隐私元数据提取和上下文学习，解决私有演化中初始化瓶颈问题，实现更优的隐私-效用平衡和更低的API成本。

Comments COLM 2026

Leveraging Synthetic Data for Question Answering with Multilingual LLMs in the Agricultural Domain

利用合成数据结合多语言大语言模型（LLMs）处理农业领域的问答任务

Rishemjit Kaur, Arshdeep Singh Bhankhar, Jashanpreet Singh Salh, Sudhir Rajput, Vidhi, Kashish Mahendra, Bhavika Berwal, Ritesh Kumar, Surangika Ranathunga

机构 * CSIR-Central Scientific Instruments Organisation, India（印度CSIR-中央科学仪器组织） ； Academy of Scientific and Innovative Research (AcSIR), Ghaziabad, U.P, India（印度科学与创新研究院（AcSIR）） ； School of Mathematical and Computational Sciences, Massey University, New Zealand（梅西大学数学与计算科学学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对通用多语言LLMs在农业领域问答中精准性不足的问题，利用印度农业文档生成多语言合成数据集微调LLMs，显著提升了模型的事实性、相关性与农业共识性。

Comments 19 pages, 7 tables, Appendix A-Q

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptor：一种用于多乐器音乐转录的开放模型

Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 研究多乐器音乐转录问题，核心方法是分析合成数据预训练有效性，结合真实音乐音频微调与强化学习后训练，还引入乐器存在条件定制转录，主要贡献是发布MuScriptor开放模型用于多种音乐录音。

Comments ISMIR 2026 Camera Ready

CANDLE: CTC-based Arabic Noisy-character Deduplication using a Lightweight Encoder

CANDLE: 基于轻量级编码器的阿拉伯语字符级噪声去重

Faris Alasmary, Taif Nono, Orjuwan Zaafarani, Kholood Al Tabash, Ahmad Ghannam, Anas Salamah, Shouq Sadah, Lahouari Ghouti

机构 * Abjad Ltd.（阿布贾有限公司） ； SDAIA - NCAI（SDAIA-国家人工智能 institute） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 提出CANDLE系统，利用连接主义时间分类（CTC）对阿拉伯语文本中的字符重复进行去重，无需手工规则或词典，在三个基准上达到5.37%的句子错误率，并通过知识蒸馏实现3倍深度缩减。

Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail

谱范围：理解神经缩放作为进入谱尾的进展

Konstantin Nikolaou, Jonas Scheunemann, Sven Krippendorf, Samuel Tovey, Christian Holm

机构 * Institute for Computational Physics, University of Stuttgart, Stuttgart, Germany（斯图加特大学计算物理研究所） ； Department of Applied Mathematics（应用数学系） ； Department of Physics, University of Cambridge, Cambridge, UK（剑桥大学物理系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出“谱位置”度量，通过经验神经正切核的特征值分析神经缩放定律，发现大模型通过“谱范围”进入更深的谱尾从而降低损失，并指出特征学习是关键机制。

StoryScope: Investigating idiosyncrasies in AI fiction

StoryScope：探究人工智能小说中的个体差异

Jenna Russell, Rishanth Rajendhran, Chau Minh Pham, Mohit Iyyer, John Wieting

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出StoryScope方法，通过分析叙事层面的特征区分AI和人类生成的故事，发现AI故事在主题解释和情节结构上更单一，而人类故事更具道德模糊性和时间复杂性。

Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions

Bagpiper: 通过丰富描述解决开放式音频任务

Jinchuan Tian, Haoran Wang, Bo-Hao Su, Chien-yu Huang, Qingzheng Wang, Jiatong Shi, William Chen, Xun Gong, Siddhant Arora, Chin-Jou Li, Masao Someki, Takashi Maekaku, Keita Goto, Yusuke Shinohara, Jin Sakuma, Chao-Han Huck Yang, Shinji Watanabe

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； LY Corporation（LY公司） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.CL

AI总结 提出Bagpiper，一个8B参数音频基础模型，通过丰富描述（自然语言描述）实现音频理解和生成的统一，在MMAU和AIRBench上超越Qwen-2.5-Omni，生成质量优于CosyVoice3和TangoFlux。

SARe: Structure-Aware Generative 3D Fragment Reassembly

SARe: 基于结构的大规模3D碎片重组

Hanze Jia, Chunshi Wang, Yuxiao Yang, Zhonghua Jiang, Yawei Luo, Shuainan Ye, Tan Tang

机构 * State Key Lab of CAD\&CG, Zhejiang University（浙江大学CAD与计算机图形学国家重点实验室） ； School of Software Technology, Zhejiang University（浙江大学软件学院） ； Laboratory of Art and Archaeology Image, Zhejiang University（浙江大学艺术与考古图像实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出SARe框架，通过生成式方法解决大规模3D碎片重组问题，通过显式接触建模提高接触推理的稳定性与一致性，实验证明在碎片数量增加时具有更优的性能。

Comments 9 pages, 5 figures

CDG-MAE: Cross-view Masked Modeling using Diffusion Generated Views

CDG-MAE：基于扩散生成视图的跨视图掩码建模

Varun Belagali, Pierre Marza, Srikar Yellapragada, Zilinghan Li, Tarak Nath Nandi, Ravi K Madduri, Joel Saltz, Stergios Christodoulidis, Maria Vakalopoulou, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； MICS, CentraleSupélec, Université Paris-Saclay（MICS，CentraleSupélec，巴黎-萨克雷大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Chicago（芝加哥大学） ； Archimedes/Athena RC 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 CDG-MAE是一种基于MAE的自监督方法，通过图像条件扩散模型生成多样化合成视图并采用多锚掩码策略，缩小了与基于视频的MAE方法的差距，同时保持仅图像MAE的数据优势。

Comments Accepted to TMLR 2026, Github link: https://github.com/cvlab-stonybrook/CDG-MAE

CIgrate: Automating CI Service Migration with Large Language Models

CIgrate：利用大语言模型自动化持续集成服务迁移

Md Nazmul Hossain, Taher A. Ghaleb

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文提出基于大语言模型（LLM）的CI配置迁移框架CIgrate，经对比实验，其性能显著优于现有基于规则的方法CIMig，为CI配置迁移提供了更实用准确的方案。

Simulating Tenant Responses to Energy Policy Interventions with Transaction-Cost-Aware LLM Agent

使用具有交易成本意识的大语言模型模拟租户对能源政策干预的反应

Weijie Xia, Stefanie Horian, Hanyue Huang, Queena K. Qian, Jie Yang, Pedro P. Vergara

机构 * Mistral AI（米斯特拉尔人工智能公司） ； Ollama（奥拉马） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 研究利用感知交易成本，开发摩擦感知角色建模方法，以模拟租户对能源政策干预的反应。通过荷兰公民调查数据，比较不同模型和设置，发现纳入该方法能提升模型性能，为政策理论与LLM政策模拟搭建桥梁。

Can LLMs Reliably Self-Report Adversarial Prefills, and How?

LLM 能否可靠地自我报告对抗性预填充，以及如何实现？

Quang Minh Nguyen, Uzair Ahmed, Taegyoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；SFT(abstract_cn)

AI总结 研究LLM在安全场景中识别自身输出是否受对抗性预填充攻击的能力，发现模型平均27.3%声称预填充输出有意图，且内省信号主要来自安全/拒绝推理，LoRA微调方法扩大了意图-篡改探针差距并提高了攻击成功率。

Comments Under review

Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

Self-Correction Bench：揭示并解决大语言模型中的自校正盲点

Ken Tsui

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出Self-Correction Bench框架，发现大语言模型存在64.5%的自校正盲点，经微调或添加“Wait”可显著降低该盲点，揭示了自校正能力未激活的机制。

Comments Accepted to COLM 2026

Lifted State Hypothesis in Large Language Models

语言模型中的提升表示假设

Bumjin Park, Jaesik Choi

机构 * KAIST AI（韩国科学技术院人工智能研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究大型语言模型中结构的存储、选择和修正问题，提出提升表示假设，通过多种实验评估其提升和细化情况，发现数据受嵌套规则和异常支配时模型存在问题，强调需研究数据与规则结构关系。

Comments 24 pages, 13 figures

Turn-Based Structural Triggers: Structure-Conditioned Backdoors in Multi-Turn LLMs

基于回合的结构性触发器：多轮LLM中的无提示后门

Yiyang Lu, Jinwen He, Yue Zhao, Kai Chen, Ruigang Liang, Cheng Hong, Yingjun Zhang

机构 * School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 提出一种利用对话结构（回合索引）作为触发器的后门攻击方法TST，无需用户输入即可激活，实现高攻击成功率并绕过提示中心防御。

Knowledge Graph Augmented Large Language Models for Disease Prediction

基于知识图谱的大型语言模型用于疾病预测

Ruiyu Wang, Tuan Vinh, Ran Xu, Yuyin Zhou, Jiaying Lu, Francisco Pasquel, Mohammed K Ali, Carl Yang

机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Division of Medical Sciences, Oxford University（牛津大学医学系） ； Department of Computer Science and Engineering, UCSC（UCSC计算机科学与工程系） ； Nell Hodgson Woodruff School of Nursing, Emory University（埃默里大学内尔·霍根·伍德鲁夫护理学院） ； School of Medicine, Emory University（埃默里大学医学院） ； Rollins School of Public Health, Emory University（埃默里大学罗林斯公共卫生学院） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出基于知识图谱的大型语言模型框架，用于提升疾病预测的准确性与解释性，通过构建时间一致的推理依据，在多个数据集上取得优于经典基线的性能。

LongCrafter: Towards Diverse Long-Context Understanding via Evidence-Graph-Guided Instruction Synthesis

LongCrafter：通过证据图引导的指令合成实现多样化的长上下文理解

Chenhao Yuan, Yinhao Xu, Shuwen Xu, Xizhi Yang, Jiaxiang Liu, Chenxi Zhou, Shaoping Huang, Haolin Ren, Pengfei Cao, Jun Zhao, Kang Liu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所认知与决策智能复杂系统重点实验室） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有长上下文理解方法的局限，提出LongCrafter框架，结合分层任务分类法与证据管道，生成多样化长上下文SFT数据，微调后的模型在多个数据集上表现优异，能有效缓解“中间迷失”问题。

(How) Learning Rates Regulate Catastrophic Overtraining

(如何) 学习率调节灾难性过训练

Mark Rofin, Aditya Varre, Nicolas Flammarion

机构 * EPFL（瑞士联邦理工学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；pretraining(abstract)；post-training(abstract)

AI总结 研究通过隐式正则化分析学习率对微调中灾难性遗忘的影响，发现学习率大小影响模型收敛方向，并揭示学习率衰减加剧预训练模型尖锐性从而导致灾难性过训练。

Comments COLM 2026

LM-mixup: Text Data Augmentation via Language Model based Mixup

LM-mixup：基于语言模型的混合文本数据增强方法

Zhijie Deng, Zhouan Shen, Ling Li, Yao Zhou, Zhaowei Zhu, Yanji He, Wei Wang, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； BIAI, ZJUT & D5Data.ai（BIAI、ZJUT及D5Data.ai） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 本文提出LM-Mixup方法，通过构建MIXTURE数据集并结合监督微调与GRPO强化学习，仅用3%的蒸馏数据即可高效增强低质量指令跟随数据，提升LLMs的指令微调效率与性能。

Comments COLM 2026

TopoTuner: Topological Finetuning of Large Language Models

TopoTuner：大语言模型的拓扑微调

Abdulkadir Erol, Yash Mahajan, Vepaul Hariprashad, Baha Rababah, Santu Karmaker, Cuneyt G. Akcora, Mubarak Shah

机构 * University of Central Florida（中佛罗里达大学） ； University of Manitoba（曼尼托巴大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究针对大语言模型微调成本高及LoRA不足的问题，提出TopoTuner框架，通过拓扑引导选择性冻结注意力投影矩阵，从源数据集学习可复用冻结配置文件，在多模型上效果优于LoRA且大幅减少训练时间和参数更新量。

Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach

重新思考联邦图基础模型：基于图-语言对齐的方法

Yinlin Zhu, Di Wu, Xianzhi Zhang, Yuming Ai, Xunkai Li, Miao Hu, Guocong Quan

机构 * Sun Yat-sen University, Guangzhou, China（中山大学） ； Beijing Institute of Technology, Beijing, China（北京理工大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 FedGALA通过图-语言对齐解决联邦图基础模型中的语义-结构正交性问题，提升多任务适应性与效率

Comments Under Review

From Direction to Magnitude: How Multimodal Instruction-Tuning Reorganizes the Geometric Encoding of Identity-Specifying Prompts in Transformer Hidden States

从方向到大小：多模态指令微调如何在Transformer隐藏状态中重新组织身份指定提示的几何编码

Jorge A. Castillo, Marco Torres Yévenes, Juan Carlos Lanas

机构 * Axis Dynamics SpA（轴动力公司） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；SFT(abstract)；RLHF(abstract)

AI总结 研究四种训练后模式的Transformer语言模型，通过五个几何指标比较三种提示条件，发现多模态指令微调会使身份编码从方向重组为大小，此重组特定于该模式，还定位了W_1作为方法贡献。

Comments 16 pages, 8 tables. Working draft v0.3. Uses Ollivier-Ricci curvature and edge-wise Wasserstein-1 as primary geometric statistic; four models (Gemma-4-E4B, Gemma-4-E4B-it, DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-7B-Instruct)

Just on Time: Token-Level Early Stopping for Diffusion Language Models

准时完成：扩散语言模型的标记级早期停止

Zakhar Kohut, Severyn Shykula, Mykola Vysotskyi, Serhii Dmytryshyn, Dmytro Khamula, Michal Zakrzewski, Damian Rynczak, Jacek Małecki, Taras Rumezhak, Volodymyr Karpiv

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种无需训练的标记级早期停止方法，通过动态确定标记收敛点，减少扩散步骤并提升生成效率。

Comments Under review

EEG-FM-Compass: Progress, Benchmarking, and Future Directions for EEG Foundation Models

EEG基础模型：进展、基准测试与开放问题

Dingkun Liu, Yuheng Chen, Zhu Chen, Zhenyao Cui, Yaozhi Wen, Jiayu An, Jingwei Luo, Dongrui Wu

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文研究了EEG基础模型的进展、基准测试与开放问题，通过评估12个开源模型和专用基线，发现线性探测不足，专用模型仍具竞争力，且大模型不必然提升泛化性能。

Journal ref National Science Review, 2026

The Illusion of Safety: Multi-Tier Verification of AI vs. Human C++ Code

安全的假象：AI与人类C++代码的多层验证

Saif Mahmud, Fadul Sikder, Yuede Ji, Haotian Zhang, Yu Lei

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出VULBENCH-CPP基准，通过四层验证发现AI生成C++代码的运行时违规率约为人类代码的两倍，静态分析会因代码长度产生安全假象。