语言大模型 / LLM

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

MIDI-LLM：通过适配大语言模型改进文本到MIDI的音乐生成

Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 该研究提出MIDI-LLM，通过适配Llama 3.2（1B）采用两阶段训练改进文本到MIDI生成，在用户研究中证实其在人机音乐协同创作中的有效性。

Comments Accepted to International Society for Music Information Retrieval (ISMIR) Conference 2026

Pretraining A Large Language Model using Distributed GPUs: A Memory-Efficient Decentralized Paradigm

使用分布式GPU预训练大型语言模型：一种内存高效的分散式范式

Jinrui Zhang, Chaodong Xiao, Aoqi Wu, Xindong Zhang, Lei Zhang

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 提出SPES框架，通过分散式训练MoE LLM的子集专家降低内存需求，结合专家合并预热策略，在16个48GB GPU上训练2B参数模型，性能媲美集中式训练。

TACOMORE: Exploring a replicable prompting protocol for LLM-assisted corpus analysis

TACOMORE: 探索一种可复现的提示协议用于LLM辅助语料库分析

Bingru Li, Han Wang, Nicholas Groom

机构 * Department of Linguistics and Communication, University of Birmingham（伯明翰大学语言学与传播系） ； Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系） ； Institute of Foreign Languages and Cultures, University of Tartu（塔尔图大学外国语言与文化研究所） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出TACOMORE框架，通过结构化提示将LLM从通用概率预测转向基于语料共现模式的推理，提升关键词、搭配和索引行分析的准确性与可复现性，但幻觉问题仍需人工验证。

Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

参数化知识并非全部：通过检索预训练数据实现诚实的语言模型

Christopher Adrian Kusuma, Muhammad Reza Qorib, Hwee Tou Ng

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对大语言模型在知识不足时产生幻觉的问题，提出利用公开预训练数据构建更鲁棒的诚实性评估基准，并设计检索预训练数据的方法提升模型诚实性。

Comments Findings of ACL 2026

Aligning Quantum Operators with Large Language Models

对齐量子算子与大型语言模型

Rogerio Feris, Yunchao Liu, Pengyuan Li, Hang Hua, David Kremer

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 提出将酉算子映射到LLM潜空间的方法，实现量子与语言输入的联合建模，在Clifford+T电路合成任务上取得与最先进方法竞争的结果，并支持语言条件合成。

Not All Invariants Are Equal: Curating Training Data to Accelerate Program Verification with SLMs

并非所有不变式都同等重要：利用SLM通过精选训练数据加速程序验证

Ido Pinto, Yizhak Yisrael Elboher, Haoze Wu, Nina Narodytska, Guy Katz

机构 * Hebrew University of Jerusalem, Israel（特拉维夫大学） ； Amherst College, USA（阿默斯特学院） ； VMware Research by Broadcom, USA（Broadcom VMware 研究） 纠错

专题命中 预训练与数据 ：SLM(title_cn,summary_cn)；LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出Wonda数据筛选流水线，通过AST归一化和LLM语义重写从原始验证器输出中提取高质量训练不变式，微调小语言模型（SLM）后，在多个模型上使不变式正确性和加速率翻倍甚至三倍，小模型性能媲美大模型。

Comments A preprint of the ICML 2026 paper with the same title

Inferring the Size of Large Language Models From Popular Text Memorization

从流行文本记忆推断大型语言模型的规模

Ivica Nikolic

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 提出一种黑盒方法，通过分析模型对流行文本的记忆准确性，仅从生成文本推断LLM参数规模的下界，并验证了开源和闭源模型。

Payoff scaling shapes cooperation in LLM agents across languages

收益规模塑造跨语言LLM代理的合作行为

Trung-Kiet Huynh, Dao-Sy Duy-Minh, Thanh-Bang Cao, Phong-Hao Le, Hong-Dan Nguyen, Phu-Quy Nguyen-Lam, Minh-Luan Nguyen-Vo, Hong-Phat Pham, Phu-Hoa Pham, Thien-Kim Than, Chi-Nguyen Tran, Huy Tran, Gia-Thoai Tran-Le, Alessio Buscemi, Le Hong Trang, The Anh Han

机构 * Faculty of Information Technology, University of Science (HCMUS), Ho Chi Minh City, Vietnam（信息技术学院，科学大学（HCMUS），胡志明市，越南） ； Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), Ho Chi Minh City, Vietnam（计算机科学与工程学院，胡志明市技术大学（HCMUT），胡志明市，越南） ； Vietnam National University – Ho Chi Minh City (VNU-HCM), Ho Chi Minh City, Vietnam（越南国家大学——胡志明市（VNU-HCM），胡志明市，越南） ； Luxembourg Institute of Science and Technology (LIST), Luxembourg（卢森堡科学与技术研究所（LIST），卢森堡） ； School of Computing, Engineering and Digital Technologies, Teesside University, Middlesbrough, United Kingdom（计算、工程与数字技术学院，泰赛德大学，米德尔斯布罗，英国） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过监督分类器识别重复囚徒困境中的策略，结合演化博弈论基线，发现随着收益增加，LLM反而更合作，与演化预测相反，表明对齐训练和人类推理模式的影响。

Comments 44 pages, 17 figures, 4 tables

DataEvolver: Automatic Data Preparation for Large Language Models through Multi-Level Self-Evolving

DataEvolver: 通过多级自我进化实现大型语言模型的自动数据准备

Chao Deng, Shaolei Zhang, Ju Fan, Xiaoyong Du

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出DataEvolver，首个自我进化的数据准备系统，通过多级机制自动构建管道将原始数据转化为高质量数据，在七个基准上平均提升下游LLM性能10%。

Pretraining large language models with MXFP4 on Native FP4 Hardware

使用MXFP4在原生FP4硬件上预训练大型语言模型

Musa Cim, Sarthak Arora, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究发现FP4训练不稳定主要由梯度路径的结构微缩放误差引起，通过MXFP4量化在Transformer训练中的受控研究，揭示了FP4在Fprop和Dgrad中对收敛影响较小，而Wgrad量化导致收敛退化。

Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL

错误代码，正确结构：从不完美的LLM生成RTL学习网表表示

Siyang Cai, Cangyuan Li, Haoyu Gao, Kun Wang, Yinhe Han, Ying Wang

机构 * CICS, Institute of Computing Technology, Chinese Academy of Sciences（计算技术研究所，中国科学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用不完美的LLM生成RTL进行网表表示学习，通过数据增强和端到端流程，提升电路分析任务的性能。

Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution

Role-Agent: 通过双角色演化引导LLM智能体

Xucong Wang, Ziyu Ma, Shidong Yang, Tongwen Huang, Pengkun Wang, Yong Wang, Xiangxiang Chu

机构 * University of Science and Technology of China（中国科学技术大学） ； AMAP, Alibaba Group（阿里巴巴集团高德地图） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Role-Agent框架，让单个LLM同时作为智能体和环境，通过世界在智能体（WIA）和智能体在世界（AIW）两个组件实现自举协同演化，在多个基准上平均提升超过4%。

Comments 20 pages, including 12 pages of main text and 8 pages of appendix; work in progress

MetaBreak: Jailbreaking Online LLM Services via Special Token Manipulation

MetaBreak: 通过特殊标记操纵越狱在线LLM服务

Wentian Zhu, Zhen Xiang, Wei Niu, Le Guan

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出利用特殊标记构造攻击原语，绕过LLM安全对齐和内容审核，并发现防御困难，实验显示MetaBreak在内容审核下优于现有方法。

Comments Accepted version. Revised to match the version accepted to the 2026 IEEE Symposium on Security and Privacy (SP); added publication information and DOI

Journal ref Proceedings of the 2026 IEEE Symposium on Security and Privacy (SP), pp. 98-117, IEEE Computer Society, 2026

LLM Program Optimization via Retrieval Augmented Search

通过检索增强搜索实现LLM程序优化

Sagnik Anupam, Alexander Shypula, Osbert Bastani

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出检索增强搜索（RAS）方法，利用LLM进行黑盒程序优化，通过检索慢-快程序对引导束搜索，并基于LLM生成的自然语言描述进行上下文检索，显著优于源码检索；同时提出AEGIS方法通过原子编辑提升可解释性。

Comments ACL 2026 Findings

Combating Data Laundering in LLM Training

对抗LLM训练中的数据清洗

Muxing Li, Zesheng Ye, Sharon Li, Feng Liu

机构 * University of Melbourne（墨尔本大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对数据清洗（通过变换风格隐藏数据来源）导致传统检测失效的问题，提出基于辅助LLM推断变换目标并合成查询的SDR方法，显著增强数据滥用检测能力。

Comments 29 pages, 2 figures

Syntax Without Semantics: Teaching Large Language Models to Code in an Unseen Language

无语义的语法：教大语言模型在未见过的语言中编程

Vinayshekhar Bannihatti Kumar, Disha Makhija, Manoj Ghuhan Arivazhagan, Rashmi Gangadharaiah

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 研究探讨大语言模型在未见过的语言中生成代码的能力，发现微调仅能教授语法而无法转移语义能力，揭示了推理与语言实现之间的鸿沟。

Comments Accepted at COLM 2026

AC-ODM: Actor--Critic Online Data Mixing for Sample-Efficient LLM Pretraining

AC-ODM: 面向样本高效LLM预训练的演员-评论家在线数据混合

Jing Ma, Chenhao Dang, Mingjie Liao

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出AC-ODM方法，从强化学习视角优化预训练数据混合，通过参数化策略实现梯度构造性干扰最大化，支持代理与非代理两种模式，显著提升收敛速度和下游任务准确率。

Comments ICML 2026 (Poster)

Bridging Individual and Collective Realism in LLM-Based Human Mobility Simulation via Mobility Scaling-Law Guidance

通过共享数据中的移动度量引导基于LLM的人群移动模拟

Hua Yan, Heng Tan, Yu Yang

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 M2LSimu通过共享数据中的移动度量引导多提示调整，有效提升基于LLM的人群移动模拟的群体协调与真实性

BLISS: A Lightweight Bilevel Influence Scoring Method for Data Selection in Language Model Pretraining

BLISS: 一种用于语言模型预训练数据选择的轻量级双层影响评分方法

Jie Hao, Rui Yu, Wei Zhang, Huixia Wang, Jie Xu, Mingrui Liu

机构 * Department of Computer Science, George Mason University, USA（乔治·马歇尔大学计算机科学系） ； IBM T.J. Watson Research Center, USA（IBM T.J. Watson研究部） ； Department of Statistics, Rice University（里士大学统计系） ； Department of System Engineering & Operations Research, George Mason University, USA（乔治·马歇尔大学系统工程与运营管理系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 提出一种无需外部预训练模型的轻量级数据选择方法BLISS，通过双层优化和代理模型估计训练样本的长期影响，实现高效数据筛选，在C4数据集上预训练多种规模模型，显著加速收敛并提升下游任务性能。

Measuring Human Value Expression in Social Media Texts: Calibrated LLM Annotation and Encoder Transfer

测量社交媒体文本中的人类价值表达：校准的LLM标注与编码器迁移

Maria Milkova, Maksim Rudnev

机构 * Independent researcher, Lisbon, Portugal（独立研究者，里斯本，葡萄牙） ； University of Waterloo, ON, Canada（滑铁卢大学，安大略省，加拿大） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL

AI总结 本研究使用校准的LLM标注和软标签训练，将基于Schwartz人类基本价值理论的社交媒体文本价值表达迁移到编码器模型，实现可扩展预测。

Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

谁写了这本书？检测与归因LLM代笔作者

Anudeex Shetty, Qiongkai Xu, Olga Ohrimenko, Jey Han Lau

机构 * School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算与信息学院） ； School of Computing, FSE, Macquarie University, Australia（麦考瑞大学计算学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 提出GhostWriteBench数据集和TRACE指纹方法，用于检测和归因LLM生成的长文本，在跨域和未见模型上达到SOTA性能。

Comments WIP

AlphaOPT: Formulating Optimization Programs with Self-Improving LLM Experience Library

AlphaOPT: 利用自改进LLM经验库构建优化问题

Minwei Kong, Ao Qu, Xiaotong Guo, Wenbin Ouyang, Chonghe Jiang, Han Zheng, Yining Ma, Dingyi Zhuang, Yuhan Tang, Junyi Li, Shenhao Wang, Haris Koutsopoulos, Hai Wang, Cathy Wu, Jinhua Zhao

机构 * Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Florida（佛罗里达大学） ； Northeastern University（东北大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 提出AlphaOPT，一种自改进经验库，使LLM能从有限监督中学习优化建模知识，通过库学习和库演化两阶段循环，逐步提升性能，在多个基准上超越基线方法。

Large language model-enabled automated data extraction for concrete materials informatics

基于大语言模型的混凝土材料信息学自动化数据提取

Zhanzhao Li, Kengran Yang, Qiyao He, Kai Gong

机构 * Department of Civil and Environmental Engineering, Rice University（Rice大学土木与环境工程系） ； Rice Advanced Materials Institute, Rice University（Rice大学先进材料研究所） ； Ken Kennedy Institute, Rice University（Rice大学肯尼迪研究所） ； Independent researcher（独立研究员） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出一种基于大语言模型的自动化数据提取方法，用于从非结构化科学文献中提取混凝土材料数据，构建了最大的开放实验室数据库，提升了材料信息学的数据基础设施发展。

Comments 21 pages, 5 figures, 1 table

LLM-OSDA: An Optimal-Stopping Dynamic Auction for Native Advertising in Multi-Turn LLM Conversations

LLM-OSDA：多轮大语言模型对话中原生广告的最优停止动态拍卖机制

Yan Fang, Jialin Chen, Chun Gan, Hang Yu, Mingjun Nie, Yeyu Zhang, Fengxiang He, Ching Law

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对多轮LLM对话中原生广告的时机与分配耦合问题，提出LLM-OSDA动态拍卖机制，结合贝尔曼最优停止等，在模拟实验中使净收益提升11%且用户留存相当。

Comments 14 pages, 7 figures. Submitted to the 41st AAAI Conference on Artificial Intelligence (AAAI 2027)

AdaGC: Enhancing LLM Pretraining Stability via Adaptive Gradient Clipping

AdaGC: 通过自适应梯度裁剪增强LLM预训练稳定性

Guoxia Wang, Shuai Li, Congliang Chen, Jinle Zeng, Jiabin Yang, Dianhai Yu, Yanjun Ma, Li Shen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 提出自适应逐张量梯度裁剪方法AdaGC，通过限制梯度范数相对于历史裁剪值的指数移动平均来消除损失尖峰，在Llama-2 7B等模型上实现零尖峰并提升下游准确率。

Comments Accept by ICML 2026

LLMTabBench: Evaluating LLMs on Binary Tabular Classification From Zero to Few Shots

LLMTabBench：从零样本到少样本的二元表格分类中评估LLM

Daria Grushina, Kseniia Kuvshinova, Alina Kostromina, Aziz Temirkhanov, Mile Mitrovic, Dmitry Simakov

机构 * Sb AI Lab, HSE, NES（Sb AI Lab，HSE，NES） ； Sb AI Lab, HSE（Sb AI Lab，HSE） ； Sb AI Lab, HSE University（Sb AI Lab，HSE大学） ； Sb AI Lab 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出LLMTabBench基准，系统评估LLM在数据稀缺条件下进行表格分类时，先验知识与上下文信息（任务描述和少样本示例）的交互作用，以及性能随数据复杂度的扩展规律。

An Infectious Disease Spread Simulation Based on Large Language Model Decision Making

基于大语言模型决策的传染病传播模拟

Yonchanok Khaokaew, Ruochen Kong, Andreas Zufle, Hao Xue, Taylor Anderson, Chandini Raina MacIntyre, Matthew Scotch, Flora D. Salim, David J Heslop

机构 * Computer Science and Engineering Faculty of Engineering（计算机科学与工程系） ； The University of New South Wales（新南威尔士大学） ； Department of Computer Science（计算机科学系） ； Emory University（埃默里大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； George Mason University（乔治·马歇尔大学） ； The Kirby Institute Faculty of Medicine & Health（Kirby研究所医学院与健康学院） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一个空间显式的基于智能体的模拟框架，利用大语言模型生成自我报告流感样疾病的决策，并整合到基于人口普查的合成人群中，以捕捉社会与地理异质性。

Comments 12 pages

Speech LLMs in Low-Resource Scenarios: Data Volume Requirements and the Impact of Pretraining on High-Resource Languages

低资源场景下的语音大语言模型：数据量需求及高资源语言预训练的影响

Seraphina Fong, Marco Matassoni, Alessio Brutti

机构 * Department of Information Engineering（信息工程系） ； Center for Augmented Intelligence（增强智能中心） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 该研究针对低资源ASR任务，基于SLAM-ASR框架探究语音LLM的数据量需求，发现高资源语言预训练的投影器可缓解数据稀缺问题，并结合多语LLM在公开基准上验证性能，为相关研究提供方向。

Comments Accepted at Interspeech 2025. 5 pages, 2 figures, 3 tables

AgentRedBench: Dynamic Redteaming and Integration-Aware Defense for LLM Agents over SaaS Integrations

AgentRedBench: 针对SaaS集成的LLM代理的动态红队测试与集成感知防御

Hiskias Dingeto, William Leeney

机构 * StackOne Technologies（StackOne技术公司） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对LLM代理在工具使用中面临的间接提示注入威胁，提出动态红队基准AGENTREDBENCH（覆盖24个企业集成、5种攻击类型）和基于集成多样语料训练的防御模型AGENTREDGUARD，将攻击成功率从69.9%降至2.4%，误报率仅0.37%。

The Injection Paradox: Brand-Level Suppression in Safety-Trained LLM Recommendations via RAG Context Injection

注入悖论：通过RAG上下文注入在安全训练的LLM推荐中实现品牌级压制

Hyunseok Paeng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 研究发现在基于RAG的LLM推荐中，安全训练会导致注入提示反而压制目标品牌推荐率，揭示了安全机制可能被逆向利用的风险。

Comments 18 pages, 1 figure, 15 tables. Accepted at the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN), a non-archival venue