语言大模型 / LLM

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

MIDI-LLM：通过适配大语言模型改进文本到MIDI的音乐生成

Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 该研究提出MIDI-LLM，通过适配Llama 3.2（1B）采用两阶段训练改进文本到MIDI生成，在用户研究中证实其在人机音乐协同创作中的有效性。

Comments Accepted to International Society for Music Information Retrieval (ISMIR) Conference 2026

LLM-OSDA: An Optimal-Stopping Dynamic Auction for Native Advertising in Multi-Turn LLM Conversations

LLM-OSDA：多轮大语言模型对话中原生广告的最优停止动态拍卖机制

Yan Fang, Jialin Chen, Chun Gan, Hang Yu, Mingjun Nie, Yeyu Zhang, Fengxiang He, Ching Law

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对多轮LLM对话中原生广告的时机与分配耦合问题，提出LLM-OSDA动态拍卖机制，结合贝尔曼最优停止等，在模拟实验中使净收益提升11%且用户留存相当。

Comments 14 pages, 7 figures. Submitted to the 41st AAAI Conference on Artificial Intelligence (AAAI 2027)

Speech LLMs in Low-Resource Scenarios: Data Volume Requirements and the Impact of Pretraining on High-Resource Languages

低资源场景下的语音大语言模型：数据量需求及高资源语言预训练的影响

Seraphina Fong, Marco Matassoni, Alessio Brutti

机构 * Department of Information Engineering（信息工程系） ； Center for Augmented Intelligence（增强智能中心） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 该研究针对低资源ASR任务，基于SLAM-ASR框架探究语音LLM的数据量需求，发现高资源语言预训练的投影器可缓解数据稀缺问题，并结合多语LLM在公开基准上验证性能，为相关研究提供方向。

Comments Accepted at Interspeech 2025. 5 pages, 2 figures, 3 tables

In-Context Molecular Property Prediction with LLMs: A Blinding Study on Memorization and Knowledge Conflicts

基于LLM的上下文分子性质预测：关于记忆与知识冲突的盲化研究

Matthias Busch, Marius Tacke, Sviatlana V. Lamaka, Mikhail L. Zheludkevich, Christian J. Cyron, Christian Feiler, Roland C. Aydin

机构 * Institute for Continuum and Material Mechanics, Technical University of Hamburg（持续与材料力学研究所，汉堡技术大学） ； Institute of Material Systems Modeling, Helmholtz-Zentrum Hereon（材料系统建模研究所，海德堡-这里恩研究中心） ； Institute of Surface Science, Helmholtz-Zentrum Hereon（表面科学研究所，海德堡-这里恩研究中心） ； German Center for Artificial Intelligence (DFKI), Saarland, Germany（德国人工智能中心（DFKI），萨尔兰州，德国） ； Saarland University（萨尔兰州大学） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过渐进盲化实验和上下文样本量控制，研究LLM在分子性质预测中是否真正进行上下文回归，还是依赖记忆值，并分析预训练知识与上下文信息的冲突。

Do VLMs Align Better with Humans than LLMs during Natural Reading?

VLMs 在自然阅读中可能不会全局性地增强与人类的对齐性优于 LLMs

Jinzhou Wu, Zhengwu Ma, Jixing Li, Baoping Tang, Zitong Lu

机构 * Department of Mechanical and Vehicle Engineering, Chongqing University（重庆大学机械与车辆工程学院） ； Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学与翻译系） ； McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 通过严格文本设置比较LLM和VLM，发现多模态预训练在自然阅读中未带来全局性人类对齐优势，但视觉语义内容强的句子中VLM有选择性优势。

Comments 16 pages, 5 figures

FlowCLIP: Contrastive Pretraining Using Domain Names for Encrypted Traffic Classification

FlowCLIP: 使用域名的对比预训练进行加密流量分类

Eun Hun Choi

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出FlowCLIP框架，利用数据包侧信道特征（间隔、大小、方向）和CLIP对比目标对齐流量与域名表示，在QUIC流量数据集上跨周评估，优于基线方法。

After Talking with 1,000 Personas: Learning Preference-Aligned Proactive Assistants From Large-Scale Persona Interactions

与1000个角色交谈后：从大规模角色交互中学习偏好对齐的主动助手

Ziyi Xuan, Yiwen Wu, Zhaoyang Yan, Vinod Namboodiri, Yu Yang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 通过大规模角色交互模拟，学习偏好对齐的主动助手，实现设备端个性化适应与冷启动优化。

Large Language Models provide support for the parallelogram theory of analogy

平行四边形反击：LLM生成的类比优于人类

Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究比较了人类和LLM在类比任务中的表现，发现LLM生成的类比更符合平行四边形结构，且人类在生成关系保持的类比时表现较差。

Benchmarking LLMs on File System Design and Implementation

在文件系统设计与实现上对大语言模型（LLMs）进行基准测试：优势、不足与缺陷

Yuqi Xue, Daixuan Li, Jian Huang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出针对文件系统特定任务的LLM基准框架phi-Bench，含505项六类任务，测试开源与专有LLMs，揭示模型效率、失败原因及缓解技术，将开源phi-Bench。

Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning

Token Buncher: 保护大语言模型免受有害强化学习微调的威胁

Weitao Feng, Lixu Wang, Peizhuo Lv, Tianyi Wei, Jie Zhang, Chongyang Gao, Sinong Zhan, Wei Dong

机构 * Nanyang Technological University（南洋理工大学） ； Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR） ； Northwestern University（西北大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TokenBuncher，通过限制模型响应熵来防御基于强化学习的有害微调，实验显示其能有效抑制有害行为同时保持正常任务性能。

Comments Accepted by ACM CCS 26

Transplanting, inverting, and preventing a misalignment persona: method-conditional emergent misalignment in Qwen2.5

移植、反转和防止错位角色：Qwen2.5中方法条件下的突发错位

Lyndon Drake, Zandi Eberstadt

机构 * University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：language model(abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究Qwen2.5模型中突发错位，通过移植潜在角色方向诱导错位，消融自身方向可减少诱导，发现招募角色与方法和能力有关，还可筛查和防止其招募。

Comments 34 pages, 18 figures

SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them

SpatialCLI：先借助空间工具进行推理，再脱离工具进行推理

Yang Zhou, Zixuan Huang, Sunzhu Li, Zhuo Yang, Chen Zhang, Shunian Chen, Caijun Yan, Jianyao Xu, Shunyu Liu, Weijie Fu, Peiliang Li, Xiaozhi Chen, Yuxiang Cai

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 本研究提出SpatialCLI框架，通过三个阶段让视觉语言模型先借助专用空间工具推理，再内化感知能力，在MindCube上大幅提升了Qwen3-VL-8B-Instruct的性能，表现优于对比模型。

Pingala: Prosody-Aware Decoding for Sanskrit Poetry Generation

PINGALA：面向梵文诗歌生成的声调感知解码

Manoj Balaji Jagadeeshan, Atul Singh, Nallani Chakravartula Sahith, Amrith Krishna, Pawan Goyal

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出PINGALA解码方法，通过将诗歌分段提升语义连贯性10%，并利用SLP1转写提高音律对齐46%，同时引入参考无关评估方法。

Comments new changes added

Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning?

在线RL微调真的需要预训练Q函数吗？

Perry Dong, Ron Polonsky, Dorsa Sadigh, Chelsea Finn

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.LG

AI总结 本文针对在线RL微调是否需预训练Q函数的问题，发现预训练Q函数增益有限，提出IPE方法，在连续控制基准中使微调性能平均提升1.26倍。

Comments Fixed typo in author name

Disentangling MLP Neuron Weights in Vocabulary Space

解构词汇空间中的MLP神经元权重

Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 本文提出ROTATE方法，通过优化神经元权重旋转以最大化词汇空间的峰度，解构MLP神经元权重，揭示词汇通道，提升语言模型可解释性。

Comments Accepted at COLM 2026

SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks

SwanTale：面向指令式与零样本任务的统一多说话人语音与音频生成模型

Yu Zhang, Ruiqi Li, Changhao Pan, Ke Lei, Xiang Yin, Cheng Yang

专题命中 指令微调 ：post-training(abstract)

AI总结 SwanTale是支持指令式与零样本任务的多说话人语音音频生成模型，通过SwanData-Caption数据构建与SwanVAE、Unified MoE等技术实现，在相关任务指标中表现最优。

Comments Technical Report by ByteDance

Self-Improving Large Language Models via Progressive Experience Evolution

基于渐进式经验演化的自我改进大语言模型

Shijie Ren, Xiting Wang, Meng Li, Yujie Guo, Yunhang Yao, Ziheng Peng, Xunlong Wang, Yuetan Chen, Haoyang Zhou, Yunlong Liang, Fandong Meng

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出统一后训练框架SPEE，通过显式经验演化与隐式策略优化结合，在五种数学推理基准上提升了大语言模型的自我改进能力，优于现有基线方法。

Comments 10 pages, 5 figures

Evaluating Risks in Weak-to-Strong Alignment: A Bias-Variance Perspective

在弱到强对齐中评估风险：从偏差-方差视角出发

Hamid Osooli, Kareema Batool, Rick Gentry, Tiasa Singha Roy, Ashwin Gupta, Anirudha Ramesh

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft（微软） ； InstaDeep ； New York University（纽约大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文从偏差-方差视角分析弱到强对齐的风险，通过连续置信度分数研究经验组件，发现强模型方差是欺骗的主要预测因素，表明弱强依赖性的重要性。

The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and The Channel, Not the Content, Decides What Works

奖励通道中的暗室：密集预测奖励使GRPO训练的大语言模型智能体崩溃——以及实际有效的方法

Yu Wang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究发现密集预测奖励在GRPO训练下会使大语言模型智能体崩溃，通过单因素消融定位原因，提出方差分布标准，还通过受控信号传递矩阵对比奖励通道和辅助损失通道，表明奖励通道至多中性，辅助损失通道有优势。

DHRCL:Training Code LLMs with Dense Hierarchical Rewards and Curriculum Learning

DHRCL：使用密集分层奖励与课程学习训练代码大语言模型

Shuhang Wang, Ziming Li, Hui Cheng

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 该研究提出DHRCL框架，通过分层奖励与自动阶段课程学习训练代码大语言模型，经多模型规模实验验证其优势稳定，优于多种基线方法。

Know When to Stop: Segment-Level Credit Assignment for Reducing Overthinking

知止：用于减少过度思考的片段级信用分配

Chia-Hsuan Lee, Sihui Dai, Mingyang Zhou, Isha Slavin, Hsuan Su, Shi-Xiong Zhang, Sambit Sahu, William Campbell

机构 * Capital One（第一资本） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 提出DASH方法，通过将推理轨迹中的最终答案候选与真实值比较，实现片段级信用分配，减少推理语言模型过度思考行为，在AIME25上准确率达50.8%。

Injection-Execution Dissociation: A Mechanistic Evaluation of Persistent Memory Attacks and Defenses in Stateful LLM Agents

多层架构中的防御效果：对持久内存攻击状态机LLM代理的机制性评估

Jun Wen Leong

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文评估了六种防御措施在九个开源模型上的延迟触发攻击效果，发现输入级和检索级过滤器效果不佳，而内存层工具门控（Memory Sandbox）显著降低攻击成功率，揭示了不同防御类别的失效原因。

Comments v4: Added double dissociation (reasoning-mode ablation), content-layer defense (RATG), loaded-corpus frontier evaluation (21 models, 3 providers, N=40), 7B judge capability bound, reproducibility validity criterion, ethics/disclosure statement. Gemini 3.1 Pro Preview 95% ASR; GPT-5.1 regression (22.5%); tripartite vendor divergence. Code: github.com/junwenleong/stateful-agent-security-eval

AgenticSCR: An Autonomous Agentic Secure Code Review for Immature Vulnerabilities Detection

AgenticSCR: 一种用于检测初期漏洞的自主代理安全代码审查

Wachiraphan Charoenwet, Kla Tantithamthavorn, Patanamon Thongtanunam, Hong Yi Lin, Minwoo Jeong, Ming Wu

机构 * The University of Melbourne（墨尔本大学） ； Monash University（莫纳什大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AgenticSCR通过结合LLMs、自主决策和语义记忆，有效检测预提交阶段的初期漏洞，优于传统SAST工具和静态LLM基线。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE'26 Industry-Track)

Metis: Memory Foundation Model

Metis：记忆基础模型

Zeyu Zhang, Ziliang Guo, Yihang Sun, Xichong Zhang, Xixuan Hao, Zehao Lin, Yang Zhang, Xiaoyan Zhao, Tong Shen, Bo Tang, Zhi-Qin John Xu, Junchi Yan, Haofen Wang, Xu Chen, Feiyu Xiong, Zhiyu Li, Tat-Seng Chua

机构 * MemTensor (Shanghai) Technology Co., Ltd.（墨芯（上海）科技有限公司） ； Renmin University of China（中国人民大学） ； National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出首个记忆基础模型原型Metis，赋予基础模型原生记忆能力，通过新架构与优化目标实现，经实验验证其具备原生记忆能力并发布相关资源。

Comments 46 pages, 11 figures, 16 tables

Uncovering Spontaneous Physics Representations in In-Context Learning

揭示上下文学习中自发形成的物理表征

Yeongwoo Song, Jaeyong Bae, Dong-Kyum Kim, Hawoong Jeong

机构 * Department of Physics, KAIST（KAIST物理系） ； MPI for Security and Privacy, Germany（德国安全与隐私研究所） ； Center for Complex Systems, KAIST（KAIST复杂系统中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究以动力学预测为代理任务，发现大语言模型无需物理特定监督，就能在上下文学习中自发形成与能量等物理概念对齐的表征，且该表征对预测有贡献，为ICL机制提供了物理解释。

Comments 15 pages, 10 figures

PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails

PersonaTrail：通过浏览轨迹对个性化网络代理进行基准测试

Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对用户指令不明确时网络代理需从浏览历史推断上下文的问题，引入PersonaTrail基准及偏好感知上下文记忆框架PACMem，利用浏览轨迹评估代理，实验证明PACMem优于现有基于记忆的基线。

Diagnosing and Mitigating Context Rot in Long-horizon Search

诊断和缓解长视野搜索中的上下文腐烂

Shijie Xia, Yikun Wang, Zhen Huang, Pengfei Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； SII GAIR 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究大语言模型在长视野任务中因上下文过长导致的性能退化（上下文腐烂），通过实验揭示其普遍性，并提出上下文管理和拒绝采样两种缓解策略。

When Memory Becomes Authority: Benchmarking Authority Collapse at the Memory Consolidation Boundary

当记忆成为权威：在记忆整合边界处对权威崩溃进行基准测试

Qiuyang Zhan, Rui Zhang, Sheng Guo, Lepeng Zhao, Zhuotao Liu

机构 * Tsinghua University（清华大学） ； East China Normal University（华东师范大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究推出AuthMem-Bench基准，发现智能体记忆整合存在权威崩溃问题，自动保留权威标签可大幅降低未授权动作率，证明记忆适配需同时保留权威信息。

Comments 38 pages, 2 figures

$π$-Attention: Online Efficient Sparse Transformers for Long-Context Modeling

π-注意力：用于高效长上下文建模的周期性稀疏变换器

Pike D. Liu, Chang Liu, Yanxuan Yu

机构 * University of California - Los Angeles（加州大学洛杉矶分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出π注意力，通过周期性稀疏结构实现高效长上下文建模，相比环形注意力在接收场增长上更优，且在相同上下文长度下使用更少的GPU。

OR-Agent: Bridging Evolutionary Search and Structured Research for Automated Algorithm Discovery

OR-Agent：连接进化搜索与结构化研究以实现自动化算法发现

Qi Liu, Ruochen Hao, Can Li, Wanjing Ma

机构 * Key Laboratory of Road and Traffic Engineering of the Ministry of Education（教育部道路与交通工程重点实验室） ； College of Transportation, Tongji University（同济大学交通运输学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 OR-Agent通过结构化树形工作流和进化-系统化构想机制，实现自动化算法发现的高效探索与科学发现。