语言大模型 / LLM

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

面向LLM驱动的硬件描述语言设计与验证数据整理的结构化测试台生成

En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

机构 * National Taiwan University（国立台湾大学） ； Academia Sinica（中央研究院） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出STG框架，利用硬件设计固有结构生成确定性测试台，比迭代LLM方法快720倍，编译成功率更高，覆盖率更高，误判更少，并用于数据整理和测试时扩展。

Comments 9 pages, 10 figures

Flaws in the LLM Automation Narrative

LLM自动化叙事中的缺陷

George Perrett, Javae Elliott, Jennifer Hill, Marc Scott

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过编写代码完成数据分析任务的新基准测试，发现前沿LLM在平均性能、方差和错误幅度上均不如人类专家，挑战了LLM达到人类专家水平的说法。

EVADE: LLM-Based Explanation Generation and Validation for Error Detection in NLI

EVADE：基于LLM的解释生成与验证用于NLI错误检测

Longfei Zuo, Barbara Plank, Siyao Peng

机构 * Technical University of Munich（慕尼黑技术大学） ； MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出EVADE框架，利用大语言模型生成和验证解释以检测NLI数据集中的标注错误，实验表明LLM验证能减少人力并提升微调性能。

LLM-driven design of physics-constrained constitutive models: two agents are better than one

LLM驱动的物理约束本构模型设计：两个智能体胜过一个

Marius Tacke, Matthias Busch, Kian Abdolazizi, Jonas Eichinger, Kevin Linka, Roland Aydin, Christian Cyron

机构 * Helmholtz-Zentrum Hereon（海德堡中心） ； Hamburg University of Technology（汉堡技术大学） ； RWTH Aachen University（亚琛工业大学） ； Saarland University（萨尔兰州大学） ； German Center for Artificial Intelligence（德国人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多智能体LLM框架，通过Creator生成模型和Inspector审计物理约束，实现自动生成满足物理定律的本构模型。

From Chatbots to Confidants: A Cross-Cultural Study of LLM Adoption for Emotional Support

从聊天机器人到知己：一项跨文化的LLM用于情感支持的使用研究

Natalia Amat-Lefort, Mert Yazan, Amanda Cercas Curry, Flor Miriam Plaza-del-Arco

机构 * Leiden University（莱顿大学） ； Hogeschool van Amsterdam（阿姆斯特丹大学） ； Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究探讨了不同国家用户对LLM用于情感支持的接受度及影响因素，通过大规模跨文化调查发现社会经济地位是关键预测因素，并揭示了多语言提示语中用户主要寻求帮助的领域。

Comments 28 pages (9 pages main text, 19 pages references and appendices), 14 figures. The first two authors contributed equally

MirrorMark: Generalizable Mirrored Sampling for Multi-bit LLM Watermarking

MirrorMark: 多位LLM水印的通用镜像采样

Ya Jiang, Massieh Kordi Boroujeny, Surender Suresh Kumar, Kai Zeng

机构 * George Mason University（乔治·马歇尔大学） ； Department of Computer Science（计算机科学系） ； Wireless Cyber Center（无线网络安全中心） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MirrorMark通过镜像变换实现多比特LLM水印，通过符号映射规则与基础水印采样器分离，结合CABS调度器平衡token分配，实验显示其在保持文本质量的同时具备强检测性和比特准确性。

Improving LLM Code Generation via Requirement-Aware Curriculum Reinforcement Learning

通过需求感知的课程强化学习改进LLM代码生成

Shouyu Yin, Zhao Tian, Junjie Chen, Shikai Guo

机构 * Tianjin University（天津大学） ； Dalian Maritime University（大连海事大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RECRL框架，通过自动感知需求难度、优化挑战性需求和自适应课程采样策略，提升LLM代码生成性能，实验显示在多个基准上表现显著。

From Unstructured to Structured: LLM-Guided Attribute Graphs for Entity Search and Ranking

从无序到有序：LLM引导的属性图用于实体搜索与排序

Yilun Zhu, Nikhita Vedula, Shervin Malmasi

机构 * Amazon.com, Inc.（亚马逊公司） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出结合LLM驱动的属性图构建与图感知LLM排序的两阶段方法，通过结构化属性提取和图构建提升电商中实体搜索的精度与效率，实验显示在零样本场景下平均精度提升超5%。

PhySE: A Psychological Framework for Real-Time AR-LLM Social Engineering Attacks

PhySE: 一种用于实时AR-LLM社会工程攻击的心理学框架

Tianlong Yu, Yang Yang, Ziyi Zhou, Jiaying Xu, Siwei Li, Tong Guan, Kailong Wang, Ting Bi

机构 * Hubei University（湖北大学） ； Apple Inc（苹果公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PhySE通过视觉语言模型的社会上下文训练和自适应心理代理，解决AR-LLM社会工程攻击中的冷启动个性化和静态攻击策略问题，提升实时交互效果。

Temporal Flattening in LLM-Generated Text: Comparing Human and LLM Writing Trajectories

时间扁平化在LLM生成文本中的表现：比较人类与LLM写作轨迹

Zhanwei Cao, YeoJin Go, Yifan Hu, Shanu Sushmita

机构 * Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究比较了人类和LLM在不同时间跨度内的写作轨迹，发现LLM生成文本存在时间扁平化现象，其词汇多样性更高但语义和认知情感变化更小，预测准确率高达94%。

Comments 25 pages, 6 figures. To appear in Findings of ACL 2026

H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code

H2LooP Spark Preview：为低级嵌入式系统代码进行大语言模型的持续预训练

Amit Singh, Vedant Nipane, Pulkit Agrawal, Jatin Kishnani, Sairanjan Mishra

机构 * H2LooP.ai 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出H2LooP Spark Preview，通过持续预训练方法，利用BF16 LoRA技术将OLMo-3-7B模型适应于嵌入式系统领域，显著降低困惑度并提升代码生成性能。

The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining

混合语言文档在多语言大语言模型预训练中的作用

Jiandong Shao, Raphael Tang, Crystina Zhang, Karin Sevegnani, Pontus Stenetorp, Jianfei Yang, Yao Lu

机构 * University College London（伦敦大学学院） ； Nanyang Technological University（南洋理工大学） ； University of Waterloo（滑铁卢大学） ； NVIDIA（英伟达） ； National Institute of Informatics（信息研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 研究发现平行数据对翻译性能至关重要，而语码转换数据对跨语言理解和推理影响较小。

Comments under review

Scaling Performance of Large Language Model Pretraining

Alexander Interrante-Grant, Carla Varela-Rosa, Suhaas Narayan, Chris Connelly, Albert Reuther

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

Journal ref Proc. IEEE High Performance Extreme Computing Conference (HPEC), 2025

Investigating Continual Pretraining in Large Language Models: Insights and Implications

Çağatay Yıldız, Nishaanth Kanna Ravichandran, Nitin Sharma, Matthias Bethge, Beyza Ermis

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

Meta-Task Prompting Elicits Embeddings from Large Language Models

Yibin Lei, Di Wu, Tianyi Zhou, Tao Shen, Yu Cao, Chongyang Tao, Andrew Yates

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；分类 cs.CL

Comments ACL 2024

Meta Large Language Model Compiler: Foundation Models of Compiler Optimization

Chris Cummins, Volker Seeker, Dejan Grubisic, Baptiste Roziere, Jonas Gehring, Gabriel Synnaeve, Hugh Leather

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；foundation model(title)；LLM(abstract)

SSP: Self-Supervised Prompting for Cross-Lingual Transfer to Low-Resource Languages using Large Language Models

Vipul Rathore, Aniruddha Deb, Ankish Chandresh, Parag Singla, Mausam

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；分类 cs.CL

Prompting a Large Language Model to Generate Diverse Motivational Messages: A Comparison with Human-Written Messages

Samuel Rhys Cox, Ashraf Abdul, Wei Tsang Ooi

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title)；LLM(abstract)

Comments 3 pages, 1 figure, 1 table, to be published in Proceedings of the 11th International Conference on Human-Agent Interaction (ACM HAI'23)

Syntax Without Semantics: Teaching Large Language Models to Code in an Unseen Language

无语义的语法：教大语言模型在未见过的语言中编程

Vinayshekhar Bannihatti Kumar, Disha Makhija, Manoj Ghuhan Arivazhagan, Rashmi Gangadharaiah

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 研究探讨大语言模型在未见过的语言中生成代码的能力，发现微调仅能教授语法而无法转移语义能力，揭示了推理与语言实现之间的鸿沟。

Comments Accepted at COLM 2026

Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning

Tokens，常被忽视的开胃菜：大语言模型、分布假说和意义

Julia Witte Zimmerman, Denis Hudon, Kathryn Cramer, Alejandro J. Ruiz, Calla Beauregard, Ashley Fehr, Mikaela Irene Fudolig, Bradford Demarest, Yoshi Meke Bird, Milo Z. Trujillo, Christopher M. Danforth, Peter Sheridan Dodds

机构 * Computational Story Lab（计算故事实验室） ； Vermont Complex Systems Institute（佛蒙特复杂系统研究所） ； University of Vermont（佛蒙特大学） ； Department of Computer Science（计算机科学系） ； St. Michael’s College（圣米歇尔学院） ； Communication Media and Marginalization Lab（传播媒体与边缘化实验室） ； Northeastern University（东北大学） ； Department of Mathematics & Statistics（数学与统计学系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 研究探讨大语言模型中令牌化对认知的影响，指出分布假说足以实现人类样语言性能，并提出改进令牌化技术以减少偏见和提升语义理解。

Comments Accepted at IC2S2 2026 and SLSA @ 4S 2026

AC-ODM: Actor--Critic Online Data Mixing for Sample-Efficient LLM Pretraining

AC-ODM: 面向样本高效LLM预训练的演员-评论家在线数据混合

Jing Ma, Chenhao Dang, Mingjie Liao

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出AC-ODM方法，从强化学习视角优化预训练数据混合，通过参数化策略实现梯度构造性干扰最大化，支持代理与非代理两种模式，显著提升收敛速度和下游任务准确率。

Comments ICML 2026 (Poster)

Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Mix-MoE：通过混合专家混合提升大语言模型的多语言机器翻译

Bo Li, Tianyu Dong, Shaolin Zhu, Deyi Xiong

机构 * School of Software, Tsinghua University（清华大学软件学院） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 提出Mix-MoE框架，通过将MoE层分为语言模型专家和机器翻译专家，并利用傅里叶变换增强路由机制，解决大语言模型在多语言机器翻译微调中的参数干扰问题。

Comments Accepted by TASLP

Memory-Efficient LLM Pretraining via Minimalist Optimizer Design

通过最小化优化器设计实现内存高效的LLM预训练

Athanasios Glentis, Jiaxiang Li, Andi Han, Mingyi Hong

机构 * Department of Electrical and Computer Engineering, University of Minnesota, USA（电气与计算机工程系，明尼苏达大学，美国） ； School of Mathematics and Statistics, University of Sydney, Australia（数学与统计学学院，悉尼大学，澳大利亚） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了如何通过简单的优化器设计改进，使SGD在预训练中达到最先进的性能，提出了SCALE优化器，在内存使用上比Adam更高效，并在多个模型上表现优于现有内存高效的优化器。

Comments Accepted at ICML 2026

LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series

LLM预训练塑造了可泛化的流形：跨模态迁移至时间序列的洞察

Alexis Roger, Prateek Humane, Zhenghan Tai, Gwen Legate, Andrei Mircea, Vasilii Feofanov, Irina Rish

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； University of Toronto（多伦多大学） ； Concordia University（康科迪亚大学） ； com（42.com） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言预训练的Transformer能否成为有效的时序预测器，并揭示了跨模态迁移的机制，指出预训练构建了流形，微调则将数值动态投影到任务相关方向。

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

ScheduleFree+: 将学习率自由和调度自由学习扩展到大型语言模型

Aaron Defazio

机构 * FAIR at Meta Super-Intelligence Labs（Meta 超智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本文提出了一种学习率自由和调度自由的学习方法（ScheduleFree+），用于训练大型语言模型，该方法在大规模训练中显著优于传统的Warmup-Stable-Decay（WSD）调度方案，并证明了调度自由学习在长周期训练中的有效性。

Estimating Item Difficulty with Large Language Models as Experts

利用大语言模型作为专家估算项目难度

Diana Kolesnikova, Kirill Fedyanin, Abe D. Hofman, Matthieu J. S. Brinkhuis, Maria Bolsinova

机构 * Department of Methodology and Statistics, Tilburg University（蒂尔堡大学方法学与统计学系） ； Smart Business Technologies（智能商务技术公司） ； Department of Psychological Methods, University of Amsterdam（阿姆斯特丹大学心理方法系） ； Prowise Learn, Amsterdam（Prowise Learn公司，阿姆斯特丹） ； Department of Information and Computing Sciences, Utrecht University（乌得勒支大学信息与计算科学系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本文研究了如何利用大语言模型估算新任务的难度，通过对比不同配置下的模型表现，发现基于对偶比较的配置在无额外优化时表现更优，而结合token概率和已知难度示例的绝对判断配置也表现出中等至高水平的对齐度。

Comments 24 pages, 2 figures, 9 tables

Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

语言模型可能并不理解你：通过故事提示评估理论自我意识

Nathaniel Getachew, Abulhair Saparov

专题命中 预训练与数据 ：language model(title,abstract)；prompting(title)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 通过故事提示框架评估大语言模型的理论自我意识和世界建模能力，发现模型在世界建模任务中表现优于理论自我意识任务，且对人物推理更准确。

Comments 21 pages, 17 figures

RePro: Training Language Models to Faithfully Recycle the Web for Pretraining

Zichun Yu, Chenyan Xiong

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)；large language model(abstract)

Front-Loading Reasoning: The Synergy between Pretraining and Post-Training Data

Syeda Nahida Akter, Shrimai Prabhumoye, Eric Nyberg, Mostofa Patwary, Mohammad Shoeybi, Yejin Choi, Bryan Catanzaro

机构 * NVIDIA ； Carnegie Mellon University（卡内基梅隆大学） ； Boston University（波士顿大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(title,abstract)；LLM(abstract)；language model(abstract)

Can Small Language Models Learn, Unlearn, and Retain Noise Patterns?

Nicy Scaria, Silvester John Joseph Kennedy, Deepak Subramani

机构 * Indian Institute of Science（印度科学研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)