语言大模型 / LLM

Characterizing Narrative Content in Web-scale LLM Pretraining Data

网络规模LLM预训练数据中的叙事内容特征化

Teagan Johnson, Elliott Ash, Andrew Piper, Maria Antoniak

机构 * University of Colorado Boulder（科罗拉多大学波尔德分校） ； ETH Zürich（苏黎世联邦理工学院） ； McGill University（麦吉尔大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.CL

AI总结 首次细粒度研究LLM预训练语料库Dolma的叙事特征，提出涵盖三个核心叙事元素（能动性、场景、事件）的框架，构建NarraBERT模型并发布NarraDolma数据集，揭示叙事结构在异构数据中可测量且分布不均。

Comments 8 pages of main content, 28 total pages. 30 figures

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

重新思考LLM FP4预训练中的收缩偏差：几何起源、系统影响与UFP4方案

Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

机构 * Ling Team, Ant Group（蚂蚁集团灵团队） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI

AI总结 本文发现E2M1格式因几何不对称导致收缩偏差，该偏差经随机哈达玛变换放大，造成训练不稳定；提出均匀网格E1M2/INT4及UFP4训练方案，在多种模型上实现更低损失。

Comments 18 pages, 12 figures

How LLMs Fail and Generalize in RTL Coding for Hardware Design?

LLM在硬件设计的RTL编码中如何失败与泛化？

Guan-Ting Liu, Chao-Han Huck Yang, Chenhui Deng, Zhongzhi Yu, Brucek Khailany, Yu-Chiang Frank Wang

机构 * NVIDIA Research（英伟达研究院） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出基于问题可解性的错误分类法，揭示LLM在RTL编码中受限于预训练知识，对齐技术仅教会编译，而推理能力才是关键瓶颈。

Comments Preview, under submission for EMNLP 2026

Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?

流式干预：视频大语言模型能否在错误发生时即时纠正？

Apratim Bhattacharyya, Shweta Mahajan, Sanjay Haresh, Rajeev Yasarla, Reza Pourreza, Litian Liu, Risheek Garrepalli, Roland Memisevic

机构 * Qualcomm AI Research（高通人工智能研究院） ； York University（约克大学） ； Vector Institute for AI（向量人工智能研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.LG

AI总结 提出Ego-MC-Bench基准评估视频LLM在烹饪场景中的实时干预能力，并构建Ego-CoMist反事实合成数据集提升小模型性能。

Comments The project page is available at https://apratimbh.github.io/livecookv2/

Understanding Key Features of Time Series Foundation Models from Epidemic Forecasting

从流行病预测理解时间序列基础模型的关键特征

Alireza Jafari, Judy Fox, Geoffrey C. Fox, Madhav Marathe, Aniruddha Adiga

机构 * Department of Computer Science, School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院计算机科学系） ； School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Biocomplexity Institute, University of Virginia（弗吉尼亚大学生物复杂性研究所） ； Department of Electrical and Computer Engineering, School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院电气与计算机工程系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 系统评估多种时间序列模型在流感预测中的表现，发现混合专家模型性能最优，预训练在长时域提升显著，而LLM方法效果较差。

Comments 15 pages, 2 figures, 9 tables

HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining

HumanScale: 以自我为中心的人类视频在具身预训练中可超越真实机器人数据

Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, Ye Huang, Bo Liang, Shukai Gong, Jiankai Tu, Xiaotian Tang, Jiaxin Li, Kaiqi Chen, Duomin Wang, Yuqi Wang, Bingyi Kang, Eric Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Wojciech Matusik, Tat-Seng Chua, Daquan Zhou

机构 * PKU（北京大学） ； NUS（新加坡国立大学） ； MIT（麻省理工学院） ； UCSB（加州大学圣塔芭芭拉分校） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文通过系统比较发现，经过精心设计的过滤和标注流程，以自我为中心的人类视频在具身基础模型预训练中不仅可行，而且性能优于遥操作真实机器人数据，验证了“预训练于人类视频+少量机器人数据适配”的可扩展范式。

Comments Github: https://github.com/DAGroup-PKU/HumanNet/

Towards Engineering Scaling Laws with Pretraining Data Composition

迈向基于预训练数据组成的工程化缩放定律

Jan-Lucas Uslu, Kevin Greif, Daniel Whiteson, Benjamin Nachman

机构 * Department of Applied Physics（应用物理系） ； Stanford University（斯坦福大学） ； Department of Physics and Astronomy（物理与天文学系） ； University of California, Irvine（加州大学尔湾分校） ； SLAC National Accelerator Laboratory（SLAC国家加速器实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究通过工程化预训练数据组成（增加多样性和与下游任务的对齐）来改变粒子物理中神经网络的缩放行为，使其更偏向数据扩展而非模型扩展。

IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources

IHUBERT: 面向波斯语资源的基于向量的语义去重与领域平衡预训练

Arash Ghafouri, Mahdi Firouzmandi, Hossein Saberi, Mohammad Reza Hasani Ahangar

机构 * Department of Artificial Intelligence and Cognitive Science, Imam Hossein Comprehensive University（人工智能与认知科学系，伊玛目·侯赛因综合大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出IHUBERT，一个基于RoBERTa-base的波斯语预训练模型，通过多阶段预处理（包括基于向量数据库的语义去重和领域平衡）在45GB语料上训练，在多项NLU任务上取得领先结果，尤其抽取式问答表现突出。

Reinforcement Learning Foundation Models Should Already Be A Thing

强化学习基础模型本应已经存在

Abdelrahman Zighem, Jill-Jênn Vie

机构 * École normale supérieure de Paris, PSL University, Paris, France（巴黎高等师范学院，PSL大学，法国巴黎） ； Soda team, Inria Saclay, Palaiseau, France（Soda团队，法国国家信息与自动化研究所萨克雷中心，法国帕莱索） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出通过合成MDP构建强化学习基础模型，利用固定大小的充分统计量使注意力架构适用，在线和离线实验均优于传统算法。

MixProLAP: Mixture-Induced Uncertainty Modeling for Probabilistic Language-Audio Pretraining

MixProLAP：混合诱导的不确定性建模用于概率性语言-音频预训练

Yu Nakagome, Jaesong Lee, Soo-Whan Chung

机构 * LINE WORKS Corporation（LINE WORKS公司） ； NAVER Cloud Corporation（NAVER Cloud公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出概率性音频-语言预训练框架MixProLAP，通过混合音频-文本对模拟重叠声音，建模多对多对应不确定性，并引入多级包含损失，在音频-文本检索中优于确定性基线。

Comments Accepted to Interspeech 2026

Qiskit Code Migration with LLMs

使用大语言模型进行Qiskit代码迁移

Jose Manuel Suarez, Luis Mariano Bibbo, Joaquin Bogado, Alenandro Fernandez

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对量子软件开发套件版本演进导致的代码维护问题，提出结合大语言模型与检索增强生成（RAG）的混合方法，利用自动生成的迁移场景分类体系引导模型，实现Qiskit代码跨版本自动迁移，有效减少幻觉并提升迁移建议质量。

The Significance of Style Diversity in Annotation-Free Synthetic Data Generation

无标注合成数据生成中风格多样性的重要性

Zahra Abbasiantaeb, Zeno Belligoli, Omar Essam, Mohammad Aliannejadi

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出无需人工标注的对话生成框架，利用主题和风格属性增强多样性，并设计两种后处理风格化模型，实验表明风格多样性比主题多样性更关键，性能可达人工标注数据的93.3%。

Repository-Level Solidity Code Generation with Large Language Models: From Prompting to Fine-Tuning

基于大语言模型的仓库级Solidity代码生成：从提示到微调

Shi Chen, Rongcun Wang, Yuan Tian, Xiaoyuan Xie, Wei Song, Rubing Huang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)

AI总结 提出SolidityBench基准和SolidityScore指标，评估多种LLM方法在仓库级Solidity代码生成中的表现，发现监督微调最有效。

Comments 33 pages

LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning

基于上下文学习的音频情感分类的LLM合成真实标签生成

Qing Huang, Pooja Pol, Jianing Zhang

机构 * School of Business, Technical University of Applied Sciences Augsburg（应用技术大学阿沙芬堡商学院） ； Data Science und Autonome Systeme Technologietransferzentrum (TTZ)（数据科学与自主系统技术转移中心（TTZ）） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出利用大语言模型（LLM）和上下文学习（ICL）从多用户VR环境的流式语音数据中自动生成情感相关合成真实标签，解决团队协作状态标注难题。

Comments https://icaiit.org/paper.php?paper=14th_ICAIIT_2/3_9

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

大语言模型的心理特征很大程度上是测量假象

Jelena Meyer, David Garcia, Dirk U. Wulff

机构 * Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所） ； University of Konstanz（康斯坦茨大学） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； University of Basel（巴塞尔大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过心理测量框架分析56个指令微调LLM，发现模型间差异主要源于方向性响应偏差而非特质，该偏差解释了81-90%的变异，且可通过题目选择操控，表明LLM心理特征是测量假象。

From Drift to Coherence: Stabilizing Beliefs in LLMs

从漂移到一致：稳定LLM中的信念

SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

机构 * Department of Statistics, Seoul National University ； Korea Advanced Institute of Science \& Technology ； Department of AI, Kookmin University ； University of Hong Kong 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究LLM在多项选择问答中的信念漂移问题，提出提示式预测重采样（PPR）方法，发现信念过程会自稳定并收敛，进而提出种子答案提示策略和自一致性损失以加速稳定并提高预测一致性。

sft-wick: A formalism and package for Feynman-diagram expansion and evaluation in stochastic field theories

sft-wick: 随机场理论中费曼图展开与评估的形式化与软件包

Zheng Zhang

专题命中 指令微调 ：SFT(title,title_cn)

AI总结 提出sft-wick开源Python包，通过路径积分形式化随机场动力学，自动枚举拓扑不同的费曼图并计算代数系数和数值积分，验证与Langevin模拟一致。

Comments 32 pages, 5 figures, 2 tables. Submitted to Computer Physics Communications. The sft-wick package is open source and available at https://github.com/StatFieldTheory/sft-wick

Techniques for Peak Memory Reduction for LoRA Fine-tuning of LLMs on Edge Devices

边缘设备上LLM LoRA微调峰值内存降低技术

Hassan Dbouk, Matthias Reisser, Prathamesh Mandke, Likhita Arun Navali, Christos Louizos

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对边缘设备上LLM LoRA微调的内存瓶颈，提出四种互补技术（量化、检查点、softmax近似、logits掩码），在Llama-3.2 3B和Qwen-2.5 3B上实现高达26倍和28倍的峰值内存降低。

Comments Hassan Dbouk and Matthias Reisser contributed equally to this work

Exploring Multi-Modal Large Language Models and Two-Stage Fine-Tuning for Fashion Image Retrieval

探索多模态大语言模型与两阶段微调在时尚图像检索中的应用

Nguyen Cao Hoang, Hoang Bui Le, Nam Vo Hoang, Trung-Nghia Le

机构 * University of Science, VNU-HCM（胡志明市国家大学下属理科大学） ； Vietnam National University, Ho Chi Minh（胡志明市国家大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出融合多模态大语言模型（LLaVA）生成属性感知三元组，并采用两阶段微调策略增强对比学习，以解决时尚图像检索中标注数据稀缺和负采样简单的问题。

Comments SOICT 2025

Online Dynamic Batching with Formal Guarantees for LLM Training

面向LLM训练的具有形式保证的在线动态批处理

Dian Li, Zekun Wang, Yaoru Wang, Jiahong Yan

机构 * Tencent（腾讯） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。

Comments 29 pages, 3 figures, 21 tables

Timage: A Generative Text-in-Image Paradigm for Fine-Tuning Vision-Language Models

Timage: 一种用于微调视觉语言模型的文本嵌入图像生成范式

Yifeng Wu, Huimin Huang, Ruiluo Wu, Chunyi Lin, Guanhua Chen, Xian Wu, Wang Song, Ruize Han

机构 * Fudan University（复旦大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Tencent Jarvis Lab（腾讯贾维斯实验室） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)

AI总结 提出Timage范式，通过约束薛定谔桥将查询文本作为排版覆盖层嵌入图像，以显式空间锚点引导模型关注，在不侵蚀骨干能力前提下提升细粒度空间推理性能。

Comments ECCV

Calibration Without Comprehension: Diagnosing the Limits of Fine-Tuning LLMs for Vulnerability Detection in Systems Software

无理解的校准：诊断微调大语言模型在系统软件漏洞检测中的局限性

Arastoo Zibaeirad, Marco Vieira

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出CWE-Trace框架，通过834个Linux内核样本和两个诊断指标（DFI和HDD）评估LLM漏洞检测能力，发现数据污染无实质帮助，微调仅改变输出阈值而非决策策略，模型缺乏真正的安全推理能力。

Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

训练、检索，还是两者兼用？针对安大略省住宅租赁法的正确法定引用的四组头对头比较

Ali Asaria, Tony Salomone, Deep Gandhi

机构 * Transformer Lab 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.LG

AI总结 研究自诉租户、房东和帮助台工作人员如何获得正确的法定引用，通过四组实验比较微调、检索及混合方法，发现SFT+RAG混合模型在精确匹配上得分最高且无幻觉引用。

FloatDoor: Platform-Triggered Backdoors in LLMs

FloatDoor: 大语言模型中的平台触发后门

Nils Loose, Jonas Sander, Felix Mächtle, Thomas Eisenbarth

机构 * University of Luebeck（吕贝克大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出FloatDoor，首个输入无关、平台触发的后门攻击，利用浮点运算平台差异，通过两个轻量LoRA适配器在目标平台触发恶意行为，同时保持模型正常效用。

Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families

可操作的激活方向：检测和缓解跨语言模型家族的突发性对齐失调

Abdul Rafay Syed

机构 * Universität des Saarlandes（萨尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 通过差分均值方向在最终层实现99.6%的对齐/失调分离，因果干预将代码泄露降低21-51点；跨架构迁移虽有效但缺乏特异性，揭示了两层特异性结构。

Comments 12 pages, 2 figures

From Efficiency to Leakage -- Privacy Backdoor in Federated Language Model Fine-Tuning

从效率到泄露——联邦语言模型微调中的隐私后门

Shanghao Shi, Chaoyu Zhang, Heng Jin, Yang Xiao, Yevgeniy Vorobeychik, William Yeoh, Ning Zhang, Y. Thomas Hou, Wenjing Lou

专题命中 指令微调 ：language model(title,abstract)

AI总结 提出NeuroImprint攻击，恶意参数服务器在参数高效微调中植入隐私后门，通过为每个样本分配独立神经元并限制单次更新，实现高保真重建训练文本。

Exploring Pre-training Benefits on Phoneme Addition through Fine-tuning in Speech Synthesis

探索预训练在语音合成中通过微调对音素添加的益处

Masato Murata, Koichi Miyazaki, Tomoki Koriyama, Tomoki Toda

机构 * CyberAgent, Japan（日本CyberAgent公司） ； Nagoya University, Japan（日本名古屋大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)

AI总结 研究预训练模型在微调过程中添加新音素时的表现，发现预训练主要提升自然度，但对新音素添加的益处有限。

Comments Accepted by INTERSPEECH 2026

Predicting Mergeability of Parameter-Efficient Fine-Tuning Updates

预测参数高效微调更新的可合并性

Lin Tang, Wei Zhang, Jing Li, Hongyu Chen, Ming Zhao, Yuxuan Wang

机构 * Sichuan University（四川大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 提出MergeProbe，通过训练初期信号预测LoRA适配器的可合并性，在MERGE-PEFT基准上实现最佳平均和最差保留性能。

Which Pairs to Compare for LLM Post-Training?

LLM后训练中应比较哪些对？

Jiangze Han, Vineet Goyal, Will Ma

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究偏好后训练中如何选择最具信息量的比较对，提出基于采样设计的比较策展方法，通过DPO训练的理论分析给出优化准则，实验证明能提升样本效率。

Your Mouse and Eyes Secretly Leak Your Preference: LLM Alignment using Implicit Feedback from Users

你的鼠标和眼睛悄悄泄露你的偏好：利用用户隐式反馈进行LLM对齐

Haw-Shiuan Chang, Jeffrey Gomez, Mehul Patwari, Aryan Sajith, Hamed Zamani

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； York University（约克大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对显式反馈稀缺的问题，提出利用鼠标轨迹和眼动数据等隐式反馈训练奖励模型，将文本奖励模型准确率从55%提升至64%，并显著提高DPO对齐后响应质量。