语言大模型 / LLM

From Values to Tokens: An LLM-Driven Framework for Context-aware Time Series Forecasting via Symbolic Discretization

从数值到标记：一种基于符号离散化的LLM驱动上下文感知时间序列预测框架

Xiaoyu Tao, Shilong Zhang, Mingyue Cheng, Daoyu Wang, Tingyue Pan, Bokai Pan, Changqing Zhang, Shijin Wang

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； College of Intelligence and Computing（智能科学与计算学院） ； iFLYTEK Research（iFLYTEK研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出TokenCast框架，利用大语言模型通过符号离散化将连续时间序列转化为标记，与上下文文本对齐，实现上下文感知的预测，实验证明有效。

Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents

Insights Generator: LLM代理的系统级语料库追踪诊断

Akshay Manglik, Apaar Shanker, Kaustubh Deshpande, Jason Qin, Yash Maurya, Veronica Chatrath, Vijay S. Kalmath, Levi Lentz, Yuan Xue

机构 * Scale AI, Inc. 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Insights Generator，一种多智能体系统，通过在语料库中提出和测试假设来生成基于证据的洞察报告，从而系统性地诊断LLM代理的行为模式。

MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning

MLLM-LLaVA-FL：多模态大语言模型辅助联邦学习

Jianyi Zhang, Hao Frank Yang, Ang Li, Xin Guo, Pu Wang, Haiming Wang, Yiran Chen, Hai Li

机构 * Duke University（杜克大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland College Park（马里兰大学学院市分校） ； Lenovo Research（联想研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对联邦学习中数据异质性问题，提出MLLM-LLaVA-FL框架，利用多模态大语言模型，通过全球视觉文本预训练、客户端本地训练和服务器端全局对齐三个阶段，提升联邦学习性能。

Comments Accepted to WACV 2025

Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2025)

Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining

PMC-InterCPT：重新思考用于多模态持续预训练的医学交错数据

Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） ； InfiX.ai ； PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 针对医学多模态持续预训练中图像-文本对数据存在的上下文缺失、结构噪声等问题，提出PMC-InterCPT交错语料库，通过恢复缺失标题、清洗文本、重建交错样本及LLM监督过滤，结合模态感知重采样，有效提升医学与通用多模态性能。

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

选择还是投影？评估用于LLM训练数据解释的低维向量

Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

机构 * Faculty of Computer Science, University of Vienna（维也纳大学计算机科学系） ； UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院） ； Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学文学与文化研究系） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过对比选择和投影方法，发现有针对性的组件选择在LLM训练数据解释中更有效且计算更高效。

Comments KONVENS 2026. 9 pages

The Correctness Illusion in LLM-Generated GPU Kernels

LLM生成的GPU内核中的正确性错觉

Dipankar Sarkar

机构 * Arizona State University, USA（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 通过高精度CPU参考和操作模式感知的模糊测试，发现现有基准测试中基于固定形状的allclose检查无法检测LLM风格的转录错误，提出一种新协议并验证其有效性。

Comments 10 pages, 2 figures, LNCS format. Companion papers to follow on arXiv next week; IDs will be added in a v2 replace

Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications

医学领域大型语言模型中的记忆现象：普遍性、特征与影响

Anran Li, Lingfei Qian, Mengmeng Du, Yu Yin, Yan Hu, Zihao Sun, Yihang Fu, Hyunjae Kim, Erica Stutz, Xuguang Ai, Qianqian Xie, Rui Zhu, Jimin Huang, Yifan Yang, Siru Liu, Yih-Chung Tham, Lucila Ohno-Machado, Hyunghoon Cho, Zhiyong Lu, Hua Xu, Qingyu Chen

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨医学领域大型语言模型的记忆现象，分析其普遍性、特征及对医疗应用的影响。

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

Toward autocorrection of chemical process flowsheets using large language models

利用大型语言模型实现化工流程图的自动纠错

Lukas Schulze Balhorn, Marc Caballero, Artur M. Schweidtmann

机构 * Process Intelligence Research Group, Department of Chemical Engineering, Delft University of Technology（过程智能研究组，化学工程系，代尔夫特理工大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种基于大型语言模型的生成式AI方法，自动识别化工流程图中的错误并给出修正建议，在合成数据集上达到80%的top-1准确率。

Journal ref Computer Aided Chemical Engineering, Volume 53, 2024, Pages 3109-3114

BloomAPR: A Bloom's Taxonomy-based Framework for Assessing the Capabilities of LLM-Powered APR Solutions

BloomAPR：基于布鲁姆教育目标分类学的框架，用于评估大语言模型驱动的自动程序修复（APR）方案的能力

Yinghang Ma, Jiho Shin, Leuson Da Silva, Zhen Ming, Jiang, Song Wang, Foutse Khomh, Shin Hwei Tan

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 BloomAPR是基于布鲁姆教育目标分类学的动态评估框架，评估了ChatRepair、CigaR等APR方案在不同LLM及布鲁姆分类层级下的漏洞修复能力，发现其存在性能差异并指出基准演进的必要性。

Comments 22 pages, 7 figures, Manuscript submitted to ACM Transactions on Software Engineering and Methodology

In-Context Molecular Property Prediction with LLMs: A Blinding Study on Memorization and Knowledge Conflicts

基于LLM的上下文分子性质预测：关于记忆与知识冲突的盲化研究

Matthias Busch, Marius Tacke, Sviatlana V. Lamaka, Mikhail L. Zheludkevich, Christian J. Cyron, Christian Feiler, Roland C. Aydin

机构 * Institute for Continuum and Material Mechanics, Technical University of Hamburg（持续与材料力学研究所，汉堡技术大学） ； Institute of Material Systems Modeling, Helmholtz-Zentrum Hereon（材料系统建模研究所，海德堡-这里恩研究中心） ； Institute of Surface Science, Helmholtz-Zentrum Hereon（表面科学研究所，海德堡-这里恩研究中心） ； German Center for Artificial Intelligence (DFKI), Saarland, Germany（德国人工智能中心（DFKI），萨尔兰州，德国） ； Saarland University（萨尔兰州大学） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过渐进盲化实验和上下文样本量控制，研究LLM在分子性质预测中是否真正进行上下文回归，还是依赖记忆值，并分析预训练知识与上下文信息的冲突。

Curriculum-Guided Layer Scaling for Language Model Pretraining

用于语言模型预训练的课程引导层缩放

Karanpartap Singh, Neil Band, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 受人类认知发展启发，提出课程引导层缩放框架，通过渐进式层堆叠使数据难度与模型增长同步，在不同参数规模预训练并分层数据，提升模型泛化及零样本性能。

Comments Accepted to ICML 2026. Code available at https://github.com/su-karanps/cgls

Will Scaling Improve Social Simulation with LLMs?

扩展规模会改善基于LLM的社会模拟吗？

Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Open Athena（开放雅典娜） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM规模扩展对社会模拟保真度的影响，发现多数任务随规模提升而改善，但存在例外，如纵向预测和低资源领域改进缓慢。

Scaling Model and Data for Multilingual Machine Translation with Open Large Language Models

基于开放大语言模型的多语言机器翻译模型与数据扩展

Yuzhe Shang, Pengzhi Gao, Wei Liu, Jian Luan, Jinsong Su

机构 * School of Informatics, Xiamen University, China（厦门大学信息学院） ； MiLM Plus, Xiaomi Inc., Beijing, China（小米公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文提出MiLMMT-46模型，通过模型和数据扩展提升多语言机器翻译性能，超越现有SOTA模型并接近Google Translate等强 proprietary 系统。

Stabilizing Native Low-Rank LLM Pretraining

稳定原生低秩大语言模型预训练

Paul Janson, Edouard Oyallon, Eugene Belilovsky

机构 * Concordia University, Montreal, Canada（Concordia 大学） ； Mila Quebec AI Institute, Montreal, Canada（Quebec AI 研究院） ； Sorbonne University, CNRS , Paris , France（Sorbonne 大学） 纠错

专题命中 预训练与数据 ：LLM(title)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出Spectron方法，通过谱归一化实现稳定原生低秩大语言模型预训练，显著提升推理效率并优化计算资源使用。

Comments Accepted at ICML 2026

Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining

学习预测什么：下游引导的持续预训练任务设计

Shuqi Ke, Giulia Fanti

机构 * Department of ECE（电子工程系） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,summary_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出V-pretraining方法，通过轻量级任务设计器为无标签批次构建目标或视图，利用下游损失的一阶减少作为反馈，指导自监督更新，提升目标能力而不损害泛化。

Investigating Adversarial Robustness of Multi-modal Large Language Models

探究多模态大语言模型的对抗鲁棒性

Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

机构 * Mohamed Bin Zayed University of AI, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） ； Khalifa University, UAE（哈利法大学，阿联酋） ； Australian National University, Australia（澳大利亚国立大学，澳大利亚） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 通过系统研究多模态大语言模型的对抗鲁棒性，提出诊断性CLIP对齐协议预测鲁棒视觉编码器的迁移效果，并证明端到端多模态对抗训练能显著提升模型在强对抗攻击下的性能。

Journal ref The 37th British Machine Vision Conference (BMVC) 2026

EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors

EPSVec: 通过数据集向量实现高效且私密的合成数据生成

Amin Banayeeanzade, Qingchuan Yang, Deqing Fu, Spencer Hong, Erin Babinsky, Alfy Samuel, Anoop Kumar, Robin Jia, Sai Praneeth Karimireddy

机构 * Capital One 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出EPSVec，一种轻量级差分隐私方法，通过提取并净化数据集向量来引导LLM生成合成文本，在低数据场景下实现高保真度，且计算开销低。

Comments Accepted at ICML 2026. Camera-ready version

Exploring Autonomous Agentic Data Engineering for Model Specialization

探索用于模型专业化的自主智能体数据工程

Yujie Luo, Xiangyuan Ru, Jingsheng Zheng, Jingjing Wang, Yuqi Zhu, Jintian Zhang, Runnan Fang, Kewei Xu, Ye Liu, Zheng Wei, Jiang Bian, Zang Li, Shumin Deng

机构 * Zhejiang University（浙江大学） ； Platform and Content Group, Tencent（腾讯平台与内容部） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出自主智能体数据工程任务，让LLM作为自主数据工程师，通过端到端数据策划驱动模型专业化，实验显示GPT-5.2通过迭代数据适应使学生模型性能提升57.29%。

Comments Work in progress

How Does the Pretraining Distribution Shape In-Context Learning? A Fundamental Trade-Off

预训练分布如何塑造上下文学习？一个基本的权衡

Waïss Azizian, Ali Hasan

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 通过理论框架和实验，揭示预训练分布的统计特性（如重尾行为）在上下文学习中导致任务选择鲁棒性与泛化能力之间的基本权衡。

Comments 57 pages, 15 figures; to be presented at ICML 2026

Automated Attribution Graph Interpretation via Probe Prompting

通过探针提示实现自动化归因图解释

Giuseppe Birardi, Gonçalo Paulo

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出探针提示方法，利用跨提示激活签名将归因图特征分组为概念对齐的超节点，并通过因果干预验证标签，在Gemma-2-2B上实现100%的预测转向行为。

Comments 35 pages, 24 figures, 18 tables. Code and interactive demo available

Program Semantic Inequivalence Game with Large Language Models

基于大语言模型的程序语义不等价博弈

Antonio Valerio Miceli-Barone, Vaishak Belle, Ali Payani

机构 * University of Edinburgh（爱丁堡大学） ； Cisco Systems（思科系统） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于语义不等价博弈（SInQ）的方法，通过生成器与评估器智能体半对抗训练合成代码推理数据，在跨语言漏洞检测等基准上显著提升LLMs的代码语义理解能力。

An Alternative Trajectory for Generative AI

生成AI的另一种轨迹

Margarita Belova, Yuval Kansal, Yihao Liang, Jiaxin Xiao, Niraj K. Jha

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文提出通过构建领域特定超智能（DSS）来改进生成AI，利用符号抽象提升领域推理能力，避免LLM合成数据的模型崩溃问题，实现可持续发展。

MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding

MotionGPT-2：用于运动生成与理解的通用运动-语言模型

Yuan Wang, Di Huang, Yaqi Zhang, Wanli Ouyang, Jile Jiao, Xuetao Feng, Dan Xu, Shixiang Tang

机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Intime Department Store（Intime百货） ； Deepeleph ； HKUST（香港科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 提出MotionGPT-2，一种统一的大规模运动-语言模型，通过预训练大语言模型支持多模态控制条件，实现运动生成、描述和补全等多种任务，并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。

Do VLMs Align Better with Humans than LLMs during Natural Reading?

VLMs 在自然阅读中可能不会全局性地增强与人类的对齐性优于 LLMs

Jinzhou Wu, Zhengwu Ma, Jixing Li, Baoping Tang, Zitong Lu

机构 * Department of Mechanical and Vehicle Engineering, Chongqing University（重庆大学机械与车辆工程学院） ； Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学与翻译系） ； McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 通过严格文本设置比较LLM和VLM，发现多模态预训练在自然阅读中未带来全局性人类对齐优势，但视觉语义内容强的句子中VLM有选择性优势。

Comments 16 pages, 5 figures

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

数据受限的语言模型预训练：改进的正则化与缩放定律

Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

机构 * University of Michigan（密歇根大学） ； KAIST AI（韩国科学技术院人工智能研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 研究数据受限下语言模型预训练的正则化与缩放，提出掩码输入正则化（MIR）改善验证损失，并设计SoftQ缩放定律更准确拟合重复数据下的模型与数据规模交互。

LLMSynthor: Macro-Aligned Micro-Records Synthesis with Large Language Models

LLMSynthor: 使用大语言模型进行宏观对齐的微观记录合成

Yihong Tang, Menglin Kong, Junlin He, Tong Nie, Wei Ma, Lijun Sun

机构 * McGill University（麦吉尔大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出LLMSynthor方法，利用大语言模型作为非参数copula，通过迭代生成与目标宏观统计一致的微观记录，解决大规模细粒度数据收集困难的问题。

SeaAlert: Robust Severity Classification and LLM-Based Information Extraction for Noisy Maritime Distress Communications

SeaAlert：基于大型语言模型的海上 distress 通讯关键信息提取

Tomer Atia, Yehudit Aperstein, Alexander Apartsin

机构 * HIT-Holon Institute of Technology（希伯来理工学院） ； Afeka Academic College of Engineering（阿菲卡工程学院） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出SeaAlert框架，通过生成合成数据解决海上 distress 通讯标注数据不足问题，利用LLM生成多样化消息并模拟噪声环境，提升自动分析鲁棒性。

Comments 21 pages

Brain-DiT: A Universal Multi-state fMRI Foundation Model with Metadata-Conditioned Pretraining

Brain-DiT：一种基于元数据条件预训练的通用多状态fMRI基础模型

Junfeng Xia, Wenhao Ye, Xuanye Pan, Xinke Shen, Mo Wang, Quanying Liu

机构 * Department of Biomedical Engineering, Southern University of Science and Technology, China（南方科技大学生物医学工程系，中国） ； School of Biomedical Engineering, Shenzhen University, China（深圳大学生物医学工程学院，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 提出Brain-DiT，一种基于扩散Transformer和元数据条件预训练的通用多状态fMRI基础模型，在24个数据集上预训练，通过生成式预训练学习多尺度表示，在7个下游任务中优于重建和对齐方法。

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything：利用噪声异构源扩展度量深度预训练

Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

机构 * Li Auto Inc（李自动公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 研究针对度量深度估计扩展难题，提出MetricAnything框架，通过随机掩码创建稀疏度量提示解耦空间推理与偏差，用多样3D数据预训练，在多任务中表现出色，推动度量感知发展。

Comments Accepted to ECCV 2026. Project Page: https://metric-anything.github.io/metric-anything-io/