语言大模型 / LLM

Understanding Large Language Models

理解大型语言模型

Yannik Keller, Thomas Eisenmann

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文综述大型语言模型（LLM）的机制、涌现能力及与人类认知的关系，通过分析注意力机制、符号推理、心智理论等证据，探讨LLM是否真正理解语言，并反对过度简化的人机认知差异观点。

Comments 25 pages, 1 figure

Large language model-enabled automated data extraction for concrete materials informatics

基于大语言模型的混凝土材料信息学自动化数据提取

Zhanzhao Li, Kengran Yang, Qiyao He, Kai Gong

机构 * Department of Civil and Environmental Engineering, Rice University（Rice大学土木与环境工程系） ； Rice Advanced Materials Institute, Rice University（Rice大学先进材料研究所） ； Ken Kennedy Institute, Rice University（Rice大学肯尼迪研究所） ； Independent researcher（独立研究员） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出一种基于大语言模型的自动化数据提取方法，用于从非结构化科学文献中提取混凝土材料数据，构建了最大的开放实验室数据库，提升了材料信息学的数据基础设施发展。

Comments 21 pages, 5 figures, 1 table

The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

LLM预测的局限性：冲突区域间的参数化知识差距

Poli Nemkova

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 研究发现LLM在冲突预测中无法区分稳定与升级期，对低覆盖地区预测为总是升级，对高覆盖地区预测为从不升级，性能低于简单逻辑回归模型。

SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework

SEFORA：学生论文反馈语料库及LLM反馈评估框架

Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 为解决大规模写作反馈中缺乏真实课堂反馈语料和评估方法的问题，构建了SEFORA语料库和UniMatch评估框架，实验表明LLM生成的反馈与教师反馈一致性低（F1≤0.4）。

Comments Under review for EMNLP 2026

CausalMix: Data Mixture as Causal Inference for Language Model Training

CausalMix: 数据混合作为语言模型训练的因果推断

Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Jun Zhou, Yujun Wang, Biqing Huang

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CausalMix框架，将数据混合优化视为因果推断问题，通过条件平均处理效应估计最优混合比例，在7B模型上提升多任务性能，并具备可解释性。

Comments 22 pages, 3 figures

Prompt Optimization for User Simulation in Conversational Recommender Systems: A Multi-Objective Framework

对话推荐系统中用户模拟的提示优化：一个多目标框架

Nipun B Nair, Tongtong Wu, Weiqing Wang

机构 * Monash University（莫纳什大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出多目标框架自动优化LLM提示，以生成更真实、多样化的用户模拟行为，缓解对话推荐系统中的评估与数据获取难题。

Comments to be published in 2026 IEEE 42nd International Conference on Data Engineering Workshops (ICDEW)

Heuresis: Search Strategies for Autonomous AI Research Agents Across Quality, Diversity and Novelty

Heuresis: 自主AI研究智能体在质量、多样性和新颖性上的搜索策略

Antonis Antoniades, Deepak Nathani, Ritam Saha, Alfonso Amayuelas, Ivan Bercovich, Zhaotian Weng, Vignesh Baskaran, Kunal Bhatia, William Yang Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Hexo AI 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出Heuresis框架，将研究流程抽象为通用原语，实现开放科学探索；在三个领域评估六种搜索策略，发现完全新颖的想法罕见且无法达到最高性能，揭示了当前策略无法扩展质量-新颖性前沿的挑战。

Comments 14 pages main text, 82 pages total including appendix; 38 figures, 4 tables

Rosetta: Composable Native Multimodal Pretraining

Rosetta: 可组合的原生多模态预训练

Xiangyue Liu, Zijian Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Ping Tan

机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Rosetta框架，通过动量锚定正交投影（MAOP）实现无损模态扩展，解决多模态预训练中的灾难性遗忘和梯度冲突问题。

SLIM-RL: Risk-Budgeted Random-Masking RL for Diffusion LLMs Without Trajectory Slicing

SLIM-RL: 无需轨迹切分的扩散LLM风险预算随机掩码强化学习

Ruikang Zhao, Zhenting Wang, Han Gao, Ligong Han

机构 * Technical University of Denmark（丹麦技术大学） ； MBZUAI Institute of Foundation Models（穆罕默德·本·扎耶德人工智能大学基础模型研究所） ； Iowa State University（爱荷华州立大学） ； Red Hat AI Innovation（红帽人工智能创新实验室） ； MIT–IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） 纠错

专题命中 预训练与数据 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SLIM-RL方法，通过τ预算解码器控制每步提交风险，结合无迹随机掩码目标和自适应方差缩减技术，在不重构训练轨迹的情况下匹配或超越现有轨迹感知方法，在数学和代码任务上取得显著提升。

Comments 17 pages

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

Prototype Language Models

原型语言模型

Dan Ley, Giang Nguyen, Himabindu Lakkaraju, Julius Adebayo

机构 * Harvard University（哈佛大学） ； Guide Labs Inc.（Guide Labs公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出原型语言模型架构PRISM，通过稀疏非负原型混合进行预测，在保持下游精度的同时实现快速训练数据归因和可解释性。

Libra: Training the Environment for Agentic Information Retrieval

Libra: 为智能信息检索训练环境

Xuan Zhao, Andy Chiu, Gengyu Wang

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出Libra框架，通过引入可变目录和LLM驱动优化循环，自动改进代码仓库的索引结构，提升代码定位准确率，并实现跨模型和问题的零样本迁移。

MultiSynt/MT: Trillion-Token Multi-Parallel Pre-Training Data Translated Across 36 Languages

MultiSynt/MT：跨36种语言翻译的万亿Token多平行预训练数据

Maximilian Idahl, Jörg Tiedemann, Sampo Pyysalo, David Salinas, Tomasz Galica, Shenbin Qian, Tudor Nicolae Mateiu, Zihao Li, Anna Lokrantz, Fedor Vitiugin, André F. T. Martins, Jenna Kanerva, Filip Ginter, Matthias Lindemann, Tim Isbister, Birger Moell, Jonas Lindh, Jan Hajič, Jenia Jitsev, Andrey Kutuzov, Stephan Oepen, Gema Ramírez-Sánchez

机构 * ellamind ； Leibniz University Hannover（莱布尼茨汉诺威大学） ； University of Helsinki（赫尔辛基大学） ； University of Turku（图尔库大学） ； ELLIS Institute Tübingen（ELLIS 图宾根研究所） ； Prior Labs ； University of Oslo（奥斯陆大学） ； Prompsit Language Engineering（Prompsit 语言工程公司） ； AI Sweden ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico（高等技术学院） ； TransPerfect ； Charles University（查理大学） ； Ontocord ； LAION ； Juelich Supercomputing Center (JSC), Research Center Juelich (FZJ)（于利希超级计算中心 (JSC), 于利希研究中心 (FZJ)） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出MultiSynt/MT，一个覆盖36种欧洲语言、约4.8万亿token的合成平行语料库，通过翻译1000亿高质量token生成，使参考LLM在减少72%预训练token下达到原生数据基线性能，并发现标准基准测试的评估盲点。

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

窃取补丁大小：对抗性操纵视觉-语言模型

Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 提出一种黑盒模型窃取攻击，通过任务级侧信道推断视觉语言模型的补丁大小和预处理流程，并利用泄露信息实现预处理感知的迁移攻击和模型定向对抗操纵。

Journal ref ICML 2026

Stop Hand-Holding Your Coding Agent: Engineering the Loops that Replace Step-by-Step Prompting

停止手把手指导你的编码智能体：设计替代逐步提示的循环机制

Sandeco Macedo

专题命中 预训练与数据 ：prompting(title,abstract)

AI总结 本文提出循环规范作为替代逐步提示的编码智能体新范式，定义其结构、分类与设计原则，并通过真实语料分析验证其成熟度。

The State-Prediction Separation Hypothesis

状态-预测分离假说

Giovanni Monea, Nathan Godey, Kianté Brantley, Yoav Artzi

机构 * Cornell University（康奈尔大学） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出状态-预测分离假说，通过双流Transformer解耦状态存储与下一词预测，在预训练中提升数据与计算效率，下游任务平均提升2-3个百分点。

Comments Preprint

Device Passport: Enabling Spatio-Temporal Pretrained Models to Generalize Across Input Layouts

设备护照：使时空预训练模型能够跨输入布局泛化

Geeling Chau, Ran Liu, Juri Minxha, Wenhui Cui, Erdrin Azemi, Ellen L. Zippi, Behrooz Mahasseni, Christopher M. Sandino

机构 * California Institute of Technology（加州理工学院） ； Apple（苹果公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对新设备布局缺乏大规模数据集的问题，提出Device Passport通道嵌入技术，通过功能活动与元数据混合建模，实现跨布局迁移，在耳部脑电图等任务中优于基线。

Comments Workshop on Structured Data for Health, ICML 2026

SleepLM: Natural-Language Intelligence for Human Sleep

SleepLM：人类睡眠的自然语言智能

Zongzhe Xu, Zitao Shuai, Eideen Mozaffari, Ravi S. Aysola, Rajesh Kumar, Yuzhe Yang

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出SleepLM系列睡眠语言基础模型，通过多模态对齐实现自然语言驱动的睡眠解释与交互，在零样本/少样本学习、跨模态检索等任务上超越现有方法。

Comments spotlight presentation

Journal ref Proceedings of the 43st International Conference on Machine Learning (ICML 2026)

ForAug: Mitigating Biases in Image Classification via Controlled Image Compositions

ForAug: 通过受控图像组合缓解图像分类中的偏差

Tobias Christian Nauen, Brian Moser, Federico Raue, Stanislav Frolov, Andreas Dengel

机构 * RPTU University Kaiserslautern-Landau（凯泽斯劳滕-兰道大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ForAug方法，通过将训练图像分解为前景和背景并重新组合，显式控制物体位置、尺度和背景，打破前景-背景相关性，在ImageNet上提升最高6%准确率，并减少捷径学习行为。

Comments v2: DeiT, ablation vs simple copy-paste, v4: more augmentation pipelines, robustness benchmarks, mask quality analysis

RetailSMV: Exocentric vs. Egocentric Adaptation of Foundation Video World Models in Retail

RetailSMV：零售场景中基础视频世界模型的外视角与内视角适应

Amirreza Rouhi, Rajat Aggarwal, Parikshit Sakurikar, Anoop M. Namboodiri, Sashi P. Reddi

机构 * DreamVu 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 研究零售场景下基础视频世界模型的外视角与内视角适应，发现仅用外视角数据训练的模型在多项指标上优于或等同于联合训练。

Does Your ViT Still Need U-Net for Segmentation?

你的ViT做分割还需要U-Net吗？

Xin Li, Wenhui Zhu, Xuanzhao Dong, Xiwen Chen, Yanxi Chen, Yujian Xiong, Hao Wang, Oana M. Dumitrascu, Yalin Wang

机构 * Arizona State University（亚利桑那州立大学） ； Clemson University（克莱姆森大学） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文探究现代ViT骨干网络下医学图像分割是否仍需U-Net解码器，并提出基于查询的纯编码器分割框架EoSeg，在多个数据集上取得优异性能。

Comments 8 pages, 4 figures

Maximizing Mutual Information Between Prompt and Response Improves LLM Performance With No Additional Data

最大化提示与响应之间的互信息无需额外数据即可提升LLM性能

Hyunji Nam, Haoran Li, Natasha Jaques

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出互信息偏好优化（MIPO）方法，通过对比数据增强构建偏好对，利用直接偏好优化最大化提示与响应间的点互信息，无需额外数据或外部监督即可提升LLM在个性化和可验证任务上的性能。

Comments International Conference on Machine Learning 2026

LuxIT: A Luxembourgish Instruction Tuning Dataset from Monolingual Seed Data

LuxIT：从单语种子数据生成的卢森堡语指令微调数据集

Julian Valline, Cedric Lothritz, Siwen Guo, Jordi Cabot

机构 * Luxembourg Institute of Science and Technology（卢森堡科学技术研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出LuxIT数据集，通过合成高质量卢森堡语指令-回答对，提升低资源语言LLM性能，实验显示在语言考试和NLP任务中均取得显著提升。

Persona Without Substrate: Regime-Dependence and the LLM Individuation Problem

无基座的人格：体制依赖性与LLM个体化问题

Shuaizhi Cheng

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 通过实验揭示LLM个体化问题中跨体制共指假设的漏洞，提出体制索引个体化框架，将表征内容的身份单位视为（载体，体制）对。

Comments 30 pages, 2 figures, 1 table. Replies to Beckmann & Butlin (arXiv:2604.17031)

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

智能体能否泛化到开放世界？揭示工具使用中静态训练的脆弱性

Song-Lin Lv, Weiming Wu, Rui Zhu, Zi-Jian Cheng, Lan-Zhe Guo

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM智能体在真实场景中因查询、工具集和交互动态变化而性能下降的问题，形式化定义了开放世界工具使用问题，构建了四层层次的环境偏移框架，并通过实验揭示了监督微调和强化学习训练智能体在面对开放环境偏移时的脆弱性，提出了扰动增强微调策略以提升鲁棒性。

Comments Accepted by ICML 2026

K-Merge: Online Continual Merging of Adapters for On-device Large Language Models

K-Merge: 面向设备端大语言模型的在线持续适配器合并

Donald Shenaj, Ondrej Bohdal, Taha Ceritli, Mete Ozay, Pietro Zanuttigh, Umberto Michieli

机构 * Samsung R&D Institute UK（三星英国研发中心） ； University of Pisa（比萨大学） ； University of Padova（帕多瓦大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对设备端大语言模型在线持续合并LoRA适配器的问题，提出一种无数据、计算高效的策略，在存储和计算受限下选择并合并新适配器，同时保持已有任务性能。

Comments ACL 2026 Main Conference, Long Paper (Oral)

Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

嘿，那是我的模型！引入链与哈希，一种大语言模型指纹识别技术

Mark Russinovich, Yanan Cai, Ahmed Salem

机构 * Microsoft（微软） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种基于链与哈希的LLM指纹识别框架，通过加密绑定提示与响应防止碰撞，并利用随机填充和元提示配置增强鲁棒性，实现可验证的所有权证明。

Comments Published at ICLR 2026

Middo: Model-Informed Dynamic Data Optimization for Enhanced LLM Fine-Tuning via Closed-Loop Learning

Middo: 通过闭环学习提升LLM微调的模型感知动态数据优化

Zinan Tang, Xin Gao, Qizhi Pei, Zhuoshi Pan, Mengzhang Cai, Jiang Wu, Conghui He, Lijun Wu

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出Middo框架，通过闭环学习动态优化数据，提升LLM微调效果，实验显示在多个基准上平均提升7.15%的准确率。

Comments Accepted by EMNLP 2025 (Main)

Journal ref EMNLP Main (2025) 6871-6891

REALM: Reliable Expertise-Aware Language Model Fine-Tuning from Noisy Annotations

REALM：从嘈杂标注中可靠地进行语言模型微调

Sajjad Ghiasvand, Mark Beliaev, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；分类 cs.LG

AI总结 REALM通过无监督学习同时学习模型参数和标注者专业能力评分，提升在噪声标注下的微调效果，实验显示其在多种任务和数据集上均优于传统方法。

M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化

Haiwen Li, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；prompting(abstract)

AI总结 提出M2Note，一种无需训练的持续演化框架，通过将失败轨迹转化为可编辑的笔记，利用多模态检索增强生成在推理时引导模型，避免重复错误，并在多个基准上提升性能。