语言大模型 / LLM

Understanding Large Language Models

理解大型语言模型

Yannik Keller, Thomas Eisenmann

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文综述大型语言模型（LLM）的机制、涌现能力及与人类认知的关系，通过分析注意力机制、符号推理、心智理论等证据，探讨LLM是否真正理解语言，并反对过度简化的人机认知差异观点。

Comments 25 pages, 1 figure

The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

LLM预测的局限性：冲突区域间的参数化知识差距

Poli Nemkova

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 研究发现LLM在冲突预测中无法区分稳定与升级期，对低覆盖地区预测为总是升级，对高覆盖地区预测为从不升级，性能低于简单逻辑回归模型。

SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework

SEFORA：学生论文反馈语料库及LLM反馈评估框架

Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 为解决大规模写作反馈中缺乏真实课堂反馈语料和评估方法的问题，构建了SEFORA语料库和UniMatch评估框架，实验表明LLM生成的反馈与教师反馈一致性低（F1≤0.4）。

Comments Under review for EMNLP 2026

CausalMix: Data Mixture as Causal Inference for Language Model Training

CausalMix: 数据混合作为语言模型训练的因果推断

Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Jun Zhou, Yujun Wang, Biqing Huang

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CausalMix框架，将数据混合优化视为因果推断问题，通过条件平均处理效应估计最优混合比例，在7B模型上提升多任务性能，并具备可解释性。

Comments 22 pages, 3 figures

Prompt Optimization for User Simulation in Conversational Recommender Systems: A Multi-Objective Framework

对话推荐系统中用户模拟的提示优化：一个多目标框架

Nipun B Nair, Tongtong Wu, Weiqing Wang

机构 * Monash University（莫纳什大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出多目标框架自动优化LLM提示，以生成更真实、多样化的用户模拟行为，缓解对话推荐系统中的评估与数据获取难题。

Comments to be published in 2026 IEEE 42nd International Conference on Data Engineering Workshops (ICDEW)

Heuresis: Search Strategies for Autonomous AI Research Agents Across Quality, Diversity and Novelty

Heuresis: 自主AI研究智能体在质量、多样性和新颖性上的搜索策略

Antonis Antoniades, Deepak Nathani, Ritam Saha, Alfonso Amayuelas, Ivan Bercovich, Zhaotian Weng, Vignesh Baskaran, Kunal Bhatia, William Yang Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Hexo AI 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出Heuresis框架，将研究流程抽象为通用原语，实现开放科学探索；在三个领域评估六种搜索策略，发现完全新颖的想法罕见且无法达到最高性能，揭示了当前策略无法扩展质量-新颖性前沿的挑战。

Comments 14 pages main text, 82 pages total including appendix; 38 figures, 4 tables

Rosetta: Composable Native Multimodal Pretraining

Rosetta: 可组合的原生多模态预训练

Xiangyue Liu, Zijian Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Ping Tan

机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Rosetta框架，通过动量锚定正交投影（MAOP）实现无损模态扩展，解决多模态预训练中的灾难性遗忘和梯度冲突问题。

SLIM-RL: Risk-Budgeted Random-Masking RL for Diffusion LLMs Without Trajectory Slicing

SLIM-RL: 无需轨迹切分的扩散LLM风险预算随机掩码强化学习

Ruikang Zhao, Zhenting Wang, Han Gao, Ligong Han

机构 * Technical University of Denmark（丹麦技术大学） ； MBZUAI Institute of Foundation Models（穆罕默德·本·扎耶德人工智能大学基础模型研究所） ； Iowa State University（爱荷华州立大学） ； Red Hat AI Innovation（红帽人工智能创新实验室） ； MIT–IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） 纠错

专题命中 预训练与数据 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SLIM-RL方法，通过τ预算解码器控制每步提交风险，结合无迹随机掩码目标和自适应方差缩减技术，在不重构训练轨迹的情况下匹配或超越现有轨迹感知方法，在数学和代码任务上取得显著提升。

Comments 17 pages

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

Prototype Language Models

原型语言模型

Dan Ley, Giang Nguyen, Himabindu Lakkaraju, Julius Adebayo

机构 * Harvard University（哈佛大学） ； Guide Labs Inc.（Guide Labs公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出原型语言模型架构PRISM，通过稀疏非负原型混合进行预测，在保持下游精度的同时实现快速训练数据归因和可解释性。

Libra: Training the Environment for Agentic Information Retrieval

Libra: 为智能信息检索训练环境

Xuan Zhao, Andy Chiu, Gengyu Wang

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出Libra框架，通过引入可变目录和LLM驱动优化循环，自动改进代码仓库的索引结构，提升代码定位准确率，并实现跨模型和问题的零样本迁移。

MultiSynt/MT: Trillion-Token Multi-Parallel Pre-Training Data Translated Across 36 Languages

MultiSynt/MT：跨36种语言翻译的万亿Token多平行预训练数据

Maximilian Idahl, Jörg Tiedemann, Sampo Pyysalo, David Salinas, Tomasz Galica, Shenbin Qian, Tudor Nicolae Mateiu, Zihao Li, Anna Lokrantz, Fedor Vitiugin, André F. T. Martins, Jenna Kanerva, Filip Ginter, Matthias Lindemann, Tim Isbister, Birger Moell, Jonas Lindh, Jan Hajič, Jenia Jitsev, Andrey Kutuzov, Stephan Oepen, Gema Ramírez-Sánchez

机构 * ellamind ； Leibniz University Hannover（莱布尼茨汉诺威大学） ； University of Helsinki（赫尔辛基大学） ； University of Turku（图尔库大学） ； ELLIS Institute Tübingen（ELLIS 图宾根研究所） ； Prior Labs ； University of Oslo（奥斯陆大学） ； Prompsit Language Engineering（Prompsit 语言工程公司） ； AI Sweden ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico（高等技术学院） ； TransPerfect ； Charles University（查理大学） ； Ontocord ； LAION ； Juelich Supercomputing Center (JSC), Research Center Juelich (FZJ)（于利希超级计算中心 (JSC), 于利希研究中心 (FZJ)） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出MultiSynt/MT，一个覆盖36种欧洲语言、约4.8万亿token的合成平行语料库，通过翻译1000亿高质量token生成，使参考LLM在减少72%预训练token下达到原生数据基线性能，并发现标准基准测试的评估盲点。

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

窃取补丁大小：对抗性操纵视觉-语言模型

Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 提出一种黑盒模型窃取攻击，通过任务级侧信道推断视觉语言模型的补丁大小和预处理流程，并利用泄露信息实现预处理感知的迁移攻击和模型定向对抗操纵。

Journal ref ICML 2026

Stop Hand-Holding Your Coding Agent: Engineering the Loops that Replace Step-by-Step Prompting

停止手把手指导你的编码智能体：设计替代逐步提示的循环机制

Sandeco Macedo

专题命中 预训练与数据 ：prompting(title,abstract)

AI总结 本文提出循环规范作为替代逐步提示的编码智能体新范式，定义其结构、分类与设计原则，并通过真实语料分析验证其成熟度。

The State-Prediction Separation Hypothesis

状态-预测分离假说

Giovanni Monea, Nathan Godey, Kianté Brantley, Yoav Artzi

机构 * Cornell University（康奈尔大学） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出状态-预测分离假说，通过双流Transformer解耦状态存储与下一词预测，在预训练中提升数据与计算效率，下游任务平均提升2-3个百分点。

Comments Preprint

Device Passport: Enabling Spatio-Temporal Pretrained Models to Generalize Across Input Layouts

设备护照：使时空预训练模型能够跨输入布局泛化

Geeling Chau, Ran Liu, Juri Minxha, Wenhui Cui, Erdrin Azemi, Ellen L. Zippi, Behrooz Mahasseni, Christopher M. Sandino

机构 * California Institute of Technology（加州理工学院） ； Apple（苹果公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对新设备布局缺乏大规模数据集的问题，提出Device Passport通道嵌入技术，通过功能活动与元数据混合建模，实现跨布局迁移，在耳部脑电图等任务中优于基线。

Comments Workshop on Structured Data for Health, ICML 2026

RetailSMV: Exocentric vs. Egocentric Adaptation of Foundation Video World Models in Retail

RetailSMV：零售场景中基础视频世界模型的外视角与内视角适应

Amirreza Rouhi, Rajat Aggarwal, Parikshit Sakurikar, Anoop M. Namboodiri, Sashi P. Reddi

机构 * DreamVu 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 研究零售场景下基础视频世界模型的外视角与内视角适应，发现仅用外视角数据训练的模型在多项指标上优于或等同于联合训练。

Does Your ViT Still Need U-Net for Segmentation?

你的ViT做分割还需要U-Net吗？

Xin Li, Wenhui Zhu, Xuanzhao Dong, Xiwen Chen, Yanxi Chen, Yujian Xiong, Hao Wang, Oana M. Dumitrascu, Yalin Wang

机构 * Arizona State University（亚利桑那州立大学） ； Clemson University（克莱姆森大学） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文探究现代ViT骨干网络下医学图像分割是否仍需U-Net解码器，并提出基于查询的纯编码器分割框架EoSeg，在多个数据集上取得优异性能。

Comments 8 pages, 4 figures

Persona Without Substrate: Regime-Dependence and the LLM Individuation Problem

无基座的人格：体制依赖性与LLM个体化问题

Shuaizhi Cheng

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 通过实验揭示LLM个体化问题中跨体制共指假设的漏洞，提出体制索引个体化框架，将表征内容的身份单位视为（载体，体制）对。

Comments 30 pages, 2 figures, 1 table. Replies to Beckmann & Butlin (arXiv:2604.17031)

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

智能体能否泛化到开放世界？揭示工具使用中静态训练的脆弱性

Song-Lin Lv, Weiming Wu, Rui Zhu, Zi-Jian Cheng, Lan-Zhe Guo

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM智能体在真实场景中因查询、工具集和交互动态变化而性能下降的问题，形式化定义了开放世界工具使用问题，构建了四层层次的环境偏移框架，并通过实验揭示了监督微调和强化学习训练智能体在面对开放环境偏移时的脆弱性，提出了扰动增强微调策略以提升鲁棒性。

Comments Accepted by ICML 2026

M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化

Haiwen Li, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；prompting(abstract)

AI总结 提出M2Note，一种无需训练的持续演化框架，通过将失败轨迹转化为可编辑的笔记，利用多模态检索增强生成在推理时引导模型，避免重复错误，并在多个基准上提升性能。

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

ZO-Act: 通过一次性激活信息低秩子空间实现高效零阶微调

Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

机构 * University at Albany, SUNY（纽约州立大学奥尔巴尼分校） ； IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出ZO-Act方法，利用输入激活构建固定低秩子空间，仅优化系数矩阵，降低扰动维度并支持Adam优化器，实现高效零阶微调，在多个LLM上取得一致提升。

AMALIA-VL: A Native European Portuguese Open-Source Vision and Language Model

AMALIA-VL: 一个原生欧洲葡萄牙语开源视觉与语言模型

Diogo Glória-Silva, João Cardeira, Manuel Letras da Luz, Afonso Simplício, Gonçalo Vinagre, Diogo Tavares, Rafael Ferreira, Inês Calvo, Inês Vieira, David Semedo, João Magalhães

机构 * NOVA School of Science and Technology（NOVA科学与技术学校） ； NOVA LINCS 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；preference optimization(abstract)

AI总结 针对欧洲葡萄牙语缺乏开源多模态模型的问题，提出AMALIA-VL，通过三阶段训练和葡萄牙语中心数据混合，建立强基线并开源所有资源。

StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning

StochasT：基于随机轮次深度的视觉指令微调学习

Yuan Qing, Chengzhi Mao, Boqing Gong

机构 * Boston University（波士顿大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对视觉指令微调中多轮训练与单轮测试不匹配的问题，提出StochasT方法，通过随机分组语言任务为不同大小的轮次深度，增强模型在单轮和多轮场景下的鲁棒性。

Comments Accepted to ECCV 2026. Project page and code: https://yuanqing-ai.github.io/StochasT

Anchored, Not Graded: Vision-Language Models Fail at Slant-from-Texture Perception

锚定而非分级：视觉-语言模型在纹理倾斜感知中失败

Qian Zhang, Michal Golovanevsky, Fulvio Domini, James Tompkin

机构 * Brown University（布朗大学） ； Harvard University（哈佛大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)

AI总结 研究视觉-语言模型（VLM）在纹理倾斜感知任务中的表现，发现零样本和上下文提示均产生锚定失败，仅预测少数离散角度，监督微调部分缓解但残留锚定，表明问题在于表示到输出的语言接口无法分级表达。

Comments 15 pages. Accepted at ECCV 2026

The Model Organism Lottery: Model Organism Interpretability Strongly Depends on Training Methodology

模式生物彩票：模式生物可解释性强烈依赖于训练方法

Andrzej Szablewski, Gabriel Konar-Steenberg, Raffaello Fornasiere, Nikita Menon, Stefan Heimersheim

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究通过七种训练方法构建54个模式生物，发现模式生物可解释性强烈依赖于训练目标、目标行为、模型架构和数据生成流程，集成训练通常比事后方法更不可解释，质疑当前模式生物作为可解释性代理的有效性。

Comments 9 pages, 9 figures, references and appendices

EO-VGGT: Orbital Ray-Conditioned 3D Foundation Models for Satellite Multi-View Reconstruction

EO-VGGT：用于卫星多视角重建的轨道光线条件化3D基础模型

Qiyan Luo, Yingdong Pi, Lekang Wen, Jie Yang, Xiaoyu Wang, Haiming Zhang, Mi Wang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Hubei Luojia Laboratory（湖北珞珈实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对卫星遥感中透视模型与轨道几何不匹配的问题，提出EO-VGGT框架，通过几何相关约束选择、传感器射线编码器和射线指向适配器，实现冻结视角驱动模型适应轨道观测，提升多视角卫星3D重建质量。

Comments This article is submitted to journal and under review

Where Am I? Semantic Map Grounding via Vision-Language Models for Multi-Modal Localization

我在哪里？基于视觉-语言模型的语义地图定位用于多模态定位

Suraj Borate, Aarav Shah, Madhu Vadali

机构 * IIT Gandhinagar（印度理工学院甘地讷格尔分校） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 将机器人定位重构为语义推理任务，使用微调的Qwen2.5-VL-7B模型融合摄像头、LiDAR和语义地图预测位姿，在室内数据集上达到98.23%位置精度，并展现出跨模态互补性和对新场景的泛化能力。

Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations

以正确的方式正确：结合可验证奖励和人类演示的LM训练

Mehul Damani, Isha Puri, Idan Shenfeld, Jacob Andreas

机构 * MIT EECS（麻省理工学院电气工程与计算机科学系） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出对抗生成器-判别器框架，在可验证奖励基础上加入人类演示信号，同时优化任务准确性和非可验证属性，在代码修复、故事生成等任务中提升人类相似度并减少奖励黑客行为。

Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

Fora: 从权重空间到函数空间的保护在保持能力的微调中

Rui Zhou, Tianci Xie

机构 * Dalian University of Technology（大连理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出函数空间保护方法FORA，通过输入激活协方差的主方向投影，在微调中保留模型原有能力，实验表明优于权重空间投影。