语言大模型 / LLM

Unraveling Syntax: Language Modeling and the Substructure of Grammars

解析句法：语言建模与语法的子结构

Laura Ying Schulz, Daniel Mitropolsky, Tomaso Poggio

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究语言模型在上下文无关语法子结构上的学习行为，证明损失函数在顶层子语法上线性递归，并发现参数化模型并行学习子语法，子语法预训练能提升小模型性能并改善内部表征。

Comments Equal contribution by LYS and DM. Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

FOLD: Fuzzy Online Deduplication for Very Large Evolving Datasets via Approximate Nearest Neighbor Search

FOLD: 面向超大规模演化数据集的模糊在线去重方法（基于近似最近邻搜索）

Nelson Bore, Pritish Mishra, Constantin Adam, Eyal de Lara, Oana Balmau

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出FOLD系统，利用增量更新的HNSW索引和位图表示改进Jaccard相似度计算，实现高召回率和高吞吐量的在线模糊去重。

LLM-based Embeddings: Attention Values Encode Sentence Semantics Better Than Hidden States

基于LLM的嵌入：注意力值比隐藏状态更好地编码句子语义

Yeqin Zhang, Yunfei Wang, Jiaxuan Chen, Ke Qin, Yizheng Zhao, Cam-Tu Nguyen

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Value Aggregation方法，利用LLM的注意力值向量而非隐藏状态来生成句子嵌入，在无训练设置下超越现有方法，甚至匹配或超越集成方法MetaEOL。

NOVA: NOise-aware Verbal Confidence CAlibration for Robust Large Language Models in RAG Systems

NOVA: 面向RAG系统中鲁棒大语言模型的噪声感知言语置信度校准

Jiayu Liu, Rui Wang, Qing Zong, Yumeng Wang, Cheng Qian, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song

机构 * HKUST（香港科技大学） ； UIUC（伊利诺伊大学香槟分校） ； Northwestern University（西北大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)

AI总结 提出NOVA框架，通过规则引导的监督微调，解决检索增强生成中噪声上下文导致的过度自信问题，在域内和域外分别提升ECE 10.9%和8.0%。

HD-Prot: A Protein Language Model for Joint Sequence-Structure Modeling with Continuous Structure Tokens

HD-Prot：一种使用连续结构令牌进行联合序列-结构建模的蛋白质语言模型

Yi Zhou, Haohao Qu, Yunqing Liu, Shanru Lin, Le Song, Wenqi Fan

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出HD-Prot，一种混合扩散蛋白质语言模型，通过连续结构令牌将序列pLM扩展为多模态，实现联合序列-结构建模，在多种任务上取得竞争性能。

Comments This is the long version of the corresponding paper to appear at KDD 2026

WildIFEval: Instruction Following in the Wild

WildIFEval: 野外指令遵循

Gili Lior, Asaf Yehudai, Ariel Gera, Liat Ein-Dor

机构 * The Hebrew University of Jerusalem（希伯来大学杰里科分校） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn)；分类 cs.CL、cs.AI

AI总结 提出WildIFEval数据集，包含7K条真实用户的多约束指令，用于评估LLM的指令遵循能力，发现所有模型仍有较大改进空间。

Comments Accepted to the 5th Workshop on Generation, Evaluation and Metrics (GEM) at ACL 2026

Iterative Tool Usage Exploration for Multimodal Agents via Step-wise Preference Tuning

通过逐步偏好调优的多模态智能体迭代工具使用探索

Pengxiang Li, Zhi Gao, Bofei Zhang, Yapeng Mi, Xiaojian Ma, Chenrui Shi, Tao Yuan, Yuwei Wu, Yunde Jia, Song-Chun Zhu, Qing Li

机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Automation, Tsinghua University（自动化系，清华大学） 纠错

专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)

AI总结 提出SPORT方法，通过任务合成、步骤采样、步骤验证和偏好调优的迭代循环，使多模态智能体无需预收集数据即可自主探索和优化工具使用策略，在GTA和GAIA基准上分别提升6.41%和3.64%。

Comments 24 pages

PLaID++: A Preference Aligned Language Model for Targeted Inorganic Materials Design

PLaID++: 一种用于定向无机材料设计的偏好对齐语言模型

Andy Xu, Rohan Desai, Larry Wang, Ethan Ritz, Gabriel Hope

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 提出PLaID++，通过对称性感知的Wyckoff文本表示和温度缩放熵正则化，结合可验证奖励的强化学习，实现稳定、新颖且满足空间群属性的晶体生成，比先前方法效率提高约50%。

Comments Code available at https://github.com/andaero/PLaID, model weights at https://huggingface.co/HOPE-Lab-HMC/PLaID

Counterfactual Credit Policy Optimization for Multi-Agent Collaboration

多智能体协作的反事实信用策略优化

Zhongyi Li, Wan Tian, Jinju Chen, Huiming Zhang, Yang Liu, Yikun Ban, Fuzhen Zhuang

机构 * Beihang University（北航） ； Peking University（北京大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多智能体大语言模型协作中信用分配难题，提出CCPO框架，通过反事实信用估计和验证器锚定的自评估两种分配器，将团队奖励转化为个体学习信号，提升数学推理任务表现。

Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision

自蒸馏零：自我修订将二元奖励转化为密集监督

Yinghui He, Simran Kaur, Adithya Bhaskar, Yongjin Yang, Jiarui Liu, Narutatsu Ri, Liam Fowl, Abhishek Panigrahi, Danqi Chen, Sanjeev Arora

机构 * Princeton University（普林斯顿大学） ； University of Toronto（多伦多大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL

AI总结 提出SD-Zero方法，通过让模型同时扮演生成器和修订者，利用二元奖励生成密集的token级自监督信号，显著提升训练样本效率，在数学和代码推理任务上超越RFT、GRPO等基线。

A Survey on Long-Term Memory Security in LLM Agents: Attacks, Defenses, and Governance Across the Memory Lifecycle

LLM智能体中长期记忆安全综述：跨记忆生命周期的攻击、防御与治理

Zehao Lin, Xixuan Hao, Renyu Fu, Shaobo Cui, Kai Chen, Chunyu Li, Zhiyu Li, Feiyu Xiong

机构 * MemTensor ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出记忆生命周期框架，系统分析LLM智能体长期记忆面临的新威胁，并引入可验证记忆治理（VMG）架构原语，强调存储时溯源与版本控制对安全的关键作用。

Comments 63 pages, 7 figures, 10 tables. Survey paper. Preprint; submitted for review

Goal2Pixel: Grounding Goals to Pixels for Vision-Language Navigation

Goal2Pixel: 将目标锚定到像素以实现视觉语言导航

Muyi Bao, Yuxin Cai, Hang Xu, Zongtai Li, Jinxi He, Jingfan Tang, Chen Lv, Ji Zhang, Yaqi Xie, Wenshan Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 提出Goal2Pixel范式，通过将连续环境中的视觉语言导航（VLN-CE）重新定义为可导航像素锚定，利用图像平面作为统一空间接口，预测可见导航像素并反投影为3D航点，结合可见性感知关键帧记忆和坐标感知辅助损失，在减少VLM调用次数的同时实现竞争性性能。

Comments 8 pages

QueryOcc: Query-based Self-Supervision for 3D Semantic Occupancy

QueryOcc：基于查询的3D语义占据自监督方法

Adam Lilja, Ji Lan, Junsheng Fu, Lars Hammarstrand

机构 * Chalmers University of Technology（查尔姆斯理工大学） ； Zenseact 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 提出QueryOcc，一种基于查询的自监督框架，通过相邻帧的4D时空查询直接学习连续3D语义占据，利用视觉基础模型或激光雷达数据提供监督，并引入收缩场景表示以在恒定内存下实现远程监督，在Occ3D-nuScenes基准上语义RayIoU提升26%。

Memory as a Service (MaaS): Purpose-Bound Memory Mediation for Cooperative Agents

记忆即服务 (MaaS)：面向合作智能体的目的绑定记忆中介

Haichang Li

专题命中 长上下文与记忆 ：prompting(abstract)

AI总结 提出记忆即服务 (MaaS) 框架，通过目的绑定的记忆中介机制，在合作编程智能体间平衡记忆共享效用与隐私泄露风险，实验表明现有检索方法存在严重隐私泄露。

Comments Accepted to the KDD 2026 Workshop on Agentic Software Engineering (AgenticSE @ KDD 2026)

Ex-Omni: Enabling 3D Facial Animation Generation for Omni-modal Large Language Models

Ex-Omni：为全模态大语言模型赋能3D面部动画生成

Haoyu Zhang, Zhipeng Li, Yiwen Guo, Tianshu Yu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； LIGHTSPEED ； Independent Researcher（独立研究员） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Ex-Omni模型，通过混合形状感知语音单元生成器和解码器解耦语义推理与时间生成，并引入统一令牌查询门控融合机制，实现全模态大语言模型同步生成语音和3D面部动画。

AssemLM: A Spatial Reasoning Multimodal Large Language Model for Robotic Assembly

AssemLM: 用于机器人装配的空间推理多模态大语言模型

Zhi Jing, Jinbin Qiao, Ouyang Lu, Jicong Ao, Shuang Qiu, Huazhe Xu, Yu-Gang Jiang, Chenjia Bai

机构 * Fudan University（复旦大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） ； Tianjin University（天津大学） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出AssemLM，一种融合装配手册、点云和文本指令的多模态大语言模型，通过专用点云编码器提取几何与旋转特征，实现精确的6D装配位姿推理，并构建含90万样本的AssemBench基准，在真实机器人装配任务中取得最优性能。

Comments Project Page: https://assemlmhome.github.io/

LLMs as ASP Programmers: Self-Correction Enables Task-Agnostic Nonmonotonic Reasoning

LLMs 作为 ASP 程序员：自我纠正实现任务无关的非单调推理

Adam Ishay, Joohyung Lee

机构 * Arizona State University（亚利桑那州立大学） ； Samsung Research（三星研究院） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出 LLM+ASP 框架，通过自我纠正循环将自然语言转化为回答集程序，实现无需任务特定工程的非单调推理，在多个基准上优于 SMT 方法。

Comments 30 pages

Entity Binding Failures in Speech LLM Reasoning: Diagnosis and Chain-of-Thought Intervention

语音大模型推理中的实体绑定失败：诊断与思维链干预

Ming-Hao Hsu, Xiaohai Tian, Jun Zhang, Zhizheng Wu

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（1 数据科学学院，香港中文大学（深圳）） ； ByteDance, China（2 字节跳动，中国） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过诊断语音大模型在逻辑推理中的实体绑定失败问题，提出实体感知思维链方法，显著提升推理准确率。

Comments INTERSPEECH 2026

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

MoReBench：评估语言模型中的程序性和多元道德推理，超越结果

Yu Ying Chiu, Michael S. Lee, Rachel Calcott, Brandon Handoko, Paul de Font-Reaulx, Raphaël Millière, Paula Rodriguez, Chen Bo Calvin Zhang, Ziwen Han, Udari Madhushani Sehwag, Yash Maurya, Christina Q Knight, Harry R. Lloyd, Florence Bacus, Conor Downey, Mantas Mazeika, Bing Liu, Yejin Choi, Mitchell L Gordon, Sydney Levine

机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； Scale AI ； Harvard University（哈佛大学） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Center for AI Safety（人工智能安全中心） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； University of Oxford（牛津大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MoReBench基准，包含1000个道德场景和超过2.3万条标准，用于评估语言模型在道德推理中的程序性推理能力，发现现有基准无法预测模型表现，且模型对特定道德框架存在偏好。

Comments 46 pages, 8 figures, 10 tables. Published in ICLR 2026. Accepted at CHAI workshop and SPP 2026 (non-archival)

Language Model Circuits Are Sparse in the Neuron Basis

语言模型电路在神经元基上是稀疏的

Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文实证发现MLP神经元与稀疏自编码器一样是稀疏特征基，并基于此开发了端到端梯度归因流水线，在多项任务中揭示了因果有效的神经元电路。

Comments ICML Spotlight, camera-ready

GeoWorld-VLM: Geometry from World Models for Vision-Language Models

GeoWorld-VLM：从世界模型中获取几何结构用于视觉-语言模型

Renjie Gu, Kaichen Zhou, Yan Luo, Mengyu Wang

机构 * Harvard AI and Robotics Lab（哈佛人工智能与机器人实验室） ； Kempner Institute for the Study of Natural and Artificial Intelligence（凯普纳自然与人工智能研究 institute） ； Harvard University（哈佛大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI

AI总结 GeoWorld-VLM通过将冻结的摄像机条件视频世界模型的几何结构转移到视觉-语言模型中，提升空间关系推理能力，实验显示在两个不同架构上均提升了约4%的性能。

Active Semantic Perception

主动语义感知

Huayi Tang, Pratik Chaudhari

机构 * General Robotics, Automation, Sensing and Perception (GRASP) Laboratory（通用机器人、自动化、传感与感知实验室） 纠错

专题命中 推理与问题求解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种基于紧凑多层场景图和大语言模型的主动语义感知方法，用于高效探索未知环境，在仿真和真实机器人上验证了优于现有方法。

Contextual Invertible World Models: A Neuro-Symbolic Agentic Framework for Colorectal Cancer Drug Response

上下文可逆世界模型：用于结直肠癌药物反应的神经符号智能框架

Christopher Baker, Tianyu Ren, Karen Rafferty, Hui Wang

机构 * School of Electronics, Electrical Engineering and Computer Science（电子工程与计算机科学学院） 纠错

专题命中 推理与问题求解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出上下文可逆世界模型（CIWM），结合机器学习模拟器与大语言模型推理层，通过逆推理进行CRISPR扰动，揭示KRAS突变在5-氟尿嘧啶耐药中的主导作用及PIK3CA修复的意外效应。

PaLMR: Towards Faithful Visual Reasoning via Multimodal Process Alignment

PaLMR: 通过多模态过程对齐实现忠实视觉推理

Yantao Li, Qiang Hui, Chenyang Yan, Kanzhi Cheng, Fang Zhao, Chao Tan, Huanling Gao, Jianbing Zhang, Kai Wang, Xinyu Dai, Shiguo Lian

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究院） ； Unicom Data Intelligence, China Unicom（中国unicom数据智能） 纠错

专题命中 推理与问题求解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出PaLMR框架，通过感知对齐数据层和过程对齐优化层，减少推理幻觉并提升视觉推理忠实度，在多个基准上取得最优结果。

Journal ref CVPR 2026 Findings

Structured Visualization Design Knowledge for Grounding Generative Reasoning and Situated Feedback

结构化可视化设计知识：用于基础生成推理和情境反馈

Péter Ferenc Gyarmati, Dominik Moritz, Torsten Möller, Laura Koesten

专题命中 推理与问题求解 ：large language model(abstract)；language model(abstract)

AI总结 提出一种结构化方案，将可视化设计知识编码为带语义元数据的自然语言指南，支持专家编写、机器查询，并嵌入向量空间以分析冲突和跨领域原则，弥补符号系统与生成模型之间的鸿沟。

GAE: Unleashing Physical Potential of VLM with Generalizable Action Expert

GAE: 利用可泛化动作专家释放VLM的物理潜力

Mingyu Liu, Zheng Huang, Xiaoyi Lin, Muzhi Zhu, Canyu Zhao, Yating Wang, Haoyi Zhu, Hao Chen, Chunhua Shen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(abstract)；pretraining(abstract)

AI总结 提出通用动作专家（GAE），通过稀疏几何接口将VLM的高层意图转化为连续动作轨迹，采用动作预训练-点云微调（APPF）方案解耦动作动力学与几何基础，实现跨视觉域、视角和指令的强泛化。

Plan, Don't Pose: Long Composite Motion Generation with Text-Aligned BFM

计划，而非摆姿势：基于文本对齐的BFM的长复合运动生成

Nikolay Shvetsov, Maksim Bobrin, Nazar Buzun, Anton Bozhedarov, Dmitry V. Dylov

机构 * AvaCapo ； Potsdam University（波茨坦大学） ； Applied AI Institute（应用人工智能研究所） ； Computational Imaging Lab（计算成像实验室） ； AXXX ； Innopolis University（因诺波利斯大学） 纠错

专题命中 推理与问题求解 ：foundation model(abstract)；分类 cs.LG

AI总结 提出Text2BFM框架，通过将自然语言与预训练行为基础模型对齐，在潜在策略空间中实现长复合运动生成，无需端到端运动生成器。

Reasoning Models Know What's Important, and Encode It in Their Activations

推理模型知道什么重要，并在其激活中编码

Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

机构 * Technion（技术离子大学） ； University of Zagreb, FER（扎格雷布大学，FER） ； MIT（麻省理工学院） ； Kempner Institute, Harvard（哈佛大学凯普纳研究所） 纠错

专题命中 推理与问题求解 ：language model(abstract)；分类 cs.CL

AI总结 通过分析模型激活而非仅依赖推理链文本，发现激活能更有效识别关键推理步骤，且模型在生成后续步骤前已内部编码步骤重要性。

Cross-Model Disagreement as a Label-Free Correctness Signal

跨模型分歧作为无标签正确性信号

Matt Gorbett, Suman Jana

机构 * Independent Researcher（独立研究者） ； Department of Computer Science Columbia University（计算机科学系哥伦比亚大学） 纠错

专题命中 推理与问题求解 ：language model(abstract)；分类 cs.AI

AI总结 提出跨模型分歧作为无标签正确性指标，通过验证模型对生成模型答案的困惑度或熵来检测错误，无需训练或标签，在多个基准上优于模型内不确定性方法。

From Benchmarks to Skills: Low-Rank Factors for LLM Evaluation

从基准到技能：LLM评估的低秩因子

Aviya Maimon, Amir DN Cohen, Gal Vishne, Shauli Ravfogel, Reut Tsarfaty

机构 * Bar-Ilan University（巴伊兰大学） ； OriginAI ； Data Science Institute Columbia University（哥伦比亚大学数据科学学院） ； Center for Data Science New York University（纽约大学数据科学中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过因子分析发现LLM基准性能矩阵本质低秩，揭示任务冗余，提出基于潜在技能空间的评估框架，用于识别冗余任务、用小任务子集建模新模型和按技能轮廓选模型。