语言大模型 / LLM

Multipole Semantic Attention: A Fast Approximation of Softmax Attention for Pretraining

多极语义注意力：一种用于预训练的Softmax注意力快速近似方法

Rupert Mitchell, Kristian Kersting

机构 * TU Darmstadt（达姆施塔特工业大学） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多极语义注意力（MuSe），通过对查询和键分别聚类实现查询特定的摘要，在64k上下文预训练中加速36%且保持损失不变，无需架构修改，兼容现有预训练模型。

Revisiting Audio-language Pretraining for Learning General-purpose Audio Representation

重新审视音频-语言预训练以学习通用音频表示

Wei-Cheng Tseng, Xuanru Zhou, Mingyue Huo, Yiwen Shao, Hao Zhang, Dong Yu

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tencent AI Lab Seattle（腾讯AI实验室西雅图） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过构建大规模数据集CaptionStew并系统对比对比学习和字幕生成目标，揭示了音频-语言预训练在数据效率和可扩展性上的权衡，为通用音频表示学习提供了实证指导。

Comments ACL 2026 Main. Code available at https://github.com/AudenAI/Auden

Mantis: Lightweight Foundation Model for Time Series Classification

Mantis: 用于时间序列分类的轻量级基础模型

Vasilii Feofanov, Songkang Wen, Shifeng Xie, Simon Roschmann, Marius Alonso, Hongbo Guo, Romain Ilbert, Malik Tiomoko, Quentin Bouniot, Zeynep Akata, Lujia Pan, Jianfeng Zhang, Ievgen Redko

机构 * com（42.com） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； Technical University of Munich（慕尼黑工业大学） ； Criteo ； Meta ； Telecom Paris（巴黎电信学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于Transformer的轻量级基础模型Mantis，通过自监督对比学习在合成数据上预训练，并引入新颖的令牌生成单元和增强测试方法，在多个数据集上超越现有基础模型。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

Arko-T: A Foundation Model for Text-to-Structured 3D Generation

Arko-T: 面向文本到结构化3D生成的基础模型

Liang Wang, Zhaoyang Xi, Zekai Xiang, Heng Meng, Qishan Zhang, Pingyi Zhou, Jin Liu, Litao Chen

机构 * Spatial Design Intelligence Lab, BitInf Ltd.（BitInf有限公司空间设计智能实验室） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computer and Information Engineering, Nanjing Tech University（南京工业大学计算机与信息工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出4B参数文本到设计模型Arko-T，通过设计状态对齐实现从自然语言到可编辑参数化CAD程序的生成，在12项指标中8项最优，成本仅为前沿模型的十分之一。

A Controlled Counterexample to Strong Proxy-Based Explanations of OOD Performance: in a Fixed Pretraining-and-Probing Setup

对强代理基于解释的OOD性能的受控反例：在固定预训练和探测设置中

Hongmin Li

机构 * School of Life Science and Technology, Institute of Science Tokyo（生命科学与技术学院，科学东京研究所） ； Department of Computational Biology and Medical Sciences, Graduate School of Frontier Sciences（计算生物学与医学科学系，前沿科学研究生院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 研究探讨了代理是否必须与OOD探测准确性排名一致，发现代理可能无法追踪任务相关结构，揭示了强代理解释的边界。

Comments 19 pages, 3 figures

A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning

预训练如何塑造微调中的归纳偏置的理论

Nicolas Anguita, Francesco Locatello, Andrew M. Saxe, Marco Mondelli, Flavia Mancini, Samuel Lippl, Clementine Domine

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 通过分析对角线性网络中的预训练-微调流程，发现不同初始化尺度导致四种微调模式，其中较小的早期层初始化有助于特征重用和精炼，提升泛化能力。

HSAP: A Hierarchical Sequence-aware Parallelism for Hybrid-Context Generative Models

HSAP: 一种面向混合上下文生成模型的分层序列感知并行方法

Songxin Zhang, Zejian Xie, Zhuoyang Song, Cong lin, Junyu Lu, Jiaxing Zhang, Bingyi Jing

机构 * Southern University of Science and Technology（南方科技大学） ； International Digital Economy Academy（国际数字经济学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出一种分层序列感知并行框架，通过JIT编译优化通信策略，解决混合上下文打包序列中的因果注意力计算问题，在多个指标上优于现有方法。

Comments 10 pages, ACL preprint style

Learning to Decipher from Pixels: A Case Study of Copiale

从像素中学习 decipher —— Copiale 的案例研究

Lei Kang, Giuseppe De Gregorio, Raphaela Heil, Alicia Fornés, Beáta Megyesi

机构 * Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心） ； Department of Linguistics, Stockholm University（斯德哥尔摩大学语言系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出一种端到端的 transcription-free 方法，直接将手写密码图像映射到明文。通过 Copiale 密码案例研究，首次引入文本行级数据集，结合密码图像与德文明文，展示预训练和特定密码微调提升 deciphering 准确性。

Comments The 9th International Conference on Historical Cryptology (HistoCrypt 2026), Amiens, France, June 22-24, 2026 URN: urn:nbn:se:su:diva-257058 ISBN: 9789908539997 (print) OAI: oai:DiVA.org:su-257058 DiVA, id: diva2:2075848

Physically Grounded 3D Generative Reconstruction under Hand Occlusion using Proprioception and Multi-Contact Touch

基于本体感知和多接触触觉的物理 grounded 的 3D 生成重建在手部遮挡下

Gabriele Mario Caddeo, Pasquale Marra, Lorenzo Natale

机构 * Istituto Italiano di Tecnologia（意大利技术研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出了一种多模态、物理 grounded 的方法，用于在严重手部遮挡下进行度量尺度的无遮挡物体重建和姿态估计，通过本体感知和多接触触觉信号提升重建精度和物理一致性。

Comments 29 pages, 10 figures, Accepted to ECCV 2026

Dataset Construction for Training LLM to Learn Analog Circuit Knowledge

用于训练大语言模型学习模拟电路知识的数据集构建

Zihao Chen, Ji Zhuang, Jinyi Shen, Xiaoyue Ke, Xinyi Yang, Mingjie Zhou, Zhuoyao Du, Xu Yan, Zhouyang Wu, Zhenyu Xu, Jiangli Huang, Li Shang, Xuan Zeng, Fan Yang

机构 * Fudan University（复旦大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文构建文本数据集并定制训练技术，使大语言模型学习模拟电路知识；通过多智能体框架生成结构化四元组，结合SFT与KL散度正则化提升性能。

Learning by Surprise: Adaptive Mitigation of Model Collapse in Large Language Models

通过惊喜学习：大型语言模型中模型崩溃的自适应缓解

Daniele Gambetta, Gizem Gezici, Fosca Giannotti, Dino Pedreschi, Alistair Knott, Luca Pappalardo

机构 * University of Pisa（比萨大学） ； ISTI-CNR（意大利国家研究委员会信息科学与技术研究所） ； Scuola Normale Superiore（比萨高等师范学校） ； Victoria University of Wellington（惠灵顿维多利亚大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对AI自噬导致的模型崩溃问题，提出基于困惑度的过滤策略，优先使用高惊喜文档进行微调，无需区分人写或AI生成内容，有效缓解崩溃并保持性能。

Generalizing Numerical Reasoning in Table Data through Operation Sketches and Self-Supervised Learning

通过操作草图和自监督学习推广表格数据中的数值推理

Hanjun Cho, Gahyun Yoo, Hanseong Kim, Jay-Yoon Lee

机构 * Seoul National University（首尔国立大学） ； Soongsil University（顺天大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TaNOS框架，通过操作草图和自监督学习提升表格数据中数值推理的泛化能力，实验显示其在FinQA数据集上表现优异，且在领域转移中鲁棒性更强。

Comments Accepted to TACL. This is a pre-MIT Press publication version

VIGOR: VIdeo Geometry-Oriented Reward for Temporal Generative Alignment

VIGOR: 面向视频几何的时序生成对齐奖励

Tengjiao Yin, Jinglei Shi, Heng Guo, Xi Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；foundation model(abstract)；post-training(abstract)

AI总结 提出基于几何的奖励模型，利用预训练几何基础模型通过跨帧重投影误差评估多视图一致性，以点方式计算误差，并引入几何感知采样策略，通过后训练和推理时优化对齐视频扩散模型，提升生成视频的几何一致性。

Comments Project Page: https://vigor-geometry-reward.com/

GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding

GUI-AIMA: 对齐内在多模态注意力与上下文锚点以实现GUI定位

Shijie Zhou, Viet Dac Lai, Hao Tan, Jihyung Kil, Wanrong Zhu, Changyou Chen, Ruiyi Zhang

机构 * University at Buffalo（布法罗大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GUI-AIMA通过多模态注意力对齐与上下文锚点，实现高效的GUI定位，无需坐标生成，提升数据效率和性能。

Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

VLM能稳健推理吗？一项神经符号研究

Weixin Chen, Antonio Vergari, Han Zhao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究视觉语言模型在分布偏移下的推理稳健性，提出结合VLM概念识别与电路符号推理的神经符号方法VLC，在三个视觉演绎推理任务上实现更高的分布外准确率。

Comments TMLR 2026

Physics-Constrained Fine-Tuning of Flow-Matching Models for Generation and Inverse Problems

面向生成和逆问题的流匹配模型的物理约束微调

Jan Tauberschmidt, Sophie Fellenz, Sebastian J. Vollmer, Andrew B. Duncan

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Department of Computer Science, University of Kaiserslautern–Landau (RPTU)（凯泽斯劳滕-兰道大学计算机科学系） ； Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种微调流匹配生成模型以强制执行物理约束并解决科学系统逆问题的框架，通过微分后训练最小化偏微分方程弱形式残差，并联合优化可学习潜参数预测器，实现物理一致性与潜系数准确恢复。

LLM-Empowered Agentic MAC Protocols: A Dynamic Stackelberg Game Approach

LLM赋能的智能MAC协议：一种动态Stackelberg博弈方法

Renxuan Tan, Rongpeng Li, Fei Wang, Chenghui Peng, Shaoyun Wu, Zhifeng Zhao, Honggang Zhang

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院） ； Huawei Technologies Company Ltd.（华为技术有限公司） ； Zhejiang Lab（之江实验室） ； Zhejiang University（浙江大学） ； Macau University of Science and Technology（澳门科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种博弈论LLM赋能的多智能体深度强化学习框架，将上行传输建模为动态多追随者Stackelberg博弈，通过PPO协调LLM驱动代理合成自适应语义MAC协议，实现无需重训的泛化，吞吐量提升77.6%，公平性提升65.2%。

Comments This work has been submitted to IEEE for possible publication

Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation

更清晰的视野，更少的谎言：面向多模态幻觉缓解的定向拾取偏好优化

Xin Zou, Haolin Deng, Yibo Yan, Shuliang Liu, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种证据感知的对齐目标OPPO，通过对比不同视觉证据强度下的相同忠实响应，将视觉偏好转化为有序视觉证据对齐，以缓解多模态大模型的幻觉问题。

Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models

文本到图像模型强化学习后训练的有限差分流优化

David McAllister, Miika Aittala, Tero Karras, Janne Hellsten, Angjoo Kanazawa, Timo Aila, Samuli Laine

机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种在线强化学习变体，通过采样配对轨迹并将流速度拉向更优图像方向来降低模型更新方差，将整个采样过程视为单一动作，实现更快的收敛和更高的输出质量与提示对齐。

Comments Code available at https://github.com/NVlabs/finite-difference-flow-optimization

The Bidirectional Process Reward Model

双向过程奖励模型

Lingyin Zhang, Jun Gao, Xiaoxue Ren, Ziqiang Cao

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； Biomedical Basic Research Center of Jiangsu, Soochow University（苏州大学江苏省生物医学基础研究中心） ； School of Software Technology, Zhejiang University（浙江大学软件学院） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出双向过程奖励模型（BiPRM），通过并行左右评估流和门控机制融合分数，仅增加0.3%参数和5%延迟，在推理质量上平均提升10.6%。

Comments ACL 2026

AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

AR-CoPO: 利用对比策略优化对齐自回归视频生成

Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多媒体实验室） ； Vivix Group Limited（Vivix集团有限公司） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； CPII under InnoHK（InnoHK下的CPII） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)

AI总结 提出AR-CoPO框架，通过分叉机制构建邻域候选、分块级对齐和半在线训练策略，解决流式自回归视频生成中RLHF对齐难题，提升跨域泛化与人类偏好对齐。

Comments ECCV 2026

Corruption Robust Offline Reinforcement Learning with Human Feedback

具有人类反馈的鲁棒离线强化学习

Debmalya Mandal, Andi Nika, Parameswaran Kamalaruban, Adish Singla, Goran Radanović

机构 * University of Warwick（华威大学） ； Max-Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究离线环境下人类反馈强化学习的数据鲁棒性，提出基于置信集和悲观策略的鲁棒方法，首次提供可证明的鲁棒性保证。

Comments Updated Algorithm 1 and the Proof of Theorem 3.3

Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

并非所有时间和频率都需要在扩散遗忘中被遗忘

Jinseong Park, Mijung Park

机构 * Korea Institute for Advanced Study（韩国高等研究院） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 提出选择性遗忘扩散模型中的时间和频率，通过理论分析分布失真与遗忘-效用权衡，在多种设置下实现更高遗忘成功率和生成质量。

Comments ICML 2026 Workshop FoGen

Bridging Information Asymmetry: A Hierarchical Framework for Deterministic Blind Face Restoration

弥合信息不对称：一种降低不确定性的分层盲脸修复框架

Zhengjian Yao, Jiakui Hu, Kaiwen Li, Hangzhou He, Xinliang Zhang, Shuang Zeng, Lei Zhu, Yanye Lu

机构 * Biomedical Engineering Department, College of Future Technology, Peking University（北京大学未来技术学院生物医学工程系） ； Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究所） ； National Biomedical Imaging Center, Peking University（北京大学国家生物医学成像中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 提出Pref-Restore分层框架，通过语义信息增强、纹理保真对齐和保真约束偏好优化，降低盲脸修复中的不确定性，实现身份敏感的高保真重建。

Comments Accepted by TPAMI2026

Sparse Layers are Critical to Scaling Looped Language Models

稀疏层对扩展循环语言模型至关重要

Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

机构 * USC Information Sciences Institute（美国南加州大学信息科学研究所） ； Netflix（netflix公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究比较了带循环和不带循环的MoE和标准Transformer，发现循环MoE模型在扩展性上优于标准模型，且循环模型在计算质量权衡中具有更好的早退性能。

PA-VAD: Diffusion-Based Pseudo-Only Video Anomaly Detection via Domain-Aligned Memory Updates

PA-VAD: 基于扩散的伪异常视频异常检测通过域对齐记忆更新

Satoshi Hashimoto, Yanan Wang, Hitoshi Nishimura, Mori Kurokawa

机构 * KDDI Research, Inc.（KDDI研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 提出PA-VAD框架，仅用真实正常视频和扩散合成伪异常视频训练检测器，通过域对齐正则化模块（DARM）消除伪异常特征偏差，在多个基准上超越使用真实异常视频的方法。

Comments Accepted to ECCV 2026

Optimal Self-Consistency for Efficient Reasoning with Large Language Models

最优自一致性：用于大语言模型高效推理

Austin Feng, Marius Alonso, Ambroise Odonnat, Vasilii Feofanov, Ievgen Redko

机构 * Yale University（耶鲁大学） ； Inria（法国国家信息与自动化研究所） ； com（42.com） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文分析自一致性（SC）的缩放行为，提出动态分配样本的Blend-ASC变体，平均减少4.8倍样本量，实现最先进的样本效率。

Comments Accepted at ICML 2026

Targeted Tests for LLM Reasoning: An Audit-Constrained Protocol

面向LLM推理的定向测试：一种受审计约束的协议

Hongmin Li

机构 * School of Life Science and Technology, Institute of Science Tokyo（生命科学与技术学院，科学东京研究所） ； Department of Computational Biology and Medical Sciences, Graduate School of Frontier Sciences（计算生物学与医学科学系，前沿科学研究生院） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出一种受审计约束的协议，用于评估LLM推理能力，通过组件自适应提示采样与均匀采样对比，验证了在受控环境下研究定向提示变化的有效性。

Comments 22 pages

How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

LLM如何看待创造力：具有可解释推理的视觉创造力零样本评分

William Orwig, Roger E. Beaty

机构 * Harvard University（哈佛大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 推理与问题求解 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究多模态大模型能否零样本评估视觉创造力，并分析其推理过程的可解释性。实验表明模型评分与人类高度一致，但推理并未提升评分准确性。

Comments 21 pages, 9 figures

Prompting Robot Teams with Natural Language

用自然语言提示机器人团队

Eduardo Sebastián, Nicolas Pfitzer, Ajay Shankar, Amanda Prorok

机构 * Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系） ； Department of Mechanical and Process Engineering, ETH Zurich（苏黎世联邦理工学院机械与过程工程系） 纠错

专题命中 推理与问题求解 ：prompting(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 提出利用语言模型将高层任务分解为子任务，并蒸馏为循环神经网络（RNN）以支持多机器人团队的去中心化实时执行，通过图神经网络控制策略实现协作。

Comments This paper has been accepted for publication at IEEE Robotics and Automation Letters. Please, when citing the paper, refer to the official version