语言大模型 / LLM

IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization

IDEAL: 利用大型语言模型的无限和动态特性进行查询导向的摘要

Jie Cao, Dian Jiao, Yang Dai, Rolan Yan, Wenqiao Zhang, Siliang Tang

机构 * Zhejiang University（浙江大学） ； Tencent, Wechat（腾讯，微信） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 本文针对查询导向摘要问题，提出两种核心方法：高效细粒度查询-LLM对齐和长文档摘要，通过Query-aware HyperExpert和Query-focused Infini-attention模块实现，实验验证了方法的有效性和通用性。

Political Persuasion and Endorsement in Large Language Models

大型语言模型中的政治说服与支持

Alessia Antelmi, Alessia Galdeman, Lucio La Cava, Arianna Pera, Giovanni Da San Martino

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 研究大型语言模型是否支持包含说服技巧的信息，以及党派角色提示如何调节这种支持，发现无政治条件时模型通常不支持，但党派提示加剧极化。

Comments 9 pages, 4 figures, 3 tables

How Far Did They Go? The Persuasive Tactics of Covert LLM Agents in a Discontinued Field Experiment

他们走了多远？已终止现场实验中隐蔽LLM代理的说服策略

Kokil Jaidka, Saifuddin Ahmed

机构 * Wee Kim Wee school of Communication and Information, Nanyang Technological University（魏家伟通信与信息学院，南洋理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过分析Reddit r/ChangeMyView已终止现场实验的公开数据集，研究隐蔽LLM代理在身份丰富的讨论论坛中使用的说服策略，发现其系统性采用身份定位、权威信号、对齐策略和认知偏差触发，构成以说服效率为导向的修辞架构。

From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents

从风险分类到行动方案修复：一种基于护栏反馈驱动的LLM代理框架

Yuhao Sun, Jiacheng Zhang, Shaanan Cohney, Zhexin Zhang, Feng Liu, Xingliang Yuan

机构 * The University of Melbourne（墨尔本大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 提出TRIAD框架，通过护栏生成的言语反馈引导代理在规划步骤中保持良性目标，实现安全与效用的最佳平衡。

Comments 32 pages

Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

LLM持续预训练中最优超参数的可预测缩放定律

Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

机构 * MeiTuan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文发现持续预训练中学习率和批大小等最优超参数遵循稳定可预测的缩放定律，并提出一个两阶段框架，通过小规模代理模型和状态感知预测，将超参数搜索开销降低90%且性能相当或更优。

LatentWave: JEPA Pretraining for Wireless Foundation Models

LatentWave: 无线基础模型的JEPA预训练

Ahmed Mohamed, Ahmed Aboulfotouh, Hatem Abou-Zeid

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

AI总结 提出LatentWave，采用联合嵌入预测架构（JEPA）在潜空间预测掩码区域，学习可迁移的无线信号表示，并在四个下游任务中优于掩码建模基线。

Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails

语言模型中的认知不公正：预训练过滤器和护栏的审计

Marco Antonio Stranisci, A Pranav, Rossana Damiano, Christian Hardmeier, Anne Lauscher

机构 * University of Turin（都灵大学） ； IT University of Copenhagen（哥本哈根技术大学） ； Trustworthy AI Lab（可信人工智能实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 通过审计预训练过滤器和推理时护栏，发现它们对边缘群体（如跨性别者、女性和中美洲人）的提及存在过度标记，导致认知抹除，而人类标注者会保留大部分被标记内容。

The Generator-Eraser Paradox: Community Guidelines for Responsible LLM-Assisted Dialect Resource Creation

生成器-擦除器悖论：负责任的大语言模型辅助方言资源创建的社区指南

Wajdi Zaghouani

机构 * Northwestern University in Qatar（卡塔尔西北大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出生成器-擦除器悖论理论框架，推导出12条社区指南，并通过阿拉伯方言案例展示如何在大语言模型辅助方言资源创建中平衡效率与语言多样性保护。

Journal ref Proceedings of the Workshop on Dialects in NLP - A Resource Perspective (DialRes) @ LREC 2026

Backdoor Unlearning Generalization: A Path Toward the Removal of Unknown Triggers in LLMs

后门遗忘泛化：走向移除大语言模型中未知触发器的路径

Lisa Bouger, Théo Lasnier, Philippe Loubet Moundi, Yannick Teglia, Djamé Seddah

机构 * Inria Paris（法国巴黎国家信息与自动化研究所） ； Sorbonne Université（索邦大学） ； Thales CDI（泰雷兹CDI） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过实验证明，针对单个后门的遗忘训练可以泛化抑制其他未明确针对的后门，并引入交叉激活偏移距离量化不同训练引起的模型变化，为利用可控后门移除未知后门提供新方向。

Comments 22 pages, 28 figures

Scaling Laws for Behavioral Foundation Models over User Event Sequences

用户事件序列上行为基础模型的缩放定律

Rickard Brüel Gabrielsson

机构 * Unbox AI 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 研究行为基础模型在用户事件序列上的缩放定律，通过约600次实验发现小嵌入器参数最优，计算最优训练在低计算量时数据密集，且评估指标影响缩放定律。

Unified Pix Token And Word Token Generative Language Model

统一像素标记与词标记的生成语言模型

Haun Leung, ZiNan Wang

机构 * Buaa.edu.cn（北京航空航天大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 本文提出一种统一像素标记和词标记的生成语言模型，通过引入图像无监督预训练、颜色折叠、全局条件注意力近似等方法，提升模型在图像细节识别上的能力，实验表明该模型在小模型和有限数据下仍表现优异。

Comments 13 pages, 6 figures

UNIVID: Unified Vision-Language Model for Video Moderation

UNIVID：用于视频审核的统一视觉语言模型

Kejuan Yang, Yizhuo Zhang, Mingyuan Du, Yue Zhang, Dixin Zheng, Kaili Zhao, Yang Xiao, Hanzhong Liang, Kenan Xiao

机构 * Bytedance（字节跳动） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出UNIVID统一视觉语言模型，通过生成可解释的策略感知字幕，实现端到端视频审核，减少违规泄露42.7%和过度审核率37.0%。

Comments 7 pages, 3 figures. Accepted to ACL 2026 Industry Track

Staged Factorial Screening for Budget-Constrained Micro-Pretraining

预算受限的微预训练中的分阶段因子筛选

Felipe Chavarro Polania

机构 * Hewlett Packard Enterprise（惠普企业） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.LG

AI总结 针对预算受限的微预训练，提出分阶段分数因子设计方法，通过短时筛选识别高惩罚方向并确认有效锚点，在共享加速器上实现高效配方筛选。

Comments 23 pages, 4 figures

Annotation of Positive vs Negative User Interactions for Social Sign Prediction

社交关系符号预测中积极与消极用户交互的标注

Biancamaria Bombino, Chiara Boldrini, Andrea Passarella, Marco Conti

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出利用大语言模型零样本识别交互中的个人赞扬和攻击作为关系信号，以改进社交关系符号预测。

Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal

语言模型隐藏状态中的轨迹动力学预测超越惊讶度的人类处理成本

Elan Barenholtz

机构 * Machine Perception & Cognitive Robotics Laboratory（机器感知与认知机器人实验室） ； Department of Psychology（心理学系） ； Center for Complex Systems（复杂系统中心） ； Florida Atlantic University（佛罗里达 Atlantic 大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 通过线性外推语言模型隐藏状态轨迹的偏差，提出轨迹外推误差作为独立于惊讶度的人类处理成本预测因子，并在自然故事语料库中验证其对自定步速阅读时间的预测能力。

Comments 17 pages, 3 figures, 6 tables

An accurate nucleic acid-small molecule docking framework via geometric deep learning with large-scale pretraining

基于几何深度学习与大尺度预训练的核酸-小分子精准对接框架

Shi Li, Xujun Zhang, Mingquan Liu, Hui Zhang, Shuoying Jia, Yu Kang, Tingjun Hou, Peichen Pan

机构 * College of Pharmaceutical Sciences, Zhejiang University（浙江大学药学院） ； Faculty of Health Sciences, University of Macau（澳门大学健康科学学院） ； Zhejiang Provincial Key Laboratory for Intelligent Drug Discovery and Development, Jinhua Institute of Zhejiang University（浙江省智能药物发现与开发重点实验室，浙江大学金华研究院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出NucleoDock框架，通过物理引导的大规模预训练和精细调优，结合序列、结构及原子级特征，利用混合密度网络几何评分头实现核酸-小分子对接，在125个复合物基准上达到56%的top-1成功率（RMSD<2.0Å），优于传统方法。

Comments 34 pages, 4 figures, 4 tabels, Supplementary Materials includes 8 tabels

PI-JEPA: Label-Free Surrogate Pretraining for Coupled Multiphysics Simulation via Operator-Split Latent Prediction

PI-JEPA: 一种无需标签的替代预训练方法，用于通过操作符分裂潜在预测的耦合多物理场模拟

Brandon Yee, Pairie Koh

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究提出了一种无需完整PDE求解的替代预训练框架PI-JEPA，通过掩码潜在预测和每子操作符PDE残差正则化，在未标记的参数场上训练，从而减少多物理场替代部署所需的模拟预算。

Comments Substantial Revision Required

ActiveMimic: Egocentric Video Pretraining with Active Perception

ActiveMimic: 基于主动感知的自我中心视频预训练

Xingyao Lin, Guojin Zhong, Tianyi Lu, Ziyi Ye, Yichen Zhu, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Current Robotics ； NeoteAI 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出ActiveMimic框架，从自我中心人类视频中恢复同步的相机和手腕轨迹，将相机运动建模为视角动作，联合学习主动感知和操作技能，使预训练模型在机器人任务上达到与机器人数据预训练相当的性能。

Comments Project Page: https://activemimic.github.io/

BRepCLIP: Contrastive Multimodal Pretraining on BRep Primitives for CAD Understanding

BRepCLIP: 面向CAD理解的BRep基元对比多模态预训练

Muhammad Usama, Didier Stricker, Mohammad Sadil Khan, Muhammad Zeshan Afzal

机构 * DFKI, Germany（德意志联邦共和国DFKI） ； RPTU Kaiserslautern-Landau, Germany（德国凯撒斯劳滕-兰道大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出BRepCLIP框架，通过对比预训练对齐CAD边界表示（BRep）几何与语言/图像嵌入，显著提升检索和零样本分类性能。

Image Generators are Generalist Vision Learners

图像生成器是通用视觉学习者

Valentin Gabeur, Shangbang Long, Songyou Peng, Paul Voigtlaender, Shuyang Sun, Yanan Bao, Karen Truong, Zhicheng Wang, Wenlei Zhou, Jonathan T. Barron, Kyle Genova, Nithish Kannen, Sherry Ben, Yandong Li, Mandy Guo, Suhas Yogin, Yiming Gu, Huizhong Chen, Oliver Wang, Saining Xie, Howard Zhou, Kaiming He, Thomas Funkhouser, Jean-Baptiste Alayrac, Radu Soricut

机构 * Google（谷歌） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI

AI总结 本文研究了图像生成器在视觉理解中的通用学习能力，通过引入Vision Banana模型，展示了图像生成训练如何像语言模型预训练一样，使模型在多种视觉任务中取得最佳性能，证明了图像生成预训练在构建基础视觉模型中的核心作用。

Comments Project Page: http://vision-banana.github.io

F3-Tokenizer: Taming Audio Autoencoder Latents for Understanding and Generation

F3-Tokenizer: 驯服音频自编码器潜在变量以支持理解与生成

Dinghao Zhou, Xingchen Song, Di Wu, Pengyu Cheng, Shengfan Shen, Sixiang Lv

机构 * Nanjing University, China（南京大学） ； WeNet Open Source Community（WeNet开源社区） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对连续音频自编码器潜在变量结构弱、自监督编码器不可解码的问题，提出F3-Tokenizer，通过噪声正则化自编码器瓶颈和潜在侧表示编码器，实现统一的理解与生成音频分词器。

Comments Technical report; early work; 9 pages, 2 figures, 5 tables

From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability

从攻击模拟到SIEM规则：具有探针级可追溯性的确定性检测即代码合成

Alexandre Cristovão Maiorano

机构 * lumytics.com（lumytics公司） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出一种确定性合成方法，通过小型模板库将攻击模拟发现映射为Sigma规则，并保持对原始探针的字节级可追溯性，实现了可验证的检测即代码。

Comments 22 pages, 3 figures, 11 tables

RAG Security and Privacy: Formalizing the Threat Model and Attack Surface

RAG安全与隐私：形式化威胁模型和攻击面

Atousa Arzanipour, Rouzbeh Behnia, Reza Ebrahimi, Kaushik Dutta

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了RAG系统中的安全与隐私问题，提出首个形式化的威胁模型，定义了攻击向量如文档级成员推断和数据中毒，以提升对RAG系统隐私和安全性的理解。

Comments Published at the 5th ICDM Workshop in November 2025

Journal ref 2025 IEEE International Conference on Data Mining Workshops (ICDMW), pp. 1387-1394, 2025

OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents

OpenWebRL: 揭秘视觉网络代理的在线多轮强化学习

Rui Yang, Qianhui Wu, Yuxi Chen, Hao Bai, Wenlin Yao, Hao Cheng, Baolin Peng, Huan Zhang, Tong Zhang, Jianfeng Gao

机构 * UIUC（伊利诺伊大学香槟分校） ； Microsoft（微软） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出OpenWebRL框架，通过在线多轮强化学习在真实网站上训练视觉网络代理，以4B参数模型在基准测试中达到开源最优，并与闭源系统竞争。

Comments 36 pages, 11 figures

In-Context Multiple Instance Learning

上下文多实例学习

Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

机构 * Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所） ； Machine Learning Group, Technische Universität Berlin（柏林技术大学机器学习小组） ； Aignostics ； Institute of Pathology, Charité – Universitätsmedizin Berlin（柏林查理医院病理研究所） ； Max-Planck Institute for Informatics（马克斯·普朗克信息研究所） ； Department of Artificial Intelligence, Korea University（韩国大学人工智能系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于感知器架构的上下文学习器，通过合成数据预训练，无需梯度更新即可从少量标记包中解决新的多实例学习任务，在12个基准上超越需任务特定训练的监督基线。

Double Preconditioning (DoPr): Optimization for Test-Time Performance, not Validation Loss

双重预处理 (DoPr)：针对测试时性能而非验证损失的优化

Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Cambridge（剑桥大学） ； DeepMind（深度Mind） ； Google Research（谷歌研究） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出双重预处理优化范式，通过结合梯度级和激活级预处理，缓解自回归语言建模等场景中训练/验证损失与下游指标不匹配的测试时反馈问题，提升测试时性能而不一定改善验证损失。

Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers

频谱探测电路：识别预训练Transformer中注意力头电路的三步法

Yongzhong Xu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种三步法，通过频谱信号排序、任务模式筛选和组消融因果验证，无需标签即可识别预训练Transformer中执行持续内容依赖计算的注意力头电路，并在多个模型上验证了其通用性和因果必要性。

Comments 35 pages, 4 figures

Is Diversity All You Need for Scalable Robotic Manipulation?

多样性是否是可扩展机器人操作的全部需求？

Modi Shi, Li Chen, Jin Chen, Yuxiang Lu, Chiming Liu, Guanghui Ren, Ping Luo, Di Huang, Maoqing Yao, Hongyang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了数据多样性在机器人学习中的作用，发现任务多样性比单任务演示量更重要，多身体预训练数据在跨身体转移中可选，专家多样性可能对策略学习产生干扰，提出分布去偏方法提升性能。

Comments Code is available at https://github.com/OpenDriveLab/AgiBot-World

TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation

TAM: 用于鲁棒操作运动传递的扭矩自适应模块

Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

机构 * KAIST（韩国科学技术院） ； Allen Institute for AI（人工智能研究院） ； University of Toronto（多伦多大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出扭矩自适应模块（TAM），通过历史编码器和扭矩适配器修正扭矩指令，实现不同机器人或负载间的运动传递，无需领域随机化或重新收集数据。

Stop Training for the Worst: Progressive Unmasking Accelerates Masked Diffusion Training

停止训练于最差：渐进性解蔽加速了掩码扩散训练

Jaeyeon Kim, Jonathan Geuter, David Alvarez-Melis, Sham Kakade, Sitan Chen

机构 * Harvard University（哈佛大学） ； Kempner Institute（凯普纳研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种名为渐进性解蔽（PUMA）的方法，通过修改前向掩码过程，使训练时间和推理时的掩码模式一致，从而加速了掩码扩散模型的训练。