语言大模型 / LLM

Computational Safety for Generative AI: A Hypothesis Testing Perspective

生成式AI的计算安全性：假设检验视角

Pin-Yu Chen

机构 * IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从假设检验角度形式化生成式AI的计算安全性，提出基于信号处理的方法检测恶意输入和AI生成内容。

Comments Extended version of the paper presented at the ICML 2026 Workshop on Hypothesis Testing

FlowCLIP: Contrastive Pretraining Using Domain Names for Encrypted Traffic Classification

FlowCLIP: 使用域名的对比预训练进行加密流量分类

Eun Hun Choi

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出FlowCLIP框架，利用数据包侧信道特征（间隔、大小、方向）和CLIP对比目标对齐流量与域名表示，在QUIC流量数据集上跨周评估，优于基线方法。

GPA-RAM: Grasp-Pretraining Augmented Robotic Attention Mamba for Spatial Task Learning

GPA-RAM：用于空间任务学习的抓取预训练增强型机器人注意力Mamba

Juyi Sheng, Yangjun Liu, Sheng Xu, Zhixin Yang, Tiantian Xu, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（国家一般人工智能重点实验室，北京大学深圳研究生院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） ； State Key Laboratory of Internet of Things for Smart City, University of Macau（智慧城市物联网重点实验室，澳门大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 该研究提出GPA-RAM框架，通过GPA增强模仿策略并开发RAM实现高效计算，在多机器人平台的空间操纵任务中显著提升成功率，兼顾精度与实时性。

Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models

高质量文本，稳健视觉：语言在增强视觉语言模型视觉稳健性中的作用

Futa Waseda, Saku Sugawara, Isao Echizen

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（日本信息处理研究所） ； The University of Tokyo, National Institute of Informatics（东京大学、日本信息处理研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究针对视觉语言模型对抗攻击问题，提出质量文本引导的对抗微调方法QT-AFT，利用高质量字幕提升视觉编码器对抗鲁棒性，在多个零样本数据集上实现了最先进的零样本对抗鲁棒性和纯净准确率，并揭示了语言增强视觉鲁棒性的关键见解。

Comments ACMMM 2025 Accepted. Codes are available at: https://github.com/futakw/QTAFT

TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models

TokenSwap：对大型视觉语言模型组合理解的后门攻击

Zhifang Zhang, Qiqi Tao, Jiaqi Lv, Na Zhao, Lei Feng, Joey Tianyi Zhou

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； School of Electrical Engineering and Computer Science, University of Queensland, Australia（昆士兰大学电气工程与计算机科学学院） ； Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学设计学院） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore（前沿人工智能研究中心（CFAR）） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所（IHPC）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究针对大型视觉语言模型的后门攻击，提出TokenSwap方法，通过注入视觉触发器和交换文本答案中关键令牌语法角色，并采用自适应加权损失，在多基准和不同架构上实现高成功率且隐蔽性强的后门攻击。

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

通过几何感知预训练增强上下文全景生成

Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

机构 * Insta360 Research（影石创新研究院） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） ； Wuhan University（武汉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 该研究提出两阶段框架Canvas360用于上下文全景生成，结合几何感知预训练与微调。通过构建数据集及特定建模方法，增强文本到全景生成，经实验验证其能提高全景图像保真度，在相关指标上表现优异。

Comments Project page: https://zry000.github.io/Canvas360/ Github: https://github.com/Insta360-Research-Team/Canvas360

Back to Point: Exploring Point-Language Models for Zero-Shot 3D Anomaly Detection

回到点：探索用于零样本3D异常检测的点语言模型

Kaiqiang Li, Gang Li, Mingle Zhou, Min Li, Delong Han, Jin Wan

机构 * Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences), Jinan, China（计算机功率网络与信息安全重点实验室，教育部，山东计算机科学中心（济南国家超级计算机中心），齐鲁大学（山东科学院），济南，中国） ； Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science, Jinan, China（山东省计算功率互联网与服务计算重点实验室，山东省计算机科学基础研究中心，济南，中国） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 本文提出BTP框架，通过结合3D点云和文本嵌入，提升零样本3D异常检测的性能，实验表明其在Real3D-AD和Anomaly-ShapeNet上表现优异。

Comments CVPR 2026

Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses

Fisheye3R：将统一的3D前馈基础模型适应于鱼眼镜头

Ruxiao Duan, Erin Hong, Dongxu Zhao, Eric Turner, Alex Wong, Yunwen Zhou

机构 * Yale University（耶鲁大学） ； Google XR（谷歌XR） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本文提出Fisheye3R框架，通过灵活学习方案在不退化性能的前提下，使多视角3D重建模型适应高径向畸变的鱼眼图像。

Comments European Conference on Computer Vision 2026

Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

基于图像的机器人地理定位：黑盒视觉语言模型是否已经足够？

Sania Waheed, Bruno Ferrarini, Michael Milford, Sarvapali D. Ramchurn, Shoaib Ehsan

机构 * University of Southampton（南安普顿大学） ； MyWay srl ； Queensland University of Technology（昆士兰科技大学） ； University of Essex（埃塞克斯大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 本文首次系统研究黑盒生成式视觉语言模型作为独立零样本地理定位系统的潜力，发现其在粗粒度定位上表现良好，但在细粒度定位上因现实变化而显著退化。

Comments Accepted to the ICRA 2026 Workshop on Multi-Modal Spatial AI for Robust Navigation and Open-World Understanding (MM-SpatialAI)

Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

文化反事实：用反事实示例评估大型视觉语言模型中的文化偏见

Phillip Howard, Xin Su, Kathleen C. Fraser

机构 * Thoughtworks ； University of Ottawa（Ottawa大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 提出文化反事实数据集（近6万张反事实图像），通过图像编辑模型将不同人口特征的人置于真实文化背景中，量化大型视觉语言模型在宗教、国籍和社会经济地位方面的文化偏见。

Hierarchical Sparse Circuit Extraction from Billion-Parameter Language Models through Scalable Attribution Graph Decomposition

通过可扩展归因图分解从十亿参数语言模型中提取分层稀疏电路

Mohammed Mudassir Uddin, Shahnawaz Alam, Mohammed Kaif Pasha

机构 * Department of CSE, Muffakham Jah College of Engineering and Technology (MJCET)（计算机科学与工程系，穆法卡姆·贾赫工程与技术学院（MJCET）） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出分层归因图分解（HAGD）方法，通过跨层编码器训练、谱粗化、GNN引导分层遍历和因果干预验证，将电路提取复杂度降至O(n² log n)，在多个大模型上实现高行为保留。

Patronus: Identifying and Mitigating Transferable Backdoors in Pre-trained Language Models

Patronus: 识别和缓解预训练语言模型中的可迁移后门

Tianhang Zhao, Haodong Zhao, Wei Du, Pengzhou Cheng, Junxian Li, Sufeng Duan, Haojin Zhu, Gongshen Liu

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 针对预训练语言模型供应链中可迁移后门的安全威胁，提出Patronus防御框架，通过输入侧不变性检测和双阶段缓解策略，在15个模型和9个任务上实现≥98.3%后门检测召回率。

Comments Work in progress

Latent Action Pretraining Through World Modeling

通过世界建模的潜在动作预训练

Bahey Tharwat, Yara Nasser, Ali Abouzeid, Ian Reid

机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） ； Alexandria University（亚历山大大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出LAWM框架，通过世界建模从无标签视频中学习潜在动作表征，实现跨任务、环境和本体的迁移学习，在LIBERO基准和真实场景中优于使用真实动作预训练的方法。

MixTeX: Data-Efficient LaTeX OCR via Synthetic Pretraining and Limited Fine-Tuning

MixTeX: 通过合成预训练和有限微调实现数据高效的LaTeX OCR

Yuhan Xu, Yijun Zhao, Renqing Luo, Gary M. Weiss

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出MixTeX，通过合成预训练（无需真实LaTeX源）和少量真实样本微调，实现数据高效的LaTeX OCR，在英中印刷和手写基准上优于依赖大数据集的方法。

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

iARCS：用于可控3D场景生成的迭代智能体强化学习

Saugat Adhikari, Ashok Prasad Neupane, Pramish Paudel, Ajad Chhatkuli, Danda Pani Paudel

机构 * Tribhuvan University（特里布文大学） ； Pulchowk Campus, IOE, Tribhuvan University（特里布文大学工程学院普尔乔克校区） ； NAAMII（尼泊尔先进数学与信息学研究所） ； INSAIT, Sofia University “St. Kliment Ohridski”（索菲亚大学圣克莱门特奥赫里德斯基分校INSAIT） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI

AI总结 研究针对现有3D场景生成器无法满足任务约束的问题，提出iARCS迭代智能体强化学习框架，通过两阶段策略优化约束保真度，生成的数据可改进基础生成器，具实用价值。

Comments 15 pages, 9 figures, 4 tables. Includes appendix

Scaling Self-Play with Self-Guidance

通过自我指导实现自我对弈的扩展

Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 本文提出Self-Guided Self-Play算法，通过语言模型自身引导Conjecturer避免退化，解决传统自我对弈在计算资源扩展时的学习停滞问题，并在形式化定理证明中验证其有效性。

Bigger Is Safer: Provable Robustness in In-Context Learning Scales with Capacity

可证明的上下文学习中的对抗鲁棒性

Di Zhang, Ningxu Zhang, Zimeng Liu

机构 * School of AI and Advanced Computing（人工智能与先进计算学院） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种分布鲁棒的元学习框架，通过推导非渐近界限，揭示了上下文学习在对抗条件下鲁棒性与模型容量、扰动强度之间的缩放关系。

Comments 27 pages

Smooth Scaling Laws Hide Stepwise Token Learning

平滑缩放定律隐藏了逐步的令牌学习

Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

机构 * Dots Studio, Xiaohongshu Inc.（dots studio，小红书公司） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua university（清华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 本文提出令牌级框架，将缩放定律分解为上下文令牌的局部学习事件，通过拟合S形曲线发现令牌学习集中在局部转换中，并利用学习时间谱定量重建验证损失导数，进而通过重塑训练分布实现11%的验证损失加速降低。

Comments 21 pages

Lost in Backpropagation: The LM Head is a Gradient Bottleneck

陷入反向传播：语言模型头部是一个梯度瓶颈

Nathan Godey, Yoav Artzi

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 语言模型头部的梯度瓶颈导致表达和优化受限，影响训练效率，需新设计

Comments To be presented at COLM'26

Memisis: Orchestrating and Evaluating Synthetic Data for Tabular Health Datasets

Memisis：协调和评估表格健康数据的合成数据

Nitish Nagesh, Pengbao Zhou, Atchuth Naveen Chilaparasetti, Yajat Nagaraj Kiran, Tu Nguyen, Arshia Harish Puthran, Muhjaazee Love, Aadi Sharma, Mahdi Bagheri, Ian Harris, Amir M. Rahmani

机构 * University of California Irvine（加州大学尔湾分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Memisis工具，通过结合现有合成数据工具、大语言模型和先进评估指标，协调和评估合成数据，以提高下游预测任务和临床决策的质量。

Language Generation with Replay: A Learning-Theoretic View of Model Collapse

带重放的语言生成：模型崩溃的学习理论视角

Giorgio Racca, Michal Valko, Amartya Sanyal

机构 * University of Copenhagen（哥本哈根大学） ； Isara Labs（Isara实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究随着前沿大语言模型训练对数据需求增加，生成文本可能重入训练语料库致模型崩溃的问题。通过语言生成极限框架，引入重放对手，刻画重放何时限制生成。

Comments Accepted to ICML 2026

HSAP: A Hierarchical Sequence-aware Parallelism for Hybrid-Context Generative Models

HSAP: 一种面向混合上下文生成模型的分层序列感知并行方法

Songxin Zhang, Zejian Xie, Zhuoyang Song, Cong lin, Junyu Lu, Jiaxing Zhang, Bingyi Jing

机构 * Southern University of Science and Technology（南方科技大学） ； International Digital Economy Academy（国际数字经济学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出一种分层序列感知并行框架，通过JIT编译优化通信策略，解决混合上下文打包序列中的因果注意力计算问题，在多个指标上优于现有方法。

Comments 10 pages, ACL preprint style

From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis

从齐普夫定律到神经缩放：通过希普斯定律和希尔伯格假设

Łukasz Dębowski

机构 * Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文系统揭示了神经缩放定律与齐普夫定律之间的演绎关系，通过推导词汇增长的希普斯定律和熵缩放的希尔伯格假设，证明神经缩放定律是齐普夫定律在广泛假设下的推论。

Comments 32 pages, no figures

ParaSpeechCLAP: A Dual-Encoder Speech-Text Model for Rich Stylistic Language-Audio Pretraining

ParaSpeechCLAP：面向丰富风格语言-音频预训练的双编码器语音-文本模型

Anuj Diwan, Eunsol Choi, David Harwath

机构 * Department of Computer Science, The University of Texas at Austin, USA（德克萨斯大学奥斯汀分校计算机科学系） ； Computer Science and Data Science, New York University, USA（纽约大学计算机科学与数据科学系） 纠错

专题命中 预训练与数据 ：pretraining(title)；分类 cs.CL、cs.AI

AI总结 提出ParaSpeechCLAP双编码器模型，将语音与文本风格描述映射到共享嵌入空间，支持丰富内在和情境风格描述，在风格描述检索、属性分类及TTS奖励模型中优于基线。

Comments Interspeech 2026

Deep Delta Learning

深度delta学习

Yifan Zhang, Yifeng Liu, Mengdi Wang, Quanquan Gu

机构 * Princeton University（普林斯顿大学） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出深度delta学习，通过选择性重写残差内容提升语言模型性能，改进了Transformer残差流的更新机制。

Comments Project Page: https://github.com/yifanzhang-pro/deep-delta-learning

XR-1: Towards Versatile Vision-Language-Action Models via Learning Unified Vision-Motion Representations

XR-1：通过学习统一的视觉-运动表示实现多功能的视觉-语言-动作模型

Shichao Fan, Kun Wu, Zhengping Che, Xinhua Wang, Di Wu, Fei Liao, Ning Liu, Yixue Zhang, Zhen Zhao, Zhiyuan Xu, Meng Li, Qingjie Liu, Shanghang Zhang, Min Wan, Jian Tang

机构 * Beijing Innovation Center of Humanoid Robotics, Beijing, China（北京人形机器人创新中心，北京，中国） ； School of Mechanical Engineering and Automation, Beihang University, Beijing, China（北京航空航天大学机械工程及自动化学院，北京，中国） ； State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，SCSE，北京航空航天大学，北京，中国） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，北京大学，北京，中国） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 XR-1通过学习统一的视觉-运动表示，解决视觉-语言-动作模型在低级动作生成和跨数据源领域差距的挑战，提出三阶段训练方法并验证了其在多种机器人和任务上的优越性能。

Comments Accepted to ICML2026 as Oral

Rethinking Cross-lingual Gaps from a Statistical Viewpoint

从统计视角重新思考跨语言差距

Vihari Piratla, Purvam Jain, Darshan Singh, Trevor Cohn, Preethi Jyothi, Partha Talukdar

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出跨语言差距源于目标语言响应方差，通过形式化偏差和无偏误差，并采用推理时集成方法降低方差，使跨语言迁移得分提升8%-50%以上。

Comments 30 pages

MIRAGE: Misleading Retrieval-Augmented Generation via Black-box and Query-agnostic Poisoning Attacks

MIRAGE: 通过黑盒与查询无关的投毒攻击误导检索增强生成

Tailun Chen, Yu He, Yan Wang, Shuo Shao, Haolun Zheng, Zhihao Liu, Jinfeng Li, Zhizhen Qin, Yuefeng Chen, Zhixuan Chu, Zhan Qin, Kui Ren

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；preference optimization(abstract)

AI总结 提出MIRAGE，一种在黑盒和查询无关场景下通过多阶段投毒管道攻击RAG系统的方法，利用代理模型反馈、人物驱动查询合成、语义锚定和对抗性TPO优化，显著提升攻击效果和隐蔽性。

Let ViT Speak: Generative Language-Image Pre-training

让ViT说话：生成式语言-图像预训练

Yan Fang, Mengcheng Lan, Zilong Huang, Weixian Lei, Yunqing Zhao, Yujie Zhong, Yingchen Yu, Qi She, Yao Zhao, Yunchao Wei

机构 * Beijing Jiaotong University（北京交通大学） ； ByteDance（字节跳动） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出GenLIP框架，通过语言建模目标直接训练ViT从视觉token预测语言token，无需对比学习或额外文本解码器，实现简单、可扩展且性能优异的视觉编码器。

Comments 27 pages, 11 figures. Code and models are available at https://github.com/YanFangCS/GenLIP

From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

从假到真：基于平衡合成图像的预训练以防止图像识别中的虚假相关性

Maan Qraitem, Kate Saenko, Bryan A. Plummer

专题命中 预训练与数据 ：pretraining(title)；分类 cs.LG

AI总结 针对图像识别模型易受虚假相关性影响的问题，提出从假到真（FFR）两步训练流程，先在平衡合成数据预训练，再用真实数据微调，在三个数据集上使最差组准确率较SOTA提升最高20%

Comments Accepted at ECCV 2024