语言大模型 / LLM

Inject, Align, Recover: Staged Post-Training for Retrieval-Free Document Knowledge Internalization

注入、对齐、恢复：用于无需检索的文档知识内化的分阶段后训练

Qian Kou, Xiaofeng Shi, Xiaosong Qiu, Hua Zhou

专题命中 预训练与数据 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对大型语言模型无需检索文档时无法回答相关问题的痛点，提出IAR三阶段后训练框架，在多数据集、多模型上显著提升了文档知识内化的领域与通用性能。

Comments 21 pages, 4 figures. Includes Supplementary Material Sections A--G. Qian Kou and Xiaofeng Shi contributed equally and are co-corresponding authors. Hua Zhou is the project leader

Incident-Data Robustness Analysis of the OWASP Top 10 for LLM Applications (2026): How a Community-Expert Ranking Holds Up Against a Large-Scale LLM Incident Corpus

2026年面向LLM应用的OWASP Top 10的事件数据鲁棒性分析：社区专家排名如何在大规模LLM事件语料库面前保持有效性

Kyriakos "Rock" Lambros, Steve Wilson

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 该研究以OWASP 2026年LLM应用Top 10专家排名为对象，结合7714条LLM安全事件语料库，用贝叶斯模型分析其鲁棒性，发现两者一致性弱但专家排名仍具鲁棒性，且未推翻官方共识。

Comments 26 pages, 19 figures. Exploratory incident-data analysis by two members of the OWASP GenAI Security Project Top 10 for LLM Applications working group. Analysis predates the official OWASP GenAI LLM Top 10 2026 (published August 2026). Not an official OWASP release and does not supersede the official list or process. Code and data: this https URL (https://github.com/rocklambros/incident-rank-validation)

Scale-Aware Pretraining of Time Series Foundation Models via Multi-Patch Token Alignment and Hybrid Masking

基于多补丁令牌对齐与混合掩码的时间序列基础模型尺度感知预训练

Taihua Chen, Xiang Ma, Yixin Zhang, Tailin Zhan, Manyu Sun, Lizhen Cui

机构 * School of Software, Shandong University（山东大学软件学院） ； Joint SDU–NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University（山东大学-南洋理工大学人工智能联合研究中心（C-FAIR）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文针对时间序列基础模型预训练中处理不同采样频率的问题，提出SATS方法，通过尺度感知令牌对齐与混合掩码策略实现最优性能，同时提升模型效率。

LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection

作为检测器的大语言模型：一种用于表格异常检测的上下文学习方法

Tu Anh Hoang Nguyen, Dang Nguyen, Thuc Duy Le, Trung Le, Sunil Gupta

机构 * Applied Artificial Intelligence Initiative (A2I2), Deakin University（应用人工智能计划（A2I2），迪肯大学） ； Adelaide University（阿德莱德大学） ； Monash University（莫纳什大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 本研究提出LLM-Detector框架，利用LLM的上下文学习能力进行表格异常检测，在24个数据集上对比15个SOTA基线均获提升，且无需微调或神经网络训练，降低了计算成本。

Comments Accepted at International Conference on Neural Information Processing (ICONIP) 2026

Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa

用于文本摘要的Transformer模型：BART、BERT与RoBERTa的对比研究

Daisy Aptovska, Vinayak Elangovan

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对文本摘要任务，对比分析BERT、RoBERTa、BART三款Transformer模型的架构、预训练策略及在抽取式、生成式摘要任务中的适用性，为相关应用提供参考。

Comments 1- pages

Decoding silent reading from non-invasive EEG

从无创脑电图解码默读内容

Ingo Marquardt, Anthilia Alchanat, Priyanka Jain

机构 * nubrain 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究以默读为替代任务，用CLIP式对比训练的卷积EEG编码器结合因果Transformer，从EEG中成功解码开放词汇单词级信息，发现解码受数据限制而非饱和。

Comments 45 pages (including 12 pages of Supplementary Material), 11 figures (including 2 in Supplementary Material)

Does Marginal Coverage Guarantee Class-Conditional Safety for Zero-Shot VLMs Under Shift?

在分布偏移下，边际覆盖率能否保证零样本视觉语言模型（VLM）的类条件安全性？

Jai Kumar Sharma, Amartya Dutta

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究针对CLIP等零样本VLM，发现边际共形覆盖率无法保证类条件安全性，源域校准无法迁移，目标域类别校准可改善尾部但需类别标签，指出其仅为平均可靠性统计量。

Comments Accepted at the ECCV 2026 Workshop on Uncertainty Quantification for Computer Vision (UNCV). 34 pages (16 main + 18 supplementary), 10 figures

Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning

利用离线质量多样性强化学习学习分层技能策略

Tanachai Anakewat, Takayuki Osa, Tatsuya Harada

机构 * The University of Tokyo（东京大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出QDOS算法，通过优势加权质量多样性预训练与双数据集复用策略，在分层技能学习框架下，于稀疏奖励任务中显著提升性能，优于强基线算法。

Comments IROS 2026

DeltaMomentum: A Key-Value based Anisotropic Momentum Update via Delta Rule

DeltaMomentum：基于键值结构的Delta规则各向异性动量更新

Euijin Hong, Guannan Qu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 DeltaMomentum将方向感知融入动量更新，可作为优化器动量缓冲器的即插即用替代，在预训练中减少AdamW步数，在多模型和数据集上验证了其有效性。

Online Test-Time Adaptation for Generalizable Dynamic Graph Anomaly Detection

面向可泛化动态图异常检测的在线测试时适应

Jialun Zheng, Hanchen Yang, Jiannong Cao, Yankai Chen, Yuanjing Feng, Philip S. Yu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Institute of Information Processing and Automation, Zhejiang University of Technology（浙江工业大学信息处理与自动化研究所） ； University of Illinois at Chicago (UIC)（伊利诺伊大学芝加哥分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 针对可泛化动态图异常检测现有方法的局限，提出OTTA-DGAD方法，通过时序自图提取动态原型并结合内存缓冲区，在10个真实世界数据集上实现了最优性能。

Far from the Crowd: Scalable Self-Supervised Learning via Geographic Isolation

远离人群：基于地理隔离的可扩展自监督学习

Daniele Rege Cambrin, Francesco Rossi, Mattia Varile

机构 * AIKO 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究提出基于地理隔离的无标签代理指标，将其集成到MoCoV2和MAE预训练中，在CopernicusBench的三个下游任务上验证，可大幅降低预计算成本并提升下游性能。

Comments Accepted to ECCV 2026 TerraBytes Workshop

G3Ego: Gaze-Guided Graphs for Egocentric Action Understanding

G3Ego：用于自我中心动作理解的注视引导图

Marko Haralović, Akash Ramakrishnan, Estefania Talavera Martinez

机构 * University of Zagreb（萨格勒布大学） ； University of Twente（特文特大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本研究提出G3Ego框架，将注视直接融入图构建以识别动作相关实体，在EGTEA Gaze+和MECCANO数据集上实现有竞争力的动作理解性能，且在类别不平衡评估下提升Macro-F1，无需昂贵视频预训练。

Comments Accepted at the CONTEXTUS Workshop, ECCV 2026

Spiking Local Interaction and Adaptive Complementary Fusion for Spiking Transformer

用于脉冲 Transformer 的脉冲局部交互与自适应互补融合

Dongcheng Zhao, Sicheng Shen, Zhenyu Yang, Zhiyuan Li, Jinyan Yu, Yongjian Wang, Tiechui Yao, Wenli Zhang, Tielin Zhang

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 该研究针对脉冲 Transformer 局部空间上下文传播受限问题，提出脉冲局部交互与自适应互补融合方法，在多类视觉任务上实现性能提升，QKFormer 取得优异表现。

Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)

基于大语言模型与检索增强生成的财经新闻自动摘要：2023年秋的早期实证研究

Pranav Chandaliya

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该2023年秋的研究构建了结合LLM与RAG的财经新闻摘要流程，测试多种模型与方法，发现Summarize Chains的Falcon-7B表现最优，RAG存在缺陷，且相关失效模式至今仍具参考价值。

Comments 17 pages, 1 figure, 6 tables. Research conducted Fall 2023 at George Washington University; manuscript prepared for public release in 2026

Frequency-Aware Continual Learning for Smart Contract Vulnerability Detection with Large Language Models

基于大语言模型的频率感知持续学习智能合约漏洞检测

Tenghui Huang, Jiawen Kang, Dongning Liu, Changyan Yi, Chengjun Cai, Anjia Yang, Li Li, Dong In Kim

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院） ； College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； Department of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学系） ； College of Cyber Security, Jinan University（暨南大学网络安全学院） ； Guangdong Institute of Science and Technology Information（广东省科技情报研究所） ； Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电气与计算机工程系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 该研究针对大语言模型用于智能合约漏洞检测时的三个挑战，提出含FA-LoRA、FAR、APPM的三阶段集成框架，在DIVE数据集上取得优异性能，可有效应对区块链生态系统的相关问题。

MidTool: Mid-training Data Synthesis for Agentic Tool Use

MidTool：面向智能体工具使用的训练中期数据合成

Fengqing Jiang, Yite Wang, Boyi Liu, Zhaoyang Wang, Canwen Xu, Zhewei Yao, Radha Poovendran, Yuxiong He

机构 * University of Washington（华盛顿大学） ； Snowflake（雪花公司） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出MidTool流水线，构建面向智能体工具使用的训练中期数据，在MidTool-Mix上微调Qwen3模型，可显著提升工具使用相关下游任务性能，证明通用工具使用需专门训练中期调整。

Comments Data & Model: this https URL (https://hf.co/collections/MidTool/midtool-release)

Auditing Cross-Lingual Fairness in Language Model Watermarking

语言模型水印的跨语言公平性审计

Alexander Nemecek, Osama Zafar, Debargha Ganguly, Vikash Singh, Vipin Chaudhary, Erman Ayday

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出含四组件的跨语言公平性评估框架，应用于多方案、生成器、语言及模型 regime，揭示单语言评估无法发现的失效模式，发现水印跨语言公平性差距源于语言属性的结构性问题。

Comments 24 pages

From Noise to Signal: Improving Security Log Anomaly Detection Using LLMs with Endpoint-Specific Logs

从噪声到信号：利用具备端点特定日志的大语言模型改进安全日志异常检测

Christopher Henshaw, Gour Karmakar

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 本研究开发基于指令的LLM分类框架，结合端点特定日志，经实验验证Meta Llama 3.1 8B Instruct在安全日志异常检测中性能优于Wazuh、OpenSearch等方法。

Comments The paper contains 35 pages and 3 figures. The paper has not been submitted or published in any conference or journal. The authors have an aim to publish it in a journal

Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning

搭建心智：优化多模态推理的潜在视觉目标表示

Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

机构 * Google DeepMind（谷歌DeepMind） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.LG

AI总结 针对潜在推理框架的 SFT 阶段潜在表示对齐差、RL 阶段缺乏探索性潜在轨迹的局限，提出 Scaffolding Minds，学习专用搭建编码器与 RL 采样器的均值方差，在多基准任务上取得显著性能提升。

Distilling Aggregate Mobility Statistics into a Language Model Policy for Post-Event Crowd Simulation

将聚合出行统计数据提炼为语言模型策略以用于事件后人群模拟

Tatsuya Amano, Hirozumi Yamaguchi

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究针对仅能获取聚合出行统计数据的场景，通过微调语言模型人群智能体并结合迭代比例拟合与低秩适配器，降低了事件后人群模拟的目的地份额误差。

Comments 4 pages, 3 figures. Accepted as a short paper at ACM SIGSPATIAL 2026

Robust Cross-Modal Foundation Model Perception for Underwater Robots under Degraded Visual Conditions

退化视觉条件下水下机器人的鲁棒跨模态基础模型感知

Mohammad Arif Ul Alam

机构 * College of Science and Technology, North Carolina A & T State University（北卡罗来纳农工州立大学科学技术学院） 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.AI

AI总结 该研究针对水下机器人视觉退化问题，提出感知退化的视觉-声纳门控融合方法，在极端退化下使平衡准确率较 DINOv2 基线提升 33.5%，实现鲁棒跨模态感知。

Projector Is All You Train

仅训练投影器就足够

Nyx Iskandar, Saathvik Selvan, Slater Victoroff

机构 * Ramen VR（拉面VR公司） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究探究多模态大语言模型适配新模态是否需微调主干，经实验发现仅训练投影器即可实现强多模态性能，还能避免联合训练导致的语言模型能力漂移，且训练样本吞吐量约为联合训练的两倍，通过多类基准验证了结论。

AEGIS: Attention-Embedding Gradient Isolation Shield - Triple-Channel Gradient Masking for Privacy-Preserving Federated LLM Fine-Tuning

AEGIS：注意力嵌入梯度隔离护盾——用于隐私保护的联邦大语言模型微调的三通道梯度掩码

Ye Tao, Hong Shen, Hui Tian, Xin Wang, Can Wang

专题命中 指令微调 ：LLM(title)

AI总结 AEGIS是一种轻量级联邦大语言模型微调防御措施，通过三通道梯度掩码关闭私有令牌信息泄露通道，可将梯度反演攻击的令牌恢复率降至接近零，同时保留或提升模型效用。

Comments 23 pages, 6 figures. Accepted at NDSS 2027; camera-ready version forthcoming

GRACE: Grounded Reasoning via Adapter Composition and Evidence-Aware Calibration for Educational Visual Question Answering

GRACE：基于适配器组合与证据感知校准的教育视觉问答的接地推理

Xinjin Li, Yudi Xia, Xi Zhao, Yiliu Xu, Yining Liu, Cheng Lu, Yujian Long, Yu Ma, Jinghan Cao, Liang Fan, Yeyun Xu

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 针对教育视觉问答的问题-选项捷径问题，提出GRACE框架，利用结构化教育状态实现参数高效多模态适配，在ScienceQA上提升了多项准确率。

Phantom Gains: Auditing Self-Improvement Against a Measured Null

幻影增益：针对可测量零假设的自我改进审计

Cheng Xu, Nan Yan, Liming Chen, M-Tahar Kechadi

机构 * University College Dublin（都柏林大学学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对Qwen3-8B的LoRA自训练开展审计，发现测量伪影会反转改进结论，提出用逐问题精确检验替代自然阈值修复，还揭示外部蒸馏与自训练的不同效果及自训练的破坏作用。

Comments Code and evaluation artifacts are available at this https URL (https://github.com/chengxuphd/phantom-gains)

What You Can't See Is What You Learn: Restricted Evidence Visibility Favors Compositional Generalization in Shared-Genome Language-Model Societies

你看不见的是你所学的：受限证据可见性有利于共享基因组语言模型社群中的组合泛化

Narcis Marincat

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究探究受限证据可见性对共享基因组语言模型社群的影响，发现受限可见性可显著提升组合泛化能力，虽未通过完整预注册测试，但利于形成可重用的值索引接口。

Comments 16 pages, 3 figures, 5 tables. Code and evaluation records: this https URL (https://github.com/tokenosopher/populus-evidence-partitioning); checkpoints: this https URL (https://huggingface.co/tokenosopher/populus-evidence-partitioning-checkpoints)

Fine-Tuning VLAs with Self-Demonstrated Generative Control for Multi-Task Manipulation

通过自演示生成控制对视觉-语言动作（VLA）模型进行微调以实现多任务操作

Prachi Garg, Steve Xing, Prahit Yaugand, Saurabh Gupta, Derek Hoiem

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.LG

AI总结 本文针对VLA模型部署到新机器人时因硬件不匹配导致性能下降的问题，提出自监督方法生成在线交互rollout数据微调VLA模型，使模型在目标机器人上同时具备先验任务能力、指令遵循能力与高效学习新技能的能力。

Comments Project Page: this https URL (https://self-supervised-control.pages.dev/)

TextRefine: Improving Textual Fidelity, Spatial Placement, and Glyph Rendering for Text Editing in Product Posters

TextRefine：提升产品海报文本编辑中的文本保真度、空间位置与字形渲染

Honglie Wang, Jia Sun, Zijun Li, Junlong Wu, Pengcheng Wei, Jiyuan Wang, Yongrui Heng, Boheng Zhang, Huaiqing Wang, Dewen Fan, Qianqian Gan, Fan Yang, Tingting Gao, Yan-Ming Zhang

专题命中 指令微调 ：post-training(abstract)

AI总结 研究针对产品海报文本编辑中通用模型的缺陷，提出TextRefine框架与OpenTextEdit数据集，在文本保真度、位置可靠性等指标上优于基线方法，提升了产品海报文本编辑效果。

What Matters for Latent Actions in Robot Learning

机器人学习中隐式动作的关键影响因素

Xizhou Bu, Qingda Hu, Lei Zhou, Lingfeng Zhang, Yingbo Tang, Zihao Liu, Xinyi Tao, Zhiqiang Ma, Qingqiu Huang, Chufeng Tang, Hongbo Wang, Jing Zhang, Jiayi Ma, Hangjun Ye, Wei Li, Xiaoshuai Hao

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Guangdong Provincial Key Laboratory of Computility Microelectronics, Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳先进技术研究院计算机微科学与技术学院、广东省计算微电子重点实验室） ； School of Aeronautics and Astronautics, Sichuan University（四川大学航空航天学院） ； Suzhou Evans Intelligent Technology Co., Ltd.（苏州伊文斯智能科技有限公司） ； Morphi Intelligence Technology Co., Ltd.（墨飞智能科技有限公司） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Xiaomi EV（小米汽车） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 本研究通过统一框架整合代表性隐式动作模型，系统探究41种设计选择，发现用隐式动作微调视觉语言模型主干可为下游机器人操纵策略学习提供更强初始化。

Comments Project page: this https URL (https://carldegio.github.io/latent_action.github.io)

Reward-Guided Autoregressive Graph Generation for Efficient Multi-Agent Communication Topology Design

奖励引导自回归图生成的高效多智能体通信拓扑设计

Poomphob Suwannapichat, Boonyarit Changaival, Caesar Wu, Pascal Bouvry

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对多智能体系统通信拓扑设计中 token 消耗过高的问题，本文提出 RGA-Designer 方法，通过结合 RLHF 训练奖励模型微调图生成器，在保持任务准确率的同时降低了 token 消耗。

Comments Full version of extended abstract accepted at ICONIP 2026 (poster)