语言大模型 / LLM

Learning by Surprise: Adaptive Mitigation of Model Collapse in Large Language Models

通过惊喜学习：大型语言模型中模型崩溃的自适应缓解

Daniele Gambetta, Gizem Gezici, Fosca Giannotti, Dino Pedreschi, Alistair Knott, Luca Pappalardo

机构 * University of Pisa（比萨大学） ； ISTI-CNR（意大利国家研究委员会信息科学与技术研究所） ； Scuola Normale Superiore（比萨高等师范学校） ； Victoria University of Wellington（惠灵顿维多利亚大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对AI自噬导致的模型崩溃问题，提出基于困惑度的过滤策略，优先使用高惊喜文档进行微调，无需区分人写或AI生成内容，有效缓解崩溃并保持性能。

Patcher: Post-Hoc Patching of Backdoored Large Language Models

Patcher: 后门大型语言模型的事后修补

Anjun Gao, Yueyang Quan, Yufei Xia, Zhuqing Liu, Minghong Fang

机构 * University of Louisville（路易斯维尔大学） ； University of North Texas（北得克萨斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出Patcher框架，仅利用单个失败案例和模型参数，通过基于梯度的显著性定位后门触发器，并采用约束微调消除触发-响应关联，同时保持模型效用。

Comments To appear in the USENIX Security Symposium, 2026

Federated Large Language Models: Current Progress and Future Directions

联邦大语言模型：当前进展与未来方向

Yuhang Yao, Jianyi Zhang, Junda Wu, Chengkai Huang, Yu Xia, Tong Yu, Ruiyi Zhang, Sungchul Kim, Ryan Rossi, Ang Li, Lina Yao, Julian McAuley, Yiran Chen, Carlee Joe-Wong

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Duke University（杜克大学） ； University of California San Diego（加州大学圣地亚哥分校） ； The University of New South Wales（新南威尔士大学） ； Adobe Research（Adobe研究） ； University of Maryland College Park（马里兰大学学院公园分校） ； CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文综述联邦学习与大语言模型结合（FedLLM）的最新进展，重点分析联邦微调和联邦提示学习如何应对效率、个性化和安全挑战，并展望联邦预训练和联邦智能体等方向。

Comments Accepted by PAKDD 2026

RELISH: LLM REgression with a Latent Iterative State Head

基于潜在迭代状态头的大型语言模型回归

Yiheng Su, Matthew Lease

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 RElish通过迭代优化潜在状态实现文本回归，优于三种主流回归方法，参数效率高。

Comments Accepted to the Third Conference on Language Modeling (COLM 2026)

SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks

SEMA: 简单却有效的多轮对抗攻击学习

Mingqian Feng, Xiaodong Liu, Weiwei Yang, Jialin Song, Xuekai Zhu, Chenliang Xu, Jianfeng Gao

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 SEMA通过多阶段学习实现高效多轮对抗攻击，无需依赖现有策略，提升攻击成功率并增强安全测试能力。

Comments ICLR 2026, 37 pages, 13 tables, 7 figures

Large Language Models for Low-Resource Languages: A Conceptual Framework for an Electronic Explanatory Dictionary of the Tajik Language

用于低资源语言的大语言模型：塔吉克语电子解释词典的概念框架

Mullosharaf K. Arabov, S. S. Pirov, B. Sultonov

机构 * Kazan Federal University（喀山联邦大学） ； Tajik National University（塔吉克国立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文针对低资源语言塔吉克语，提出结合LLMs与经典词典方法的电子解释词典概念架构，为相关应用NLP任务提供核心资源，适用于计算语言学等领域从业者。

Comments Preprint

PolyAlign: Conditional Human-Distribution Alignment

PolyAlign: 条件性人类分布对齐

L. D. M. S. Sai Teja, Ufaq Khan, Sathira Silva, Xiao Wu, Muhammad Haris Khan

机构 * NIT Silchar（印度国立理工学院锡尔恰尔分校） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 提出PolyAlign框架，通过桶感知SFT和人类分布偏好优化，实现语言模型在不同交互上下文中的条件性人类分布对齐，提升自然性和分布忠实度。

Comments 23 pages, 5 Figures, 13 Tables

Lifted State Hypothesis in Large Language Models

语言模型中的提升表示假设

Bumjin Park, Jaesik Choi

机构 * KAIST AI（韩国科学技术院人工智能研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究大型语言模型中结构的存储、选择和修正问题，提出提升表示假设，通过多种实验评估其提升和细化情况，发现数据受嵌套规则和异常支配时模型存在问题，强调需研究数据与规则结构关系。

Comments 24 pages, 13 figures

Turn-Based Structural Triggers: Structure-Conditioned Backdoors in Multi-Turn LLMs

基于回合的结构性触发器：多轮LLM中的无提示后门

Yiyang Lu, Jinwen He, Yue Zhao, Kai Chen, Ruigang Liang, Cheng Hong, Yingjun Zhang

机构 * School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 提出一种利用对话结构（回合索引）作为触发器的后门攻击方法TST，无需用户输入即可激活，实现高攻击成功率并绕过提示中心防御。

Knowledge Graph Augmented Large Language Models for Disease Prediction

基于知识图谱的大型语言模型用于疾病预测

Ruiyu Wang, Tuan Vinh, Ran Xu, Yuyin Zhou, Jiaying Lu, Francisco Pasquel, Mohammed K Ali, Carl Yang

机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Division of Medical Sciences, Oxford University（牛津大学医学系） ； Department of Computer Science and Engineering, UCSC（UCSC计算机科学与工程系） ； Nell Hodgson Woodruff School of Nursing, Emory University（埃默里大学内尔·霍根·伍德鲁夫护理学院） ； School of Medicine, Emory University（埃默里大学医学院） ； Rollins School of Public Health, Emory University（埃默里大学罗林斯公共卫生学院） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出基于知识图谱的大型语言模型框架，用于提升疾病预测的准确性与解释性，通过构建时间一致的推理依据，在多个数据集上取得优于经典基线的性能。

LLM2Vec-Gen: Generative Embeddings from Large Language Models

LLM2Vec-Gen：从大型语言模型生成嵌入向量

Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

机构 * McGill University（麦吉尔大学） ； Mila–Quebec AI Institute（米拉-魁北克人工智能研究所） ； ServiceNow Research（ServiceNow研究院） ； Cohere ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 LLM2Vec-Gen通过自监督学习生成大型语言模型的嵌入向量，无需微调，提升MTEB基准测试性能，并保留语义和推理能力。

Comments Accepted to COLM 2026

Teaching LLMs String Matching, Backtracking, and Error Recovery to Deduce Bases and Truth Tables for the Combinatorially Exploding Bit Manipulation Puzzles

教LLM字符串匹配、回溯与错误恢复：为组合爆炸的位操作谜题推导基和真值表

Prateek Agnihotri, Sanchit Jain, Prabhat Agnihotri, Aditya Prasad, Shubham Jain

机构 * NVIDIA 纠错

专题命中 指令微调 ：LLM(title_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种新方法，通过字符串相似性、结构化搜索和自主错误恢复，避免复杂布尔逻辑，解决位操作谜题中的组合爆炸问题，实现96%以上验证准确率。

Comments 22 pages, 4 figures, 2 tables. 7th Place Solution for the NVIDIA Nemotron Model Reasoning Challenge (Kaggle)

What's on My Network? Using Large Language Models to Identify Real-World IoT Devices at Scale

我的网络上有什么？使用大语言模型大规模识别现实世界中的物联网设备

Rameen Mahmood, Tousif Ahmed, Sai Teja Peddinti, Danny Yuxing Huang

机构 * New York University（纽约大学） ； Google（谷歌） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 研究共享环境中物联网设备识别难题，引入语义推理管道，用大语言模型构建高保真标签并指令微调模型，在众多供应商中取得高准确率，对多种问题保持稳健，为大规模可信设备识别提供基础。

Comments 18 pages, 3 figures

Journal ref Proc. ACM Netw. 4, CoNEXT2, Article 26 (2025)

SynthFix: Adaptive Neuro-Symbolic Code Vulnerability Repair

SynthFix：自适应神经符号代码漏洞修复

Yifan Zhang, Jieyu Li, Kexin Pei, Yu Huang, Kevin Leach

机构 * Vanderbilt University（范德比大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 SynthFix通过结合代码生成与编译器引导的符号反馈，提升LLM在漏洞修复中的性能，实验表明其在CodeBLEU/CrystalBLEU和Exact Match指标上优于传统基线方法。

PLoRA: Efficient Concurrent LoRA Training for Large Language Models

PLoRA：用于大语言模型的高效并发LoRA训练

Minghao Yan, Zhuang Wang, Zhen Jia, Shivaram Venkataraman, Yida Wang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 研究发现当前LoRA训练范式不能有效利用硬件资源，提出PLoRA，在给定硬件和模型约束下自动编排并发LoRA微调作业并开发高性能内核，提升训练效率。

A Recipe for Long-Context Reasoning in Large Language Models via On-Policy Optimization and Distillation

结合在线优化与蒸馏以提升大语言模型的长上下文推理能力

Miguel Moura Ramos, Duarte M. Alves, André F. T. Martins

机构 * Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院） ； Instituto de Telecomunicações（电信研究所） ； TransPerfect（TransPerfect公司） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出dGRPO方法，结合在线优化与蒸馏，通过强教师模型提供密集指导，提升长上下文推理能力，同时保持短上下文能力。

Learn from Your Mistakes: Tree-like Self-Play for Secure Code LLMs

从错误中学习：面向安全代码LLM的树状自博弈

Wenqi Chen, Ziyan Zhang, Bin Wang, Lin Liu, Hengheng Zhang, Zhengsu Chen

专题命中 指令微调 ：LLM(title_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出树状自博弈（TSP）框架，将安全代码生成建模为细粒度序列决策过程，通过构建决策树探索安全与脆弱路径，使模型在关键决策节点自我纠正，显著提升代码安全性并实现跨语言泛化。

Comments 18 pages, 3 figures, Accepted by ICML 2026

Adaptively Robust LLM Monitoring via Activation Watermarking

通过激活水印实现语言模型的鲁棒安全监控

Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过激活水印技术提升语言模型的安全监控能力，针对适应性攻击者设计改进防御策略，有效提升检测准确率。

Comments 17 pages, 17 figures, 8 tables

Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization

Omni-Persona：系统性基准测试与改进多模态个性化

Yeongtak Oh, Dongwook Lee, Sangkwon Park, Heeseung Kim, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目） ； Department of Artificial Intelligence, University of Seoul（首尔大学人工智能系） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Omni-Persona提出首个多模态个性化基准，通过Persona Modality Graph任务组和细粒度任务，系统分析多模态个性化中的接地行为，提出Calibrated Accuracy评估方法，揭示开源模型在音频与视觉接地上的差距及SFT与RLVR的局限性。

Comments Project Page: https://github.com/oyt9306/Omni-Persona

Quokka: Accelerating Program Verification with LLMs via Invariant Synthesis

Quokka：通过不变式合成加速程序验证

Anjiang Wei, Tianran Sun, Tarun Suresh, Haoze Wu, Ke Wang, Alex Aiken

机构 * Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amherst College（阿默斯特学院） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Quokka通过利用大语言模型生成有用的循环不变式，提升程序验证效率，其评价导向框架在多个模型家族中表现出色，优于现有基于LLM的验证器。

daVinci-kernel: Co-Evolving Skill Selection, Summarization, and Utilization via RL for GPU Kernel Optimization

daVinci-kernel：通过强化学习协同进化技能选择、总结与利用的GPU内核优化

Dayuan Fu, Mohan Jiang, Tongyu Wang, Dian Yang, Jiarui Hu, Liming Liu, Jinlong Hou, Pengfei Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出daVinci-kernel框架，通过强化学习联合训练技能选择、策略生成和技能总结三个智能体，共享LLM骨干，实现GPU内核优化，在KernelBench上超越先前最优模型。

GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models

GAP-MLLM：几何对齐预训练以激活多模态大语言模型中的3D空间感知

Jiaxin Zhang, Junjun Jiang, Haijie Li, Youyu Chen, Kui Jiang, Dave Zhenyu Chen

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； Huawei（华为） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出GAP-MLLM，通过几何对齐预训练激活多模态大语言模型中的3D空间感知，改进了传统方法在3D空间感知上的不足。

Comments Accepted by ECCV 2026. Project page: https://gapmllm.github.io/

Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

视频流思考：VideoLLMs可以同时观看和思考

Yiran Guan, Liang Yin, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus Xiaomi Inc.（小米公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 VST提出了一种视频流理解的新范式，通过在流式过程中激活推理，提高实时响应和理解能力，同时在多个基准测试中表现出更高的效率和泛化能力。

Comments Accepted by ECCV 2026, project page https://1ranguan.github.io/VST/

FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning

FDLoRA：通过双LoRA调整实现大语言模型的个性化联邦学习

Yao Lu, Jiaxing QI, Zhongzhi Luan, Shaohan Huang, Carol Fung, Hailong Yang, Depei Qian

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 针对单个用户训练大语言模型资源需求高的挑战，提出FDLoRA框架，采用双LoRA调整，在客户端分别捕捉个性化和全局知识，仅全局模块上传参数，经自适应融合提升性能，降低通信和计算成本。

Benchmarking LLMs for Community Governance Simulation with Life-history Narratives

用生命历程叙事对社区治理模拟中的大语言模型进行基准测试

Xu Chen, Yuanzi Li, Lei Wang, Nan Lu, Yang Wang, Anding Wang, Lei Shi, Xiaoxing Fu, Ji-Rong Wen

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对社区治理中居民个体模拟需求，提出包含数据集、基准测试、算法和系统的框架，通过丰富生命历程叙事提升LLM模拟保真度，并设计curriculum-LoRA算法在降低调用成本的同时保持高保真度。

Moral Hazard in Multi-Agent Language Models

多智能体语言模型中的道德风险

Dane Malenfant

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；language agent(abstract)；分类 cs.AI

AI总结 研究多智能体语言模型中的道德风险，引入对话道德风险游戏，评估七个模型并分解行为，用多种优化机制更新，发现效果异质，强调应报告机制级行为而非仅团队成功。

Comments This revision substantially expands the empirical evaluation to eleven open-weight and three frontier models, adding matched query-cost, team-reward, group-size, and private-share incentive analyses. It also extends the weight-level and GEPA results, frozen-prompt information-structure interventions, statistical uncertainty analyses, and qualitative prompt/reasoning-trace studies

VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation

VLM2Rec: 解决视觉语言模型嵌入器在多模态序列推荐中的模态崩溃问题

Junyoung Kim, Woojoo Kim, Wonbin Kweon, Jaehyung Lim, Dongha Kim, Hwanjo Yu

机构 * Pohang University of Science 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 本文提出VLM2Rec框架，通过弱模态惩罚对比学习和跨模态关系拓扑正则化，解决多模态序列推荐中模态崩溃问题，提升推荐准确性和鲁棒性。

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

大语言模型作为导师：不可验证强化学习中的策略感知提示适应

Yujin Kim, Namgyu Ho, Sangmin Hwang, Joonkee Kim, Yongjin Yang, Sangmin Bae, Seungone Kim, Jaehun Jung, Se-Young Yun, Hwanjun Song

机构 * KAIST（韩国科学技术院） ； Upstage ； University of Toronto（多伦多大学） ； Carnegie Mellon University（卡内基梅隆大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对不可验证强化学习中训练提示静态导致的问题，提出LLM-as-a-Tutor框架，让大语言模型从评判扩展为导师，通过对比策略展开检测无挑战性提示并添加约束，提升性能。

It's Not What You Say, It's How You Say It: Evaluating LLM Responses to Expressions of Belief

重要的不是你说了什么，而是你怎么说：评估大语言模型对信念表达的回应

Kevin Du, Clara Kümpel, Michelle Wastl, Alex Warstadt

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Zurich（苏黎世大学） ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究用户信念表达形式对大语言模型的影响，引入基于语言维度的类型学，生成可控查询对，评估不同架构、规模和训练阶段的16个LLMs，发现响应行为差异及能显著说服模型的特定信念表达，揭示语言框架对模型情境整合的影响。

Comments Published at ACL 2026

Code Correctness Is Linearly Decodable from LLM Hidden States Before Generation

LLM隐藏状态中的代码正确性信号：生成前探测与修复几何

Carlo Di Cicco

机构 * Independent researcher（独立研究员） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过残差化方法，发现Qwen3-4B-Instruct模型在生成前隐藏状态可线性解码代码正确性（AUC 0.931），但修复成功的方向性信号在控制上下文协变量后消失，揭示了方法学上的正负结果。

Comments 7 pages, 4 tables. Code, data, and analysis scripts available at https://github.com/CarloDiCicco/ReasoningLab