语言大模型 / LLM

Will Scaling Improve Social Simulation with LLMs?

扩展规模会改善基于LLM的社会模拟吗？

Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Open Athena（开放雅典娜） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM规模扩展对社会模拟保真度的影响，发现多数任务随规模提升而改善，但存在例外，如纵向预测和低资源领域改进缓慢。

Recognition Without Mitigation: Ethical Frameworks in Autonomous Offensive-LLM Agent Research

自主渗透测试代理研究中的伦理声明

Andreas Happe, Jürgen Cito

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文分析利用大语言模型进行进攻性安全研究的论文，探讨伦理考量的表达与合理性，揭示学术社区在创新与伦理责任之间的平衡现状。

Comments Accepted at AutonomousCyber 2026

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

ChineseBERT：通过字形和拼音信息增强的中文预训练模型

Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Guoyin Wang, Xiang Ao, Qing He, Fei Wu, Jiwei Li

机构 * Zhejiang University（浙江大学） ； Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对中文预训练模型忽略字形和拼音信息的问题，提出ChineseBERT，将二者纳入预训练，在大规模语料库上训练后，在多种中文NLP任务中性能显著提升，取得新SOTA，代码和模型已公开。

Comments To appear at ACL2021

TiPToP: A Modular Open-Vocabulary Robot Manipulation System That Plans

TiPToP：一种用于机器人操作的模块化开放式词汇规划系统

William Shen, Nishanth Kumar, Sahit Chintalapudi, Ryan Lindeborg, Jie Wang, Christopher Watson, Edward Hu, Jing Cao, Dinesh Jayaraman, Leslie Pack Kaelbling, Tomás Lozano-Pérez

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 TiPToP是一种模块化开放式词汇规划系统，结合预训练视觉模型与任务规划器，通过自然语言指令和RGB图像直接解决多步骤操作任务，实现实时高效的操作规划。

Comments Project website: https://tiptop-robot.github.io

Large Language Models for Fault Localization: An Empirical Study

用于故障定位的大语言模型：一项实证研究

Yingjian Xiao, Weiwei Gong, Jianjun Huang, Rongqun Hu, Hongwei Li, Anquan Jie, Boyang Yang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文通过在HumanEval-Java、Defects4J数据集上评估四款LLMs，对比非LLM基线，分析不同提示策略，明确其在语句级故障定位的优缺与实际权衡，为软件工程应用提供实证支持。

HealthSLM-Bench: Benchmarking Small Language Models for Mobile and Wearable Healthcare Monitoring

HealthSLM-Bench：面向移动与可穿戴医疗监护的小型语言模型基准测试

Xin Wang, Ting Dang, Xinyu Zhang, Vassilis Kostakos, Michael J. Witbrock, Hong Jia

机构 * School of Computing and Information Systems, University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） ； School of Computer Science, University of Auckland, New Zealand（奥克兰大学计算机科学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 本研究构建HealthSLM-Bench基准，评估小型语言模型（SLMs）在医疗预测任务的表现，发现SLMs性能接近大型语言模型且效率、隐私性更优，为隐私保护型医疗监护提供新方向。

Comments 9 pages, 6 tables, 6 figures. Accepted at NeurIPS 2025 Workshop on GenAI4Health

Adaptively Robust LLM Monitoring via Activation Watermarking

通过激活水印实现语言模型的鲁棒安全监控

Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过激活水印技术提升语言模型的安全监控能力，针对适应性攻击者设计改进防御策略，有效提升检测准确率。

Comments 17 pages, 17 figures, 8 tables

Understanding LoRA as Knowledge Memory: An Empirical Analysis

理解LoRA作为知识记忆：一项实证分析

Seungju Back, Dongwoo Lee, Naun Kang, Taehee Lee, S. K. Hong, Youngjune Gwon, Sungjin Ahn

机构 * New York University（纽约大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过系统实证研究，将低秩适配（LoRA）作为模块化知识记忆，探索其存储容量、内部化优化、多模块系统扩展及长上下文推理能力，提供LoRA记忆操作边界的实用指导。

Comments ICML 2026

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

大模型训练，紧凑部署：用于紧凑低秩适配的结构化压缩

Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。

Revealing Hidden Model Behaviors with Task-Specific Self-Reports

通过特定任务自我报告揭示隐藏模型行为

Taras Kutsyk, Bartosz Zieliński

机构 * Jagiellonian University, Faculty of Mathematics and Computer Science（雅盖隆大学数学与计算机科学系） ； Jagiellonian University, Doctoral School of Exact and Natural Sciences（雅盖隆大学精确与自然科学研究博士学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对微调语言模型的隐藏行为问题，提出稳定适配器进行自我报告（SAR），能让模型用自然语言描述隐藏行为，相比现有基线方法检测更准确，减少幻觉，便于从业者审计模型。

Comments 17 pages, 8 figures, 2 tables; appendix with 37 additional pages

SMSP: A Plug-and-Play Strategy of Multi-Scale Perception for MLLMs to Perceive Visual Illusions

SMSP：多尺度感知的插件策略用于MLLMs感知视觉错觉

Jinzhe Tu, Ruilei Guo, Zihan Guo, Junxiao Yang, Shiyao Cui, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华人工智能（CoAI）小组，DCST，清华大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 本文提出SMSP策略，通过抑制高频背景以提升MLLMs对视觉错觉的识别能力，实验表明其显著提高模型性能。

OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning

OmniAD：基于多模态推理的工业异常检测与理解

Shifang Zhao, Yiheng Lin, Lu Han, Yao Zhao, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； Visual Intelligence + X International Joint Laboratory of the Ministry of Education（教育部视觉智能+X国际合作实验室） ； Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 OmniAD是融合视觉与文本推理的多模态框架，以Text-as-Mask Encoding等技术实现工业异常检测与理解，在MMAD基准性能超Qwen2.5-VL-7B等模型，代码与模型将公开。

LC-SEPLM: long-range contact-supervised adaptation for sequence-only protein representation learning

LC-SEPLM：用于仅序列蛋白质表示学习的远程接触监督适应

Chen Wang, Boming Kang, Qinghua Cui

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对蛋白质语言模型未明确学习三维残基接触的问题，提出LC-SEPLM，通过LoRA和远程残基对接触监督适配ESM2，经训练后在多项蛋白质任务上优于ESM2，证明该方法能有效引入结构信息并保留序列推理。

Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding

Auto-AEG：用于开放词汇音频事件定位的可扩展数据构建

Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究开放词汇音频事件定位任务，因数据稀缺受限。提出Auto-AEG可扩展管道，通过自动数据构建和模型微调构建监督，结合合成音频与伪标签训练，提升模型性能。

Comments Work in progress

Readability-Robust Code Summarization via Meta Curriculum Learning

通过元课程学习实现抗可读性代码摘要

Wenhao Zeng, Yitian Chai, Hao Zhou, Fandong Meng, Jie Zhou, Xiaodong Gu

专题命中 指令微调 ：language model(abstract)

AI总结 本文提出RoFTCodeSum方法，通过结合课程学习和元学习提升代码摘要对低可读性代码的鲁棒性。

Comments Code available at https://github.com/Zengwh02/RoFTCodeSum

MICA: Multi-granularity Intertemporal Credit Assignment for Long-Horizon Emotional Support Dialogue

MAPO：混合优势策略优化用于长时多轮对话

Naifan Zhang, Ruihan Sun, Jinwei Su, Hengjie Yang, Zhengyuan Pan, Zhaohan Chen, Xiaofan Zhang

机构 * NatureSelect ； Tsinghua University（清华大学） ； South China Normal University（华南师范大学） ； Xiamen University（厦门大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MAPO通过混合优势策略优化，利用密集过程反馈和多级归一化，提升长时多轮对话的稳定性和性能，优于传统方法。

Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering

推动全曲生成的前沿：分层自回归规划与流匹配渲染

Junyu Dai, Xinyue Fan, Weiqin Li, Xiangang Li, Yunjia Li, Bin Ma, Yukun Ma, Chongjia Ni, Yufei Shi, Biao Tian, Haoxu Wang, Menglin Wu, Jianwei Yu, Huaicheng Zhang, Han Zhao, Shengkui Zhao, Haina Zhu

机构 * Alibaba（阿里巴巴） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 该研究提出统一歌曲生成框架，支持多项任务，由四个组件构成。通过特定编码、建模、匹配及模块实现歌曲生成，还研究多种后训练策略，实验表明该框架在评估中性能具有竞争力。

The Fast Lane Hypothesis: Von Economo Neurons Implement a Biological Speed-Accuracy Tradeoff

快速通道假说：von Economo神经元实现一种生物速度-准确性权衡

Esila Keskin

机构 * School of Computing and Creative Technologies, University of the West of England, Bristol, UK（西英格兰大学计算与创意技术学院，布里斯托尔，英国） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出von Economo神经元通过稀疏快速投射路径实现生物速度-准确性权衡，通过模拟社会辨别任务验证其在不同病理条件下对决策速度的影响。

Comments 7 pages, 5 figures. Code available at https://github.com/esila-keskin/fast-lane-hypothesis

How memory can affect collective and cooperative behaviors in an LLM-Based Social Particle Swarm

记忆如何影响基于LLM的社会粒子群中的集体和合作行为

Taisei Hishiki, Takaya Arita, Reiji Suzuki

机构 * Graduate School of Informatics（信息学研究生院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了大型语言模型代理的内部对齐特性如何影响记忆对其集体和合作动态的影响。通过将社会粒子群模型中的规则代理替换为具有大五人格特质和不同记忆长度的LLM代理，发现记忆长度是决定集体行为的关键参数，且不同模型对记忆的解读影响合作结果。

Comments 11 pages, 4 figures and 2 tables

Skills on the Fly: Test-Time Adaptive Skill Synthesis for LLM Agents

Skills on the Fly: Test-Time Adaptive Skill Synthesis for LLM Agents

Jingxing Wang, Chenyu Zhou, Zhihui Fu, Jun Wang, Weiwen Liu, Weinan Zhang, Jianghao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；prompting(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出了一种在测试时自适应的技能合成方法SkillTTA，通过检索与当前任务相关的少量训练轨迹并将其合成成为任务特定的文本技能，以提高LLM代理在SpreadsheetBench、ALFWorld和BigCodeBench等任务上的性能。

Comments 15 pages, 6 figures

MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent

MemAgent：基于多轮对话强化学习的记忆智能体重构长上下文大语言模型

Hongli Yu, Tinghong Chen, Jiangtao Feng, Jiangjie Chen, Weinan Dai, Qiying Yu, Ya-Qin Zhang, Wei-Ying Ma, Jingjing Liu, Mingxuan Wang, Hao Zhou

机构 * ByteDance Seed（字节跳动种子期） ； Institute for AI Industry Research (AIR)（人工智能产业研究院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出MemAgent智能体工作流，结合扩展的DAPO算法优化长文本任务，实现从8K到3.5M上下文的高效外推，在RULER测试中表现优异。

Comments Accepted to ICLR 2026 as an Oral presentation. OpenReview: https://openreview.net/forum?id=k5nIOvYGCL Project page: https://memagent-sialab.github.io/

Journal ref International Conference on Learning Representations (ICLR), 2026

Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents

功能缓存嫁接：具身智能体的鲁棒且快速代码策略合成

Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FCGraft框架，通过维护函数级验证代码骨架及其键值缓存，对新任务进行缓存嫁接（拼接和修补），减少预填充计算并复用验证结构，实现更鲁棒和快速的策略合成。

Comments Accepted at ICML 2026

Better Call Grep: Evaluating and Improving Grep-Like Lexical Retrieval for Repository-Level Code Completion

更好地调用Grep：评估和改进用于仓库级代码补全的类Grep词汇检索方法

Baoyi Wang, Xingliang Wang, Guochang Li, Chen Zhi, Junxiao Han, Xinkui Zhao, Nan Wang, Shuiguang Deng, Jianwei Yin

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文评估改进类Grep词汇检索，提出Naive GrepRAG基线，又结合后处理流水线的GrepRAG在代码补全任务上优于SOTA，为轻量检索支撑仓库级代码补全提供方案。

Comments ISSTA2026

StateRAG: Typed State Contracts for Complex Retrieval-Augmented Generation

EfficientGraph-RAG：面向跨任务检索增强生成的结构化检索状态管理

Miaohe Niu, Pengxiang Li, Jingbo Zhu, Tong Xiao

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Tsinghua University, China（清华大学） ； Kunming University of Science and Technology, China（昆明理工大学） ； NiuTrans Research, Shenyang, China（沈阳NiuTrans研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 提出EfficientGraph-RAG框架，通过显式定义检索状态（TAM、MARS、SMP三个机制）实现结构化状态管理，在多个基准上提升答案质量并降低大模型token消耗。

Dense Local Dependencies Induce Attention-Logit Explosion and Training Instability During Long-Sequence Transformer Training

密集局部依赖会在长序列Transformer训练期间引发注意力对数爆炸和训练不稳定性

Suvadeep Hajra

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本研究揭示长序列Transformer训练中注意力对数爆炸的主因是密集局部依赖，经实验验证该增长由依赖密度驱动，提出显式建模密集局部依赖的长上下文Transformer设计原则。

LLM-Grounded Dynamic Task Planning with Hierarchical Temporal Logic for Human-Aware Multi-Robot Handover

基于分层时序逻辑的LLM引导动态任务规划用于人感知多机器人协作

Shuyuan Hu, Tao Lin, Kai Ye, Tianwei Zhang

机构 * The Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人社会研究院） ； Harbin Institute of Technology（哈尔滨工业大学） ； The Chinese University of Hong Kong-Shenzhen（香港中文大学（深圳）） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际 Graduate School） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于分层时序逻辑的神经符号框架，实现动态任务规划以提升多机器人协作的效率和鲁棒性。

Comments Accepted by IROS 2026

LOCUS: Local Visual Cue Search for Enhancing Fine-Grained Perception in Multimodal Large Language Models

LOCUS: 局部视觉线索搜索增强多模态大语言模型的细粒度感知

Zhou Tao, Fang Zhang, Zewen Ding, Shida Wang, Xiaokun Sun, YongXiang Hua, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出LOCUS训练框架，通过可验证的局部线索搜索代理任务，使MLLM内化细粒度证据选择，提升定位敏感视觉理解而不改变推理接口。

Smart-TCP: An Agentic AI-based Autonomous and Adaptive TCP Protocol

Smart-TCP：基于智能体AI的自主自适应TCP协议

Yule Han, Kezhi Wang, Yizhe Zhao, Kun Yang

专题命中 推理与问题求解 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Smart-TCP框架，利用大/小语言模型与算术逻辑单元协同决策，实现TCP控制逻辑的自适应，实验显示高精度与全生命周期成功率。

Comments Submitted for possible journal publication

SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations

SG-CoT：一种基于场景图表示的模糊性感知机器人规划框架

Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

机构 * Netaji Subhas University of Technology（纳塔贾·萨哈大学） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 SG-CoT通过构建场景图并利用LLM迭代查询以检测和澄清模糊性，提升机器人规划在模糊环境中的可靠性，实验表明其在单机和多机环境中均优于现有方法。

Comments This work has been submitted to the journal Autonomous Robots for possible publication

REFACT: Adaptive Fact Restatement for Compact and Faithful Chain-of-Thought Reasoning

REFACT：用于紧凑且忠实的思维链推理的自适应事实重述

Zhensheng Jin, Xin Dai, Zhenghao Liu, Chaojun Xiao, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

机构 * Northeastern University（东北大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理与问题求解 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究复杂任务中语言模型推理轨迹易偏离上下文的问题，提出REFACT自适应事实重述框架，经两阶段优化，实验证明其能提升长上下文问答等能力，减少令牌消耗，保留更多证据使推理轨迹更优。