语言大模型 / LLM

Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications

医学领域大型语言模型中的记忆现象：普遍性、特征与影响

Anran Li, Lingfei Qian, Mengmeng Du, Yu Yin, Yan Hu, Zihao Sun, Yihang Fu, Hyunjae Kim, Erica Stutz, Xuguang Ai, Qianqian Xie, Rui Zhu, Jimin Huang, Yifan Yang, Siru Liu, Yih-Chung Tham, Lucila Ohno-Machado, Hyunghoon Cho, Zhiyong Lu, Hua Xu, Qingyu Chen

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨医学领域大型语言模型的记忆现象，分析其普遍性、特征及对医疗应用的影响。

BloomAPR: A Bloom's Taxonomy-based Framework for Assessing the Capabilities of LLM-Powered APR Solutions

BloomAPR：基于布鲁姆教育目标分类学的框架，用于评估大语言模型驱动的自动程序修复（APR）方案的能力

Yinghang Ma, Jiho Shin, Leuson Da Silva, Zhen Ming, Jiang, Song Wang, Foutse Khomh, Shin Hwei Tan

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 BloomAPR是基于布鲁姆教育目标分类学的动态评估框架，评估了ChatRepair、CigaR等APR方案在不同LLM及布鲁姆分类层级下的漏洞修复能力，发现其存在性能差异并指出基准演进的必要性。

Comments 22 pages, 7 figures, Manuscript submitted to ACM Transactions on Software Engineering and Methodology

The Effect of Perceived Race and Gender on Police Language Use: Experimental Evidence from VR Simulations

感知到的种族与性别对警察语言使用的影响：来自VR模拟的实验证据

Sandra C. Sandoval, Navita Goyal, Rashawn Ray, Long Doan, Rachel Rudinger, Hal Daumé

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过VR模拟实验发现，警察对黑人男性虚拟角色的说话恭敬程度更低，还探讨了LLM在ATE估计中的应用，推荐混合效应模型结合iptw方法，认为LLM相关技术需进一步完善。

MultiPathFormer: Towards a Foundation Model for Multipath Wireless Propagation

MultiPathFormer：迈向多径无线传播的基础模型

Blessed Guda, Kayley Sze, Carlee Joe-Wong

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出MultiPathFormer，以多径传播为预训练对象，结合Environmental RAG机制，在27种环境预训练后，在多项无线通信下游任务中超越SOTA模型，验证了路径级预训练的有效性。

Language Models Generalize to Human-like Word Order Preferences

语言模型可泛化出类人的词序偏好

Amanda Popadich, Shane Steinert-Threlkeld

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究发现不同规模的语言模型可从贫乏输入中泛化出类人的范围同态名词短语修饰语顺序偏好，且该偏好无法用点互信息解释。

The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data

公平性崩溃现象：在合成数据上训练的语言模型中的偏差放大

Irina Proskurina, Antoine Gourru, Julien Velcin

机构 * Laboratoire Hubert Curien（于贝尔·屈里安实验室） ； CNRS（法国国家科学研究中心） ； Université Claude Bernard Lyon 1（里昂第一大学） ； Université Lumière Lyon 2（里昂第二大学） ； École Centrale de Lyon（里昂中央理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 该研究发现，在合成数据上反复训练语言模型会出现公平性崩溃，即偏差在标准指标未明显下降时悄然放大，揭示了合成数据污染的关键风险。

MIRepNet: A Pipeline and Foundation Model for EEG-Based Motor Imagery Classification

Dingkun Liu, Zhu Chen, Jingwei Luo, Shijie Lian, Dongrui Wu

机构 * Ministry of Education Key Laboratory of Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（教育部长图像处理与智能控制重点实验室，人工智能与自动化学院，华中科技大学） ； School of Computer Science and Technology, Huazhong University of Science and Technology（计算机科学与技术学院，华中科技大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Journal ref Knowledge-Based Systems (15 June 2026, vol. 343)

Translate-R1: Cost-Aware Translation Tool Use via Reinforcement Learning

Translate-R1：通过强化学习实现成本感知的翻译工具使用

Pratik Jayarao, Chaitanya Dwivedi, Himanshu Gupta, Neeraj Varshney, Adithya M Devraj, Meet Vadera, Priyanka Nigam, Bing Yin

机构 * Amazon Stores Foundation AI（亚马逊商店基金会人工智能） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；pretraining(abstract)；分类 cs.CL

AI总结 提出一种基于强化学习的门控策略，让LLM自主评估理解能力，仅在必要时调用翻译工具，在22种语言上提升奖励并降低翻译成本。

Comments 14 pages main text plus appendix, 7 figures, 11 tables

Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming

智能体对抗智能体：一种用于自动提示注入红队测试的智能体系统

Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

专题命中 预训练与数据 ：LLM(summary_cn,abstract)

AI总结 本研究提出PIMiner智能体系统，用于自动提示注入红队测试，该系统构建可迁移策略库，仅需少量查询即可在IPIArena、AgentDojo基准上对多款LLM实现高攻击成功率，解决现有方法泛化性差的问题。

Comments Our code is available at https://github.com/wang-yanting/PIMiner

Attention-Only White-Box Transformer via LeJEPA-Based Self-Supervised Pretraining

基于LeJEPA自监督预训练的仅注意力白盒Transformer

Yang Bai, Linyuan Wang, Haoyang Jiang, Nuolin Sun, Libin Hou, Bin Yan

专题命中 预训练与数据 ：pretraining(title)；分类 cs.LG

AI总结 本研究提出基于LeJEPA自监督预训练的仅注意力白盒Transformer，减少约31%参数，在CIFAR-10、CIFAR-100上实现与原模型相当的准确率，还发现标准ViT中MLP模块存在冗余。

Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention

Kathleen Writes：无注意力的自回归生成与数据缩放

George Fountzoulas

机构 * Frederick University（弗雷德里克大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出无注意力的混响模型，在字节级语言建模上优于参数匹配的Transformer，引入FORM DISTANCE衡量文本真实性，发现解码策略对生成性能的影响大于架构，且增益依赖训练语料库内的短语。

Comments Paper 3 of the Kathleen series. 11 pages, 3 figures. All experiments reproducible on a free Kaggle T4

MALT: Lightweight Curvature-Aware Muon via Diagonal Preconditioning

MALT：通过对角预条件化实现的轻量曲率感知Muon

Tongle Wu, Huanyu Dong, Ying Sun, Ziye Ma

机构 * School of Electrical Engineering and Computer Science, The Pennsylvania State University（宾夕法尼亚州立大学电气工程与计算机科学学院） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对Muon未考虑损失景观曲率几何的问题，提出轻量曲率感知优化方法MALT及MALTER，在GPT-2系列预训练上性能优于Muon且开销相近。

Towards Trustworthy Hypergraph Neural Networks under Label Noise

面向标签噪声下可信赖的超图神经网络

Mengyao Zhou, Zhiheng Zhou, Xiao Han, Guiying Yan

机构 * Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Mathematics and Statistics, Shandong University（山东大学数学与统计学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对标签噪声下超图节点分类问题，提出超图鲁棒框架HyperTrust，通过估计超边可信赖性及两个协同模块优化超图结构，在多数据集多噪声设置下验证了其有效性。

Comments 20 pages, 7 figures

RingSQL: Schema-Independent Synthetic Data Generation for Text-to-SQL Reinforcement Learning

RingSQL: 通过不依赖模式的模板生成合成数据以用于文本到SQL推理模型

Marko Sterbentz, Kevin Cushing, Cameron Barrie, Kristian J. Hammond

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 RingSQL通过结合不依赖模式的模板和大语言模型生成，提升文本到SQL模型的准确性和多样性

Comments 23 pages, 12 figures

A Modular Part-of-Speech Tagger for Scottish Gaelic using spaCy

使用spaCy构建的苏格兰盖尔语模块化词性标注器

Peter Stefan, Peter J Barclay, Alistair Lawson

机构 * School of Computing, Engineering, & the Built Environment, Edinburgh Napier University（爱丁堡龙比亚大学计算、工程与建成环境学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文基于spaCy框架，用苏格兰盖尔语标注参考语料库训练出两个形态标注模型，在低资源形态复杂的盖尔语上取得与现有模型相当的准确率，证明现成NLP流水线可用于该类语言处理。

Comments A revised version of this paper has been accepted for presentation at UKCI 2026 (https://ukci2026.coventry.ac.uk/home/) and will be published by Springer

Benchmarking Deep Learning Models for Dense Event Classification of Offshore Wind Infrastructure in Sentinel-1 Time Series

对Sentinel-1时间序列中海上海上风电基础设施密集事件分类的深度学习模型进行基准测试

Thorsten Hoeser, Felix Bachofer, Claudia Kuenzer

机构 * German Aerospace Center (DLR)（德国航空航天中心） ； University of Wuerzburg（维尔茨堡大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究对比10种深度学习模型，发现监督式BiLSTM在Sentinel-1海上风电时间序列分类中表现最优，结合集成方法提升性能后，分析得出中、欧盟、英的风机中位部署时长。

Comments 27 pages, 14 figures

NeuroPB: Scaling Neural Decoding with Pretrained Behavioral Representations

NeuroPB：利用预训练行为表示扩展神经解码

Luyao Jin, Yonghao Song, Huan Zhao, Vincent C. K. Cheung, Wei-Hsin Liao

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出NeuroPB框架，通过预训练大规模行为表示并对齐有限配对神经-行为数据，提升神经解码性能，在猕猴数据集上R²提升11%与8%，且泛化能力强，为高效BCI提供可行方向。

One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP

用一个替代模型欺骗所有：基于CLIP的通用、可迁移且有针对性的对抗攻击

Binyan Xu, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文提出基于CLIP的UnivIntruder攻击框架，仅用公开模型和数据集生成对抗扰动，在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率，凸显AI安全需重新评估。

Comments 22 pages, 15 figures, 18 tables. To appear in the Proceedings of The ACM Conference on Computer and Communications Security (CCS), 2025

Lesion Detection in CT with Frozen Self-Distilled Features: SALT, a Spatially Adaptive Label-Guided Temperature

基于冻结自蒸馏特征的CT病灶检测：SALT——空间自适应标签引导温度

Mahmut S. Gokmen, Evan W. Damron, Mitchell A. Klusty, Caroline N. Leach, Emily B. Collier, V. K. Cody Bumgardner

机构 * University of Kentucky（肯塔基大学） ； University of Louisville（路易斯维尔大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 该研究提出SALT方法，通过空间自适应标签引导温度优化自监督预训练，冻结编码器后训练轻量级CenterNet头部，在四个CT队列中实现病灶检测，效果优于无目标条件化的对照模型。

RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection

RegisterBridgeMM：一种以寄存器为核心的RGB-红外目标检测框架

Zian Wang, Hangchuan Liang, Yuehua Chen, Changchun Li, Chaoyi Guo, Mingzhe Liu, Fangming Gu

机构 * Jilin University（吉林大学） ； Taiyuan University of Technology（太原理工大学） ； Shenzhen University（深圳大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 针对RGB-红外目标检测的跨模态融合难题，提出以寄存器为核心的RegisterBridgeMM框架，通过三阶段寄存器生命周期实现高效融合，在四个基准数据集上取得最高mAP50-95性能。

GenTrack: Physical Alignment for Robot-Native Motion Generation and Zero-Shot Humanoid Tracking

GenTrack：面向机器人原生运动生成与零样本人形机器人跟踪的物理对齐框架

Zeyu Ling, Xinyao Yu, Renye Yan, Jikang Cheng, Zhanke Wang, Qing Shuai, Changqing Zou

专题命中 预训练与数据 ：post-training(abstract)

AI总结 GenTrack是一种在线生成器-跟踪器框架，通过协同训练缩小重定向参考与机器人原生运动的可执行性差距，在Unitree G1机器人上实现了零样本人形机器人跟踪性能提升。

Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

基于大型语言模型的危机报告中因果证据提取与三角验证：一项基于ReliefWeb的研究

Yuanjun Zhang, Mourad Oussalah

机构 * University of Oulu（奥卢大学） ； LUT University（拉普兰塔理工大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究基于ReliefWeb数据，提出两阶段LLM流水线提取危机报告中结构化因果证据，结合上下文保留的三角验证方法，在100份专家标注报告中取得优异性能，为现金援助的食品相关结果提供了高收敛性证据。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 32478-32491, 2026

Energy- and Memory-Efficient PEFT Methods for Personalized On-Device SLMs on Consumer GPUs

面向消费级GPU上个性化端侧小型语言模型（SLM）的高能效、低内存参数高效微调（PEFT）方法

Kuanysh Akhmetzhanov, Jurn-Gyu Park

机构 * Nazarbayev University（纳扎尔巴耶夫大学） 纠错

专题命中 指令微调 ：SLM(title_cn,summary_cn)；LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对消费级GPU上的个性化端侧SLM，对比五种PEFT方法在四类SLM、六项基准任务的能耗与内存表现，发现LoRA+是多数场景的最优PEFT方法，QLoRA在内存受限场景具优势，为端侧个性化LLM部署提供了能耗与内存平衡的可行方案。

Traceable LLM-Generated Hazard Scenarios for Operational Safety Analysis of Aviation Systems Using ASRS Reports

基于ASRS报告的可追踪LLM生成航空系统运行安全分析危险场景

Cristian Mascia, Roberto Pietrantuono, Daniel Rodriguez, Stefano Russo

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究针对航空系统运行安全分析，提出AI辅助方法结合ASRS报告，用LLM生成可追踪危险场景，通过进化溯因优化混合变体，经评估验证了模型与提示对生成场景有效性的影响。

Security in the Fine-Tuning Lifecycle of Large Language Models: Threats, Defenses,Evaluation, and Future Directions

大型语言模型微调生命周期中的安全：威胁、防御、评估与未来方向

Wenjuan Li, Yitao Liu, Runze Chen, Rajkumar Buyya

机构 * Hangzhou Normal University（杭州师范大学） ； Zhejiang University（浙江大学） ； China Mobile (Zhejiang) Innovation Research Institute Co., Ltd.（中国移动（浙江）创新研究院有限公司） ； Quantum Cloud Computing and Distributed Systems (qCLOUDS) Lab, School of Computing and Information Systems（量子云计算与分布式系统（qCLOUDS）实验室，计算与信息学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文系统综述了大型语言模型微调过程中的安全威胁与防御，提出了基于生命周期的三阶段框架，并通过统一实验评估了攻击与防御的有效性及跨阶段局限性。

Comments 39 pages, 7 figures, 22 tables

Journal ref Software: Practice and Experience, 2026

DataRx: Missingness-Aware Sampling for Safer Large Language Model Task-Specific Fine-Tuning

DataRx：面向更安全的大语言模型任务特定微调的缺失感知采样方法

Junbo Zhang, Qianli Zhou, Xinyang Deng, Wen Jiang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出DataRx缺失感知采样方法，通过高维隐表示量化安全信号差距，仅用1% BeaverTails安全样本，即可大幅降低Llama3-8B-Instruct的攻击成功率，还可与现有安全数据合成方法结合提升防御效果。

AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering

AutoProteinEngine：一种用于蛋白质工程多模态自动机器学习的大语言模型驱动智能体框架

Yungeng Liu, Zan Chen, Yu Guang Wang, Yiqing Shen

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究针对生物学家缺乏计算知识难以应用深度学习开展蛋白质工程的问题，提出AutoProteinEngine框架，集成LLMs与AutoML，经两项任务验证其性能优于传统方法，降低了深度学习应用门槛。

State2State: Environment-Derived Mid-Training for LLM Agents

State2State：面向大语言模型智能体的环境衍生式中间训练

Xuanyu Lei, Yiqi Zhu, Chenliang Li, Kaiming Liu, Peng Li, Ming Yan, Jieping Ye, Ya-Qin Zhang, Yang Liu

机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute for AI, Tsinghua University（清华大学人工智能研究院） ； Institute of Intelligent Computing, Alibaba Group（阿里巴巴集团智能计算研究院） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 该研究提出State2State环境衍生式中间训练方法，无需外部任务与监督，可提升LLM智能体性能及学习效率，具备跨环境泛化潜力。

Comments Work in progress

HermesHFL: Incentive-Compatible Hierarchical Federated Unlearning for Dynamic LLM Fine-Tuning

HermesHFL：用于动态大语言模型微调的激励兼容分层联邦遗忘

Chenxi Sun, Minghui Liwang, Wusi He, Yuhan Su, Zhang Liu, Sai Zou, Wei Ni, Seyyedali Hosseinalipour

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对大语言模型微调中分层联邦遗忘面临的挑战，提出HermesHFL框架，通过参数高效微调支持选择性遗忘等。制定统一优化问题，开发Neogen框架解决，实验表明该框架在模型效用等多方面优于现有基线。

Comments 15pages,8 figures

Spoken Function Calling: A New Perspective on Spoken Language Understanding for Large Audio Language Models

语音函数调用：面向大型音频语言模型的语音理解新视角

Yuezhang Peng, Yuxin Liu, Changfeng Gao, Zhifu Gao, Xiangang Li, Xie Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Token Foundry, Alibaba Group（阿里巴巴集团Token Foundry） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 该研究提出语音函数调用（SFC）这一新型语义理解视角，构建SFC-Bench数据集并评估LLMs与LALMs性能，经后训练提升LALMs的SFC能力，实验显示SFC优于传统SLU，可大幅提升语义提取准确率。

Comments ACM Multimedia 2026