语言大模型 / LLM

LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining

LoKiFormer：面向高效大语言模型预训练的 locality-aware 注意力与解耦知识记忆

Qiuwu Chen, Zimo Liu, Yuchen Li, Ying Sun, Yifan Zhang, Zhijie Qiu, Zeng You, Ryan Dong, Simeng Ma, Yaofo Chen, Mingkui Tan

机构 * AIGCode ； South China University of Technology（华南理工大学） ； Pazhou Laboratory（琶洲实验室） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 针对LLM预训练效率问题，提出含局部融合注意力与知识记忆模块的LoKiFormer，使预训练收敛速度提升1.33倍，性能优于现有架构。

Comments Accepted by ICML 2026

Mimicry without understanding: the origins of decision bias in large language models

无理解的模仿：大语言模型中决策偏差的起源

Eldad Yechiam, Adi Tarabeih

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示大语言模型（LLMs）存在两类偏差生成机制，经四项经济偏差实验发现ChatGPT-4o和Qwen会表现出社会认同偏差与损失厌恶偏差，偏差程度可被科学报告预测，还明确了LLMs偏差的潜在组成过程。

Comments 33 pages, 3 figures, 2 boxs

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

LittleLearner：受教学可控知识暴露约束的语言模型

Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel

机构 * Ellis Institute（埃利斯研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；post-training(abstract)

AI总结 本研究推出专为美国小学定制的LITTLECURRICULUM语料库，训练得到受知识边界约束的LittleLearner模型，构建沙盒用于研究模型知识习得，实验证实其注入新知识后不会提升超范围能力。

Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis

知识综合评审框架：面向多源证据综合的基于大语言模型系统的任务级基准测试

Wafa Shafqat, Mark Patterson, Steven N. Liss

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出KSR人机协作框架，将证据综合拆分为4项任务，对4款LLM系统开展任务级基准测试，发现各系统各有优劣，该框架可揭示单源综合遗漏的信息，且透明可审计。

Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

测量语言模型预训练中与任务无关的训练数据影响

Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

机构 * Nara Institute of Science and Technology（奈良科学技术研究所） ； Waseda University（早稻田大学） ； The University of Tokyo（东京大学） ； IT University of Copenhagen（哥本哈根信息技术大学） ； Tohoku University（东北大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 本文提出无需依赖下游任务或验证集的训练数据影响度量方法，经实验发现预训练中有影响力的数据存在时间变化，早期文献相关数据、后期STEM数据与最终参数轨迹的一致性更强。

Comments Accepted to COLM 2026

CASA: Content-Acoustic Speaking Assessment with Speech Encoder and Large Language Model

CASA：结合语音编码器与大语言模型的内容-语音口语评估

Nhan Phan, Ilona Lähteenmäki, Anna von Zansen, Olli-Pekka Pauna, Yaroslav Getman, Tamás Grósz, Mikko Kurimo

机构 * Aalto University（阿尔托大学） ； University of Helsinki（赫尔辛基大学） ； Walton Institute（沃尔顿研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究提出结合Whisper-medium与Qwen3.5-2B的CASA架构，在Speak & Improve Corpus 2025上RMSE达0.358，参数量减半，可分离语音表达与内容，还分析了声学与内容信息的贡献及性能稳定性。

Comments To be submitted to ICASSP 2027. Code is available at https://github.com/aalto-speech/casa

PROVE-RT: Generating Mechanized Theorem Prover Scripts for Real-Time Systems using LLMs

PROVE-RT：使用大语言模型为实时系统生成机械化定理证明器脚本

Sadat Shahriyar, Shareef Ahmed, Abdullah Al Arafat

机构 * Florida International University（佛罗里达国际大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 PROVE-RT是一种LLM辅助框架，通过依赖感知草图、PROSA文档检索等步骤生成PROSA/ROCQ脚本，在1191篇实时系统论文构建的语料库上，其机械化可调度性分析的成功率达44.7%，优于直接提示的LLM。

Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model

训练混合：将小规模支架式预训练运行重组为更大的语言模型

Mohammed Sabry, Sean Augenstein, Keith Rush, Lucio Dery

机构 * Google（谷歌公司） ； School of Computing, Dublin City University（都柏林城市大学计算机学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；分类 cs.CL、cs.AI

AI总结 本研究提出训练混合（MoT）框架，将Transformer划分为层块在冻结对齐器内独立训练后重组，在13亿参数Gemma模型上验证其可重组为可用语言模型，可复用对齐器实现计算优势，用于研究可复用训练单元。

Comments Accepted at the Workshop on Methods and Opportunities at Small Scale (MOSS), COLM 2026

DFM Mimir v1: An Open HRM Delivering Frontier Performance at 1B Parameters Using Only Permissible Post-Training Data

DFM Mimir v1：仅使用许可的后训练数据，在10亿参数规模下实现前沿性能的开放HRM模型

Peter Schneider-Kamp, Jacob Nielsen, Gianluca Barmina, Kenneth Enevoldsen, Lukas Galke Poech

专题命中 预训练与数据 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究人员因大模型开发依赖非许可数据受阻，本文提出仅用许可后训练数据训练的10亿参数HRM模型Mimir v1，其在多基准测试中性能优于同规模HRM-Text 1B，可与更大前沿模型媲美，且在丹麦语任务达新SOTA，已发布于Hugging Face Hub

Comments Technical Report, 20 Pages, 1 Model, Hierarchical Reasoning Model

Synthetic Persona Pretraining: Alignment from Token Zero

合成角色预训练：从零开始的对齐

Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

机构 * EPFL（洛桑联邦理工学院） ； University of Toronto（多伦多大学） ； Northeastern University（东北大学） ； SJTU（上海交通大学） ； Saarland University（萨尔大学） ； Hereon（亥姆霍兹极地与海洋研究中心） ； TUHH（汉堡工业大学） ； Ontocord AI（Ontocord人工智能公司） ； TUC（德累斯顿工业大学） ； DFKI（德国人工智能研究中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出合成角色预训练（SPP），在预训练token零阶段植入助手角色，通过标注反思、预训练及角色绑定，提升模型价值构成遵循度与鲁棒性，降低对齐错误率，证明预训练时角色干预是对齐的有效方法。

A Controlled Study of Self-Supervised Image and Video Pretraining under Limited Resources

有限资源下自监督图像与视频预训练的对照研究

Brunó B. Englert, Gijs Dubbelman

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 该研究对照研究有限资源下的图像与视频自监督预训练，发现DINOv2式预训练性能最优，结合其与VideoMAE可提升图像任务性能但降低部分视频任务性能，为资源有限场景的视觉模型训练提供参考。

PatientAct: Theory-Grounded Mental Health Client Simulation

PatientAct：基于理论的心理健康来访者模拟

Sahand Sabour, TszYam NG, Yaqian Chen, Guanqun Bi, Jialu Zhao, Minlie Huang

机构 * Tsinghua University（清华大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 PatientAct是基于临床理论的来访者模拟框架，通过整合5Ps临床案例 formulation与带信任阈值的动态记忆层，生成高临床合理性的多样化来访者，在40种临床情境中较基线方法显著提升了抗拒质量与行为真实性。

Comments Under Review

Trie Automata for Constrained Decoding over Large Finite Sets

用于大有限集上约束解码的Trie自动机

Xingzi Xu, Karim Bouyarmane

机构 * Amazon（亚马逊公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大型语言模型有限集约束解码的速度瓶颈，提出Trie自动机机制，通过预计算token掩码实现高效解码，在批量服务中吞吐量较XGrammar提升29倍，且编译与计算效率显著提升。

Structure then Query: Enabling Precise Analytical Queries over Unstructured Documents

先结构后查询：支持对非结构化文档进行精确分析查询

Teng Lin, Yuyu Luo, Nan Tang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 AnnoIndex通过注释索引与结构化查询引擎，解决非结构化文档精确分析查询难题，在三个数据集上平均F1达0.87，优于现有基线方法。

Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs

超越视觉证据：揭示并缓解文档多模态大语言模型中的关系隐私泄露

Beining Xu, Hairui Wang, Jiaxin Wang, Changsheng Chen, Anirban Chakraborty

机构 * Faculty of Engineering, Shenzhen MSU-BIT University（深圳北理莫斯科大学工程学院） ； Faculty of CMC, Shenzhen MSU-BIT University（深圳北理莫斯科大学计算机、数学与力学学院） ； Department of CDS, Indian Institute of Science（印度科学学院计算机与数据科学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本文针对文档理解MLLMs的KIE任务，揭示其在视觉证据不足时会通过记忆的字段关系泄露隐私，提出DRUF框架与DocPrivacyBench基准，实验显示DRUF可提升泄露抑制效果并维持KIE性能。

Comments ACM mm 2026

DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

DIVE：通过多样性驱动的技能进化解锁冻结语言模型的自我提升

Siheng Xiong, Ali Payani, Oguzhan Gungordu, Faramarz Fekri

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 DIVE是一种多样性驱动的无参数框架，可让冻结LLM从任务经验和验证器反馈中进化出自然语言技能，在多项推理任务上优于现有方法，还能实现模型间技能迁移，让小模型性能匹配或超越大模型。

Refine After Generation: Toward Correct and Concise Patches in LLM-based Program Repair

生成后优化：面向基于大语言模型的程序修复中正确且简洁的补丁

Wenqiang Luo, Jacky Keung, Xiaoyu Shi, Yicheng Sun, Boyang Yang, Zhou Yang, Haoye Tian

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 针对基于LLM的程序修复中补丁冗余问题，提出RECAP适配器，在保留或提升解决率的同时，大幅降低补丁大小，实现更优的大小-正确性权衡。

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute：用于大语言模型安全对齐的分层路由提示调优

Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；preference optimization(abstract)

AI总结 HiRoute是一种输入自适应分层提示调优框架，通过分层路由器与多粒度提示专家，提升大语言模型安全对齐效果，在多个安全基准上兼顾安全性与响应有用性，减少过度拒绝。

Comments Preprint

Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities

你在跟我讲逻辑吗？评估语言模型的三段论推理能力

Hanna Abi Akl, Fabien Gandon, Catherine Faron, Pierre Monnin

机构 * Université Côte d’Azur（科特阿祖尔大学） ； Inria（法国国家信息与自动化研究所） ； CNRS（法国国家科学研究中心） ； I3S（信息科学与系统实验室） ； Data ScienceTech Institute（数据科学技术学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过扩展FOLIO和P-FOLIO数据集，探究不同KR符号对SLMs三段论推理的影响，提出SEF分类法并开源CLGC框架，为提升小型模型推理能力提供了新方法。

Comments Accepted to the International Joint Conference on Rules and Reasoning (RuleML+RR) 2026

Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity

你确定你确定吗？指令微调对置信度和词汇多样性的影响

Irina Proskurina, Mayank Kumar, Oyindolapo O. Komolafe

机构 * Cohere Labs（Cohere实验室） ； Laboratoire Hubert Curien（于贝尔·居里实验室） ； Bennett University（班尼特大学） ； Western University（西安大略大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究指令微调对语言模型置信度与生成理由词汇多样性的影响，发现指令微调虽小幅降低校准度但显著改变置信度，且对理由多样性的影响存在差异，二者是指令微调的不同效应。

Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

视觉-语言模型能否从机器人的第一人称视角图像评估人际距离风险？

Vladyslava Rudas, Dmytro Kuzmenko

机构 * National University of Kyiv-Mohyla Academy（基辅莫希拉国立大学） ； University of Turin（都灵大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)

AI总结 该研究评估了InternVL、Qwen-VL、SmolVLM三种VLM在机器人第一人称视角图像人际距离危险分类中的表现，发现Qwen-VL经特定优化后高危险召回率更高，当前VLM在相关推理定位上仍有局限。

Comments Accepted at the EMR 2026 workshop at ECCV 2026 (non-archival)

Dual-Stream Cross-Anchor Correction Grounding Long-Form Captions and the Domain Limits of Object-Level Anchors

双流跨锚校正：接地长文本描述与对象级锚点的域限制

LingKai Bu

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型的长文本描述对象幻觉问题，本文提出双流跨锚校正方法，通过耦合感知流与认知流提升精度，在长文本场景下实现最优性能，且存在域条件性限制。

Privacy-Preserving RAG by Concealing Sensitive Information from External LLMs

通过向外部大语言模型隐藏敏感信息实现隐私保护的检索增强生成（RAG）

Saleh Almohaimeed, Saad Almohaimeed, Mousa Jari, Fahad Alotaibi, Khalid A. Alobaid

机构 * College of Applied Computer Science, King Saud University（沙特国王大学应用计算机科学学院） ； Institution of Public Administration（公共行政学院） 纠错

专题命中 指令微调 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SEAG隐私保护框架，通过构建实体替换表替换敏感信息，在向外部LLM隐藏敏感数据的同时保障RAG的回答准确性，相关模型在多维度评估中表现良好。

Comments Submitted to Knowledge-Based Systems Journal

Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

开放权重模型的行为重编程：认知可塑性与对齐边界

Lucia Malíčková

机构 * National Supercomputing Centre, Slovakia（斯洛伐克国家超级计算中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 该研究通过大规模并行超参数搜索等方法，对开放权重LLMs进行行为重编程，实现了主动苏格拉底式对话框架，明确了PEFT的边界等关键结论，为跨语言行为修改提供了实证框架。

Comments Preprint submitted to arXiv, August 12, 2026. 13 pages, 5 figures

Refusing Intent, Not Form: Wrapper-Based Intent-Group Supervision for LLM Safety

拒绝意图，而非形式：基于包装器的意图组监督用于大语言模型安全

Ping Wu, Haibo Tong, Feifei Zhao, Han Shen, Yu Shi, Yilin Zhao, Sicheng Shen, Guobin Shen, Yun Luo, Yi Zeng

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL

AI总结 该研究针对大语言模型安全调优的表面形式捷径问题，提出WIFA方法，结合两种微调路径提升有害内容拒绝能力并降低良性提示过度拒绝率，在Qwen和Llama上验证了效果。

Comments 23 pages, 11 figures, 24 tables

Learning to Adapt Cross-Domain Preferences via Meta-LoRA for LLM Personalization

通过元LoRA学习适应跨领域偏好以实现大语言模型个性化

Xuefei Wang, Jun Han, Zixuan Wang, Qingkai Zeng, Xiao Wang, Ruijie Wang, Jianxin Li

专题命中 指令微调 ：LLM(title)；分类 cs.AI

AI总结 针对跨领域个性化的过拟合与负迁移问题，提出PAC-Bayes正则化的Meta-LoRA，分解个性化先验为用户与领域组件，在多基准任务上取得胜率提升。

Steering the Language Axis: From Linear Decodability to Causal Control

操控语言轴：从线性可解码到因果控制

Arnav Srivastav

机构 * University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探究大语言模型的语言身份是否可通过紧凑激活方向因果控制，在Qwen、Llama等模型的126万次生成上证实，分离的PCA导出语言轴可可靠操控语言切换，且语言选择具层特异性与语言对依赖性。

Comments 22 pages, 14 figures, Under review

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TraVEL：面向驾驶视频检索的轨迹引导视频嵌入学习

Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

机构 * Uber AV Labs（优步自动驾驶实验室） ； Purdue University（普渡大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出TraVEL框架，将通用多模态嵌入模型适配到驾驶视频检索，结合轨迹监督与Group Relative Policy Optimization，在nuReasoning基准上提升了不同规模模型的运动相关检索性能。

Follow the Norm: Accounting for Fine-Tuning and Prompt Effects on Model Rationales

遵循规范：考量微调与提示对模型理由的影响

Long Hoang Nguyen, Brice Valentin Kok-Shun, Guangyu Du, Ali Sunyaev

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI

AI总结 该研究将AI视为代理主体，通过对LLaMA-3.2-11B等三个模型开展实验，发现违反规范的微调会改变模型的理由风格，而系统提示可覆盖该行为，支持对齐的分布式观点，为可争议监督提供了相关依据。

Comments Extended version with appendix; final version to appear in the Proceedings of AAAI/ACM AIES 2026

The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis

自然语言理解在基于多模态视频的登革热诊断中的作用

Danial Sharifrazi, Saadat Behzadi, Julakha Jahan Jui, Mojtaba Mohammadi, Nouman Javed, Roohallah Alizadehsani, Prasad N. Paradkar, Asim Bhatti

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 本研究提出基于YOLO和CLIP的视觉-语言框架，从视频中分类未受感染与DENV2感染的蚊子，帧级准确率达98.54%、灵敏度达99.91%，证实该框架可用于分析感染相关生物行为。