语言大模型 / LLM

Off-Manifold Collapse in Guided Protein Language Models

引导式蛋白质语言模型中的流形外坍塌

Shuibai Zhang, Xinchi Liu, Fred Zhangzhi Peng, Zhihan Yang, Shutong Wu, Yingzi Ma, Jiawei Zhang

机构 * Duke University（杜克大学） ； Cornell University（康奈尔大学） ； University of Wisconsin--Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 该研究发现引导式蛋白质语言模型存在流形外坍塌问题，提出无需训练的马氏过滤方法，可低成本提升生成序列的属性得分与结构合理性，且可跨引导方法迁移。

Comments 12 pages

Pedagogical AI in Mental Health: A Tri-Stream Fine-Tuned LLM Framework for Automated Clinical Supervision and Risk Triage

心理健康领域的教学式AI：用于自动化临床监督与风险分诊的三通路微调大语言模型框架

Shreeya Sharma, Ravish Gupta, Saket Kumar, Abhishek Aggarwal

机构 * Microsoft（微软） ； BigCommerce ； University at Buffalo, The State University of New York（纽约州立大学布法罗分校） ； Amazon（亚马逊） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对精神医疗的监督缺口，提出三通路微调Mistral-7B-instruct框架，实现自动化临床监督与风险分诊，提升效率并解决冷启动问题。

Comments 14 pages, 1 figure, 2 tables. Accepted for publication in AICTC 2026, Lecture Notes in Networks and Systems, vol. 2165, Springer

Mise-en-Scène: Implicit Layout Emergence in Diffusion Transformers for Human-AI Design Co-Creation

场景布置（Mise-en-Scène）：用于人机协同设计共创的扩散Transformer中隐式布局的涌现

Zipeng Xu, Ryan Murdock, Umberto Michieli

机构 * Canva Research（Canva研究院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 本文提出Mise-en-Scène框架，通过微调扩散Transformer实现隐式布局涌现，结合匹配放置步骤保证素材保真度，在PrismLayersPlus基准上生成的设计感知质量显著优于现有方法。

Comments Best Paper Award at ECCV Human-AI Co-Creation Workshop

Efficient Adaptation of LLMs for Hate Speech Detection in Low-Resource Languages: A Comparative Study on Roman Urdu

低资源语言仇恨言论检测的大语言模型高效适配：以罗马乌尔都语为例的比较研究

Toneema Zubair, Muhammad Junaid Asif, Faisal Kamiran, Hafiz Hassan Saeed, Rana Fayyaz Ahmad

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对罗马乌尔都语仇恨言论检测的低资源语言场景，对比评估Mistral等大语言模型，发现采用LoRA参数高效微调可显著提升性能，且计算效率优异。

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

首个令牌广播者：Transformer中语言身份与分布式鲁棒性的机制起源

Arjun Pillai, Christian Hoang, Anjelo Jann Laroza

机构 * Irvington High School（欧文顿高中） ； GenAI4E ； Mapua University（马普阿大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 通过因果干预方法LIHA，发现Transformer中少量注意力头（如GPT-2的L6H1）持续关注首个令牌并广播语言信号，且消融后补偿呈现层级前馈模式；指令微调将语言身份电路重组至早期层。

Comments Under review at Interp4Discovery @ NeurIPS 2026

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance

FiLoRA: 专注与忽略LoRA用于可控的特征依赖

Hyunsuk Chung, Soyeon Caren Han, Seungyeon Ji, Jinwoo Kim, Eun-Jung Holden, Kyungreem Han

机构 * University of Melbourne, Melbourne, Australia ； Brain Science Institute, Korea Institute of Science ； Department of Computer Science ； Engineering, Korea University, Seoul, Republic of Korea ； Division of Bio-Medical Science \& Technology, University of Science ； Technology KIST School, Seoul, Republic of Korea 纠错

专题命中 指令微调 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 FiLoRA通过指令条件门控实现对多模态模型内部特征依赖的可控调节，提升模型在虚假特征干预下的鲁棒性。

A Few Cases Are All You Need: An Empirical Study of Annotation-Efficient LoRA Fine-Tuning of MedSAM3

少数案例足矣：对MedSAM3的标注高效LoRA微调的实证研究

Sachin Dudda Nagaraju, Bendik Skarre Abrahamsen, Ashkan Moradi, Mattijs Elschot

机构 * Norwegian University of Science and Technology（挪威科技大学） ； St. Olavs Hospital, Trondheim University Hospital（圣奥拉夫斯医院（特隆赫姆大学医院）） 纠错

专题命中 指令微调 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究针对MedSAM3，用LoRA微调实现仅10个标注案例即可让医学图像分割达到临床可用性能，在腹部器官和心脏分割任务上优于部分专业工具，且训练速度更快。

Impact of Iterative Fine-Tuning on Transcription Accuracy in Complex Historical Sanskrit Manuscripts

迭代微调对复杂历史梵文手稿转录准确率的影响

Kartik Chincholikar, Kaushik Gopalan, Mihir Hasabnis

机构 * Centre for Inter-disciplinary Artificial Intelligence (CAI)（跨学科人工智能中心（CAI）） ； FLAME University（火焰大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对复杂历史梵文手稿的OCR挑战，提出可在布局与外观层级迭代微调的传统OCR流水线，构建含精细标注的数据集，验证了迭代微调的性能提升并完成多模态大模型基准测试。

Nine Emotion Centroids: A Label-Free Valence Axis That Transfers Across Four Modalities

九个情绪质心：跨四种模态迁移的无标签效价轴

Yousef Radwan

机构 * KAUST（阿卜杜拉国王科技大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种仅用9个情绪类别名称和少量叙事段落即可找到跨视觉、音频等四种模态迁移的无标签效价轴的方法，该轴在多模态情感任务中表现优异且具有机制活性。

Comments 15 pages, 3 figures, 4 tables

SE-MoLoRA: Shared-Expert LoRA Adapters for Domain-Specific Photographic Assessment

SE-MoLoRA：用于特定领域摄影评估的共享专家LoRA适配器

Bishwash Khanal, Anlan Zhang, Sasu Tarkoma, Tommi Mikkonen, Abhishek Kumar

机构 * Faculty of Information Technology（信息技术学院） ； University of Jyväskylä（于韦斯屈莱大学） ； Adobe Research（奥多比研究院） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 本文提出SE-MoLoRA框架，通过共享LoRA专家与路由适配器解耦通用摄影知识和专业判断，在摄影评论生成任务上显著提升BERTScore-F1，且更受偏好、参数更少。

What is Missing from AI Post-Training AI: An Empirical Analysis

AI后训练AI缺失了什么？一项实证分析

Joy Jia Yin Lim, Xin Huang, Hao Peng, Yaxi Lu, Xin Cong, Zhong Zhang, Maosong Sun, Yankai Lin

机构 * Tsinghua University（清华大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过实证分析发现，LLM智能体后训练时存在策略锁定问题，其缺失的是执行过程中自发重新评估训练策略的机制，而非经验、指导或推理计算。

Matching Accuracy, Different Geometry: Evolution Strategies vs GRPO in LLM Post-Training

匹配精度，不同几何：进化策略与GRPO在LLM后训练中的比较

William Hoy, Binxu Wang, Xu Pan

机构 * University of Miami（迈阿密大学） ； Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title)；分类 cs.LG；language model(comments)

AI总结 本文比较了进化策略（ES）与组相对策略优化（GRPO）在单任务和连续学习设置中的表现，发现ES在单任务精度上可与GRPO匹配，但两者在参数空间更新上存在显著差异，且ES在弱信息方向上能积累较大偏移，同时保持任务性能。

Comments Accepted to Conference on Language Modeling (COLM) 2026

Future Policy Approximation for Offline Reinforcement Learning in LLM Reasoning

为离线强化学习未来政策近似改进数学推理

Minjae Oh, Yunho Choi, Dongmin Choi, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University（首尔大学数据科学研究生院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出未来政策近似方法，通过估计未来策略来优化离线强化学习中的梯度更新，提升长周期推理任务的稳定性与准确性。

Comments 12 pages

Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

离线解释选择中， pairwise 排序优于单动作强化学习：一个实践经验

Tanay Chowdhury, Saeideh Shahrokh Esfahani

机构 * Amazon（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对工业可解释推荐系统的高成本问题，提出将 LLM 解释生成与选择分离的方案，发现 pairwise 排序方法在离线解释选择中优于单动作强化学习，且构建成本低、延迟小。

Comments This is an extended version of a 3-page paper accepted to the RecSys 2026 Research and Practice Notes track

AutoOR: Scalably Post-training LLMs to Autoformalize Operations Research Problems

AutoOR: 一种可扩展的后训练语言模型用于自动形式化运筹学问题

Sumeet Ramesh Motwani, Chuan Du, Aleksander Petrov, Christopher Davis, Philip Torr, Antonio Papania-Davis, Weishi Yan

机构 * The Moonshot Factory（谷歌登月工厂） ； University of Oxford（牛津大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 AutoOR通过合成数据生成与强化学习管道，训练语言模型自动形式化运筹学问题，实现线性、混合整数和非线性优化问题的高效解决，取得六个经典运筹学基准测试的领先或竞争性结果。

ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning

ADEPT：通过强化学习利用预训练和后训练提升灵巧性

Jayjun Lee, Jessica Yin, Asif Rana, Nicholas Blauch, Sam Mady, Mohak Bhardwaj, Nima Fazeli, Nathan Ratliff, Karl Van Wyk, Ankur Handa

机构 * NVIDIA Corporation（英伟达公司） ； University of Michigan（密歇根大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 该研究提出ADEPT强化学习框架，通过预训练和后训练实现高自由度机器人的可仿真到现实迁移的灵巧性，在两款机器人本体上完成长程任务，达到人类水平灵巧速度。

Comments Project page: this https URL (https://adept-dexterity.github.io/)

Abliteration Mitigation via Refusal Aliases

通过拒绝别名缓解删除（Abliteration）攻击

Nathan Truong

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型的删除（Abliteration）攻击，提出AMRA权重编辑防御方法，在Llama-3-8B和Gemma-2-9B上有效提升删除后的拒绝能力，同时控制了性能损失。

Falcon Perception-HD: High Density Perception via Reinforcement Learning

Falcon Perception-HD：基于强化学习的高密度感知

Sofian Chaybouti, Yasser Dahou, Ngoc Dung Huynh, Reda Alami, Hilde Kuehne

机构 * Tübingen AI Center（蒂宾根人工智能中心） ； University of Tübingen（蒂宾根大学） ； MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） ； Technology Innovation Institute（技术创新研究院） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 该研究针对开放词汇自回归感知模型的目标错位问题，基于Falcon Perception设计RL框架，采用GRPO优化，在指代表达分割任务上提升了极密集场景性能，减少冗余需求并保留物体存在性知识。

Comments 27 pages, 11 figures

Test-Time Scaling in the Wild: Why Exploitation, Not Exploration, Is the Bottleneck

野外测试时缩放：为何利用而非探索是瓶颈

Davide Romano, Kanak Raj, Jerrod Parker, Daniele Giofrè

机构 * Thomson Reuters（汤姆森路透） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过首个计算归一化对比发现，测试时缩放（TTS）中从候选池选择的利用环节是瓶颈，跨候选合成（Fusion）仅恢复约40%可用质量，探索缩放有效但利用失效。

Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents

面向可执行终端与MCP智能体的任务条件最小权限学习

Alexander Tu, Michael Tu

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出任务条件最小权限学习框架，通过后训练优化4B参数模型的权限选择，使智能体超额权限错误率大幅降低，安全成功率显著提升，可作为工具使用智能体的额外控制层。

Comments This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

Sobolev Regularized Score Difference Estimation in Diffusion Models

扩散模型中的Sobolev正则化得分差估计

Chenghan Xie, Jose Blanchet, Renyuan Xu

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文针对扩散模型得分差估计存在的统计一致性或可扩展性问题，提出Sobolev正则化的一致可扩展估计器，在小样本场景稳定性提升，真实任务性能优于非正则化方法。

Comments Accpeted by ICML 2026

VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation

VA-Judger：用于联合视频-音频生成的人类偏好反馈奖励建模

Yinming Huang, Shuyuan Tu, Xi Yan, Zihan Yang, Jianhua Han, Xu Hang, Yu-Gang Jiang, Zuxuan Wu

机构 * Shanghai Innovation Institution（上海创新研究院） ； Fudan University（复旦大学） ； Yinwang Intelligent Technology Co., Ltd（音网智能科技有限公司） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本研究针对联合视频-音频生成的奖励信号问题，构建了VAPref-10K数据集与VA-Judger-Bench基准，提出思维链全奖励模型VA-Judger，其在预测人类偏好及提升生成质量上均优于基线方法。

Comments 19 pages, 7 figures, 8 tables. Code: this https URL (https://github.com/ShareLab-SII/VA-Judger)

rEDMRec: Distilling Large Language Model Reasoning into an Editable Experience Memory for Recommendation

rEDMRec：将大语言模型推理提炼为可编辑的体验记忆用于推荐

Minh Hoang Nguyen, Tung Le, Huy Tien Nguyen

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 rEDMRec将教师LLM推理提炼为四类可编辑体验记忆，轻量级学生LLM通过检索记忆排序，在多数据集和主干模型上优于零样本、少样本、RAG及GraphRAG，记忆优化可提升推荐性能并降低重复率。

Q-First: Most of Attention Needs Only the Query in Disaggregated LLM Decoding

Q-First：在块的最小改动下实现注意力与前馈的并发

WenJie Fan

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 该研究提出Q-First协议，通过交换LLM解码器块的注意力与前馈子层顺序消除依赖，实现并发，验证其精度并训练8种变体证明改动影响有界且符合要求。

Comments 21 pages,5 figures

Selective KV Cache Protection for Noise-Resilient LLM Inference on Analog Compute-In-Memory Systems

面向模拟存算一体系统上抗噪声大语言模型推理的选择性键值缓存保护

Yuannuo Feng, Wenyong Zhou, Yuang Ma, Yizhe Chen, Wenshuai Yao, Yuxin Xie, Ngai Wong, Wang Kang

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 针对模拟存算一体系统上LLM推理的KV缓存易受硬件噪声影响的问题，本文首次开展相关系统研究，提出分层token保护策略，大幅降低噪声下的困惑度并提升编程行利用率。

EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory

EgoCITE：面向长时程自我中心记忆的上下文增强索引与时序感知检索

Le Zhang, Hao Chen, Vlad Roznyatovskiy, Jianzhong Zhang, Ke Sun

机构 * University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对长时程自我中心记忆系统的索引不可靠、忽略时序意图的问题，提出EgoCITE框架，经多数据集评估，其准确率优于基线且成本显著低于长上下文LLM智能体。

Tuning the Stochastic Machine: A Systems Engineer's Operating Model for Human-AI Engineering

调优随机机器：面向人机工程的系统工程师运营模型

George Andrikopoulos

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文将LLM栈映射到系统工程师熟悉的机器组件，针对其运营机制缺失问题提出七项核心运营规范，结合实践案例与测量框架，为解决LLM纠正仅在会话内生效的问题提供方案。

Comments 8 pages, 3 figures. Experience report and operating model

Is Bitcoin A Hedge Against Central Banking? Evidence from AI-Driven Monetary Policy Expectations

比特币是否是中央银行的对冲工具？来自AI驱动的货币政策预期的证据

Maxime L. D. Nicolas, François Sicard, Marion Laboure, Zixin Sun, Anahí Rodríguez-Martínez

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究货币政策叙事对比特币价格的传导作用，区分前瞻性预期与事后利率实施的影响。通过高频率货币政策预期指数揭示比特币对央行信号的敏感性，显示前瞻性鹰派叙事对价格有持续负面影响。

MemFuse: Multi-Source Memory Fusion from Fragmented Observations

MemFuse：基于碎片化观测的多源记忆融合

Chao Li, Yuanfa Li, Wenhao Wu, Xule Liu, Zhi Wang, Kun Shao

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对现有记忆系统多聚焦单源文本、无法处理碎片化信息的问题，提出多源记忆融合基准MemFuseBench与结构化记忆系统MemFuse，实验显示MemFuse在跨源证据融合任务上表现最优。

Comments 30 pages, 4 figures, 4 tables

Cross-Model Memory Transfer via Target-Side Reader Adaptation

通过目标侧读取器适配实现跨模型记忆迁移

Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型知识利用的两类方法缺陷，探究Engram式哈希记忆跨模型迁移的关键因素，通过跨模型冻结记忆提取实验，提出双层四分支读取器，实现同模型与跨模型复用差距的缩小，证明Engram可作为可复用外部知识人工制品。