语言大模型 / LLM

Temporal Preference Concepts and their Functions in a Large Language Model

时间偏好概念及其在大语言模型中的功能

Ian Rios-Sialer, Shantanu Darveshi, Shuai Jiang, Avigya Paudel, Anastasiia Pronina, Ipshita Bandyopadhyay, Justin Shenk

机构 * AISC（AI Safety Camp） ； SPAR（Supervised Program for Alignment Research） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过因果定位和激活修补，本文发现大语言模型在中间到上层节点编码时间偏好几何结构，且行为分析表明模型对未来折扣比人类更平缓，但偏好不稳定，可通过引导向量调控。

Persona Cartography: Charting Language Model Personality Traits in Weight Space

人物角色制图：在权重空间中描绘语言模型的个性特征

Luke Baines, Anton Gonzalvez Hawthorne, Mariia Koroliuk, Irakli Shalibashvili, Clément Dumas, Konstantinos Voudouris, David Demitri Africa

机构 * dsit.gov.uk（数字科学与创新部） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大型语言模型人物角色，用大五人格框架将其视为行为特征空间位置，训练低秩适配器控制特征，评估其效果，发现可构建混合人物角色并保持性能，还表明特征轴影响安全行为，引入无监督管道，为人格测量等架桥。

Comments 85 pages, 80 figures

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

迈向对大语言模型微调中记忆知识无法泛化原因的机理理解

Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型微调中记忆知识无法泛化的问题，用自修补技术监测知识渗透动态，发现与知识电路未对准假设一致，还设计启发式策略验证，跨域实验证明发现具稳健性。

ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning

ReCoLoRA：用于持续语言模型微调的频谱感知递归合并

Wentao Lu

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对持续语言模型微调中类似LoRA方法新任务覆盖旧任务的问题，提出ReCoLoRA框架，通过特定初始化、选秩及递归合并等操作，在多任务持续GLUE序列实验中，用更少参数取得更好成绩。

Bridging Modal Isolation in Interleaved Thinking: Supervising Modality Transitions via Stepwise Reinforcement

交错思维中的模态隔离桥接：通过逐步强化监督模态转换

Tingyu Li, Le Zhou, Siyuan Li, Yujun Wu, Xinglong Xu, Jingxuan Wei, Conghui He, Cheng Tan

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.AI

AI总结 提出MoTiF框架，通过反射式SFT和Flow-GRPO优化模态转换保真度，解决交错思维中图像与文本脱节的模态隔离问题，提升跨模态一致性和任务准确性。

Comments 22 pages, 5 figures, 6 tables

Evaluating the Generalizability of Foundation Models for Extreme Environmental Events: Case Study of California Wildfire PM2.5

评估极端环境事件基础模型的泛化能力：以加利福尼亚野火PM2.5为例

Yongcan Huang, Li Jiang, Ze Yu Liu

机构 * College of Engineering, University of Georgia（佐治亚大学工程学院） ； Information System Department, UMBC（马里兰大学巴尔的摩郡分校信息系统系） ； College of Graduate and Professional Studies, Trine University（特瑞大学研究生与专业研究学院） ； School of Professional Studies, Columbia University（哥伦比亚大学专业研究学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究以加利福尼亚野火PM2.5为例，比较六种时间序列基础模型配置与全训练基线及朴素持久性方法，通过留一事件法评估泛化能力，发现BiLSTM表现最佳，零样本TSFMs改进有限，LoRA微调有改善但未超循环基线，挑战大预训练模型主导环境预测的假设并提供指导。

DrugGen 2: A disease-aware language model for enhancing drug discovery

DrugGen 2：一种用于增强药物发现的疾病感知语言模型

Ali Motahharynia, Mohammadreza Ghaffarzadeh-Esfahani, Mahsa Sheikholeslami, Navid Mazrouei, Matin Irajpour, Yousof Gheisari, Hajar Sirous

机构 * Regenerative Medicine Research Center（再生医学研究中心） ； Isfahan University of Medical Sciences（伊斯法罕医科大学） ； Isfahan Neuroscience Research Center（伊斯法罕神经科学研究中心） ； School of Pharmacy（药学院） ； Department of Medicinal Chemistry（药理化学系） ； Cardiovascular Research Institute（心血管研究学院） ； Department of Genetics and Molecular Biology（基因与分子生物学系） ； Bioinformatics Research Center（生物信息学研究中心） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.AI、cs.LG

AI总结 研究针对当前药物设计计算方法忽视疾病背景的问题，提出DrugGen-2模型，通过微调预训练GPT-2模型，经监督微调与强化学习两步策略，依疾病和靶点设计小分子，在糖尿病肾病靶点评估中性能超基线模型，推动AI辅助药物发现。

Comments 15 pages, 2 figures, 1 table, and 4 supplementary files. To use the model, see https://github.com/alimotahharynia/DrugGen-2

Two Axes of LLM Abstention: Answer Correctness and Question Answerability

大语言模型弃权的两个轴：答案正确性和问题可回答性

Benedikt J. Wagner

机构 * University of London（伦敦大学） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型弃权的两个轴，即答案正确性和问题可回答性。发现普通方法无法区分二者，通过对多个模型研究找到不同轴的特点及问题所在，提出校准策略，可提高答案质量，在不同规模下控制不可回答答案率和错误答案率。

PARA-PV: Physics-Aware Retrieval-Augmented PV Prediction Based on Frozen Foundation Model and Distribution Shift Correction

PARA-PV：基于冻结基础模型和分布偏移校正的物理感知检索增强型光伏功率预测

Hang Fan, Weican Liu, Ying Lu, Dunnan Liu, Long Cheng, Wei Wei

机构 * School of Economics and Management（经济管理学院） ； School of Electrical and Electronic Engineering（电子电气工程学院） ； School of Control and Computer Engineering（控制与计算机工程学院） ； Department of Electrical Engineering（电气工程系） 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.AI

AI总结 研究针对光伏功率预测难题，提出PARA-PV框架，通过编码观测、检索历史数据、校准基础预测及校正分布偏移，并采用物理约束损失函数，嵌入物理知识实现准确预测，为可靠电网调度和可再生能源整合助力。

UNIPO: Unified Interactive Visual Explanation for RL Fine-Tuning Policy Optimization

UNIPO：统一的交互式可视化用于RL微调策略优化

Aeree Cho, Alexander D. Greenhalgh, Jonathan Bodea, Anthony Peng, Duen Horng Chau

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 UNIPO通过统一设计揭示RL微调算法的token级训练动态，提供高阶训练概述、步骤级提示响应检查器和算法对比视图，支持非专家教学和AI从业者算法选择。

Write-Protected Discrete Bottlenecks for Language-Grounded World Models: A Structural Limitation and Sufficient Fix

用于语言基础世界模型的写保护离散瓶颈：一种结构限制及充分修复

Jiayi Fang

机构 * Shanghai University of Finance and Economics（上海金融学院） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.LG

AI总结 研究语言与世界模型离散符号系统的交互问题，提出防止基于Gumbel-softmax的离散符号瓶颈失败的三个约束，经实验验证该方法能实现高基础准确率，且修复参数少、无需微调。

Comments 20 pages, 7 figures. Preprint

Before the Last Token: Diagnosing Final-Token Safety Probe Failures

在最后的标记之前：诊断最终标记安全探针失败

Shravan Doda

机构 * SafeSwitch ； HarmBench ； SorryBench 纠错

专题命中 指令微调 ：LLM(abstract_cn)；分类 cs.LG

AI总结 研究最终标记安全探针在预填充阶段的失败模式，发现安全证据分布在早期用户标记中，传统探针无法捕捉，提出基于PCA-HMM的轨迹模型提升诊断能力。

Comments 8 pages, 2 figures, 7 tables. Accepted at the ICML 2026 Mechanistic Interpretability Workshop and the ICML 2026 Failure Modes in Agentic AI Workshop

From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

从 RGB 生成到密集场读出：使用文本到图像模型进行像素空间密集预测

Zanyi Wang, Xin Lin, Haodong Li, Dengyang Jiang, Yijiang Li

机构 * UCSD（加州大学圣地亚哥分校） ； HKUST（香港科技大学） 纠错

专题命中 指令微调 ：pretraining(abstract)

AI总结 研究利用文本到图像模型进行像素空间密集预测，提出ReChannel方法，保留DiT输入分布的VAE编码器，去掉目标侧解码器，用任务LoRA调整，通过线性头映射令牌到像素空间补丁，在多个密集预测任务上表现出色，比对比方法更准确快速。