语言大模型 / LLM

Enforcing LLM Safety through DMD-based Classification of Prompt-Response Embedding Dynamics

基于DMD的提示-响应嵌入动态分类实现大语言模型安全

Mohamed Akrout, Olivera Kotevska, Dan Wilson

机构 * University of Tennessee（田纳西大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文将幻觉检测的动力系统框架扩展到LLM安全分类，通过拟合安全与不安全状态的Koopman模型，利用差分残差评分分类不安全输出，在多基准测试中验证了纳入提示嵌入的改进效果。

Represented but Ignored: A Causal Account of Prosodic Underuse in Audio-Language Models

被表征却被忽视：音频语言模型中韵律使用不足的因果解释

Linkai Peng, Baorian Nuchged

机构 * University of Connecticut（康涅狄格大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对音频语言模型（audio-LLM）韵律使用不足的问题，通过阶段特定探测阶梯与隐藏状态干预实验，发现模型能表征韵律却未在输出中表达，瓶颈在于韵律的使用而非感知。

RepSelect: Robust LLM Unlearning via Representation Selectivity

RepSelect: 通过表示选择性实现鲁棒的大语言模型遗忘

Filip Sondej, Yushi Yang, Adam Mahdi

机构 * Independent（独立） ； University of Oxford（牛津大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 针对现有遗忘方法易被微调或少样本提示逆转的问题，提出RepSelect方法，通过梯度主成分坍塌隔离遗忘集表示，实现深度鲁棒遗忘。

Forking Fast: Efficiently Estimating Uncertainty Dynamics in Text Generation

快速分叉：高效估计文本生成中的不确定性动态

Eric Bigelow, Amir Zur, Satchel Grant, Tal Haklay, Can Rager, Owen Lewis, Thomas McGrath, Jack Merullo, Ekdeep Singh Lubana, Atticus Geiger

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对文本生成中不确定性动态估计成本高的问题，本研究开发统计模型平滑低采样推理数据以近似高采样数据，提升重采样分析效率，揭示不确定性动态的稳定模式及噪声来源。

Graphical Design of Interpretable Architectures

可解释架构的图形化设计

Pietro Barbiero

机构 * IBM Research（IBM研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出改编自Penrose张量表示法的图形符号，可直观呈现可解释AI架构的全局视图并与PyTorch einsum代码一一对应，还绘制了Steerling-8B的架构图并转换为代码。

The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth

概念分配区：追踪概念如何跨越Transformer深度形成

James Henry

机构 * Independent Researcher（独立研究者） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出概念分配区（CAZ）框架，通过层间度量（分离度、概念一致性、概念速度）检测概念在残差流中逐渐形成的深度区间，并在34个模型上验证了分离曲线的多模态性及温和CAZ的因果活性。

Comments v2: substantial revision. Cross-architecture ordering statistic and MHA/GQA cohort-split claim retracted per recomputation; corpus and companion-paper citations refreshed. See paper's "Changes from Version 1" section for the full list of superseded values

Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners

向前听：下一个补丁嵌入预测可实现可扩展音频学习器

Umberto Cappellazzo, Xubo Liu, Stavros Petridis, Maja Pantic

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI

AI总结 该研究提出自监督框架NAPE，通过因果Transformer预测下一个音频补丁嵌入，在六个音频语音基准上实现先进性能，可扩展编码器规模，获强线性探测结果，无显式监督时生成结构化注意力模式。

Comments Project website: this https URL (https://umbertocappellazzo.github.io/nape)