语言大模型 / LLM

Golden Layers and Where to Find Them: Improved Knowledge Editing for Large Language Models Via Layer Gradient Analysis

黄金层与寻找它们的位置：通过层梯度分析改进大型语言模型的知识编辑

Shrestha Datta, Hongfu Liu, Anshuman Chhabra

机构 * University of South Florida（佛罗里达州立大学） ； Brandeis University（布兰迪大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出通过层梯度分析（LGA）识别高效知识编辑的黄金层，验证其在不同数据集和模型类型中的有效性。

Conversations in Space: Structuring Non-Linear LLM Interactions on a Canvas

空间对话：在画布上构建非线性大语言模型交互结构

Rifat Mehreen Amin, Alperen Adatepe, Daniela Fernandes, Daniel Buschek, Andreas Butz

机构 * LMU Munich（慕尼黑大学） ； Aalto University（阿尔托大学） ； University of Bayreuth（拜罗伊特大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出CanvasConvo，通过将线性聊天转化为分支对话树，支持在画布上探索假设场景，提升LLM交互的非线性结构和探索效率。

Multi-Turn Neural Transparency: Surfacing Neural Activations Improves User Calibration to LLM Behavioral Drift

多轮神经透明：揭示神经激活以改善用户对LLM行为漂移的校准

Sheer Karny, Anthony Baez, Pat Pataranutaporn

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)

AI总结 本文提出多轮神经透明方法，通过实时展示LLM内部激活以帮助用户预测和识别行为变化，实验表明该方法显著提升了用户对模型行为的评估和校准。

HIVE: Hidden-Evidence Verification for Hallucination Detection in Diffusion Large Language Models

HIVE：用于扩散大语言模型中幻觉检测的隐藏证据验证

Guoshenghui Zhao, Tan Yu, Weijie Zhao

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； NVIDIA Corporation（英伟达公司） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 HIVE通过提取去噪轨迹中的压缩隐藏证据，结合语言模型前缀嵌入进行验证，提升幻觉检测性能，优于多个基线模型。

Comments 5 figures, appendix included

Probing Privacy Leaks in LLM-based Code Generation via Test Generation

通过测试生成探测基于LLM的代码生成中的隐私泄露

Yifei Ge, Zhenpeng Chen, Weisong Sun, Yuchen Chen, Chunrong Fang, Juan Zhai, Xiaofang Zhang, Xia Feng, Yang Liu, Zhenyu Chen

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种模拟实际隐私相关代码生成场景的管道，采用测试驱动策略提取生成测试用例中的记忆信息，通过自动构建隐私特征库提高隐私泄露检测效果，实验表明检测到的隐私泄露增加2.56倍。

Comments Preprint

The Linear Representation Hypothesis and the Geometry of Large Language Models

线性表示假说与大语言模型的几何学

Kiho Park, Yo Joong Choe, Victor Veitch

机构 * University of Chicago（芝加哥大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨线性表示的定义及其在表示空间中的几何意义，通过反事实语言形式化并证明其与线性探测和模型操控的关联，提出非欧几里得内积统一线性表示概念，实验验证概念表示的存在及其对解释与控制的重要性。

Comments Accepted for a presentation at ICML 2024 and an oral presentation at NeurIPS 2023 Workshop on Causal Representation Learning. Code is available at https://github.com/KihoPark/linear_rep_geometry

Journal ref In Proceedings of the 41st International Conference on Machine Learning (ICML), 2024

Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models

走出洞穴：JAM用于对齐独立训练的视觉和语言模型

Lauren Hyoseo Yoon, Yisong Yue, Been Kim

机构 * Computation and Neural Systems（计算与神经系统） ； California Institute of Technology（加利福尼亚理工学院） ； Computation and Mathematical Sciences（计算与数学科学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；foundation model(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出JAM方法，通过联合训练模态特定的自编码器，优化视觉和语言模型的对齐，提升细粒度上下文区分能力。

SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

SAE-RNA：一种用于解释RNA语言模型表示的稀疏自编码器模型

Taehan Kim, Sangdae Nam

机构 * Department of Computer Science, University of California, Berkeley（加州大学伯克利分校计算机科学系） ； Department of Development Engineering, University of California, Berkeley（加州大学伯克利分校发展工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出SAE-RNA模型，通过分析RiNALMo表示并映射到人类水平的生物特征，探索稀疏自编码器在RNA语言模型表示中的可解释性及局限性。

Comments 12 pages, 7 figures. v2: Updated bibliography to improve reference accuracy and reflect updated publication venues. Refined claims for better alignment with results and added an Appendix

Beyond Forgetting: Machine Unlearning Elicits Controllable Side Behaviors and Capabilities

超越遗忘：机器去学习引发可控的副作用和能力

Tien Dang, The-Hai Nguyen, Dinh Mai Phuong, Nguyen Minh Phuong, Anh Bui, Hoang Thanh-Tung, Le-Minh Nguyen, Naoya Inoue

机构 * Japan Advanced Institute of Science and Technology（日本先进科学研究所） ； Quantum AI and Cyber Security Institute（量子人工智能与网络安全研究所） ； FPT Corporation（FPT公司） ； Monash University（墨尔本大学） ； RIKEN（理化学研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了通过去学习引发可控副作用和能力的现象，通过线性表示假设验证了该现象在行为控制和能力增强任务中的有效性。

Comments 36 pages, 19 tables, 9 figures

Geometric algebra as the input language of collider foundation models

几何代数作为碰撞物理基础模型的输入语言

E. Abasov, L. Dudko, F. Grigoryev, P. Volkov, A. Zaborenko

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)

AI总结 本文提出将碰撞事件视为单一几何对象，利用几何代数的分级分解组织所有可观测量，提供34个经典可观测量的字典，并展示如何通过投影获得高阶不变量和低阶配方，最终通过多共振拓扑分离示例展示方法。

Comments 39 pages, 3 figures

ICED: Concept-level Machine Unlearning via Interpretable Concept Decomposition

ICED: 通过可解释的概念分解实现概念级机器去学习

Shen Lin, Jing Lin, Junhao Dong, Piotr Koniusz, Li Xu

机构 * Fujian Normal University（福建师范大学） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Data61 CSIRO（Data61澳大利亚联邦科学与工业研究组织） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ICED框架，通过多模态大语言模型构建任务特定概念词汇，实现VLMs中概念级去学习，有效去除目标知识并保留非目标语义，实验表明其在目标遗忘和模型效用方面表现优异。

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

超越二元奖励：训练语言模型以对其不确定性进行推理

Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim, Jacob Andreas

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RLCR方法，通过联合提升准确性和校准置信度，改进语言模型的推理能力，实验显示其在不同数据集上提升校准效果而不影响准确性。

Grounded or Guessing? LVLM Confidence Estimation via Blind-Image Contrastive Ranking

grounded还是猜测？通过盲图像对比排序进行LVLM置信度估计

Reza Khanmohammadi, Erfan Miahi, Simerjot Kaur, Charese H. Smiley, Ivan Brugere, Kundan Thind, Mohammad M. Ghassemi

机构 * Michigan State University（密歇根州立大学） ； Independent AI Researcher（独立AI研究员） ； JPMorgan AI Research（摩根大通AI研究） ； Henry Ford Health（亨利福特健康） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL

AI总结 本文提出BICR框架，通过对比真实图像与遮蔽图像的隐藏状态，评估LVLM的置信度，实现跨模型的校准与判别性能优化。

Sound Sparks Motion: Audio and Text Tuning for Video Editing

声音激发动作：用于视频编辑的音频和文本微调

AmirHossein Naghi Razlighi, Aryan Mikaeili, Ali Mahdavi-Amiri, Daniel Cohen-Or, Yiorgos Chrysanthou

机构 * University of Cyprus（塞浦路斯大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Tel Aviv University（特拉维夫大学） ； CYENS Center Of Excellence（CYENS卓越中心） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出Sound Sparks Motion框架，通过测试时调整音频视觉生成模型的多模态条件信号，实现视频动作编辑，无需训练，通过音频潜在和文本条件残差扰动促进动作修改，同时利用视觉语言模型反馈提升编辑效果。

Comments Project Page: https://amirhossein-razlighi.github.io/Sound_Sparks_Motion