Massive Spikes in LLMs are Bias Vectors: Mechanistic Uncovering and Spike-Free Quantization
LLM中的大规模尖峰是偏置向量:机制揭示与无尖峰量化
机构 * Princeton University(普林斯顿大学) ; EnCharge AI
AI总结 本文通过机制分析发现LLM中的激活尖峰本质上是结构化的向量偏置,并提出无尖峰量化框架INSERTQUANT,实现鲁棒的低比特量化。
高校专区
LLM中的大规模尖峰是偏置向量:机制揭示与无尖峰量化
机构 * Princeton University(普林斯顿大学) ; EnCharge AI
AI总结 本文通过机制分析发现LLM中的激活尖峰本质上是结构化的向量偏置,并提出无尖峰量化框架INSERTQUANT,实现鲁棒的低比特量化。
高、中、低资源语言中的句子和对话多语言习语
机构 * Mohamed bin Zayed University of Artificial Intelligence(莫扎德大学人工智能大学) ; University of Hamburg(汉堡大学) ; Manipal University(曼印大学) ; IIIT Hyderabad(海得拉尔IIIT) ; University of Science and Technology of Hanoi(河内科学技术大学) ; Universitas Islam Indonesia(印尼伊斯兰大学) ; Princeton University(普林斯顿大学)
AI总结 针对多语言习语理解,构建了覆盖3种高资源、3种中资源和12种低资源语言的MIDI数据集,包含句子和对话上下文中的字面与比喻用法,实验表明低资源语言理解更差,字面义比比喻义更难,对话上下文虽有改善但未消除差距。
RoboTrustBench:机器人操作视频世界模型的可信度基准测试
机构 * Singapore Management University(新加坡国立管理学院) ; Fudan University(复旦大学) ; Princeton University(普林斯顿大学)
AI总结 针对视频世界模型在机器人操作中的可信度问题,提出RoboTrustBench基准,包含正常、约束敏感、反事实和对抗四种场景,通过专家验证的指令-图像对和六维评估协议,发现当前模型在约束推理、反事实基础、物理交互和不安全指令抑制方面存在不足。
Comments Project: https://huiqiongli.github.io/RoboTrustBench/
MomentKV:消除长上下文推理中KV缓存驱逐的方向差距
机构 * George Washington University(乔治·华盛顿大学) ; Princeton University(普林斯顿大学)
AI总结 针对长上下文推理中KV缓存驱逐导致输出退化的问题,提出MomentKV方法,通过维护驱逐令牌集的矩统计量(计数、键均值、值均值和值-键协方差)来识别与累积摘要对齐的令牌,并在推理时提供驱逐注意力输出的一阶近似,实现选择性驱逐与精确校正的相互增强。
物理基础模型从模拟到实验室湍流的涌现迁移
机构 * University of Cambridge(剑桥大学) ; CEA, DAM/DIF(法国CEA DAM/DIF) ; Flatiron Institute(Flatiron研究所) ; New York University(纽约大学) ; Princeton University(普林斯顿大学) ; Yale University(耶鲁大学) ; AIM, Université Paris-Saclay, Université Paris Cité, CEA, CNRS(AIM,巴黎-萨克雷大学,巴黎城市大学,CEA,CNRS) ; University of Wisconsin–Madison(威斯康星大学麦迪逊分校) ; Polymathic AI(聚合人工智能)
AI总结 通过微调连续介质动力学基础模型Walrus,在仅使用少量模拟数据的情况下,零样本泛化到实验室瑞利-泰勒不稳定性实验,揭示了初始条件在模拟-实验差距中的关键作用。
GraspGen-X: 跨形态6自由度扩散抓取
机构 * NVIDIA ; Princeton University(普林斯顿大学)
AI总结 提出一种基于扩散模型的跨形态6自由度抓取方法,通过扫描体积启发式编码夹爪表示,在20亿抓取数据上训练,实现对新物体、场景和夹爪形态的零样本泛化。
任务多样性产生系统性迁移但抑制持续强化学习
机构 * MIT(麻省理工学院) ; University of California, Berkeley(加州大学伯克利分校) ; Princeton University(普林斯顿大学) ; Harvard University(哈佛大学)
AI总结 通过引入GPU加速的持续强化学习领域Banyan,研究任务多样性(地图布局、交互对象、子目标层次结构)对智能体在分布变化下持续学习能力的影响,发现多样性促进局部迁移但导致长期任务性能停滞和遗忘。
Cuttlebot:一种复杂自主仿生游泳机器人的平台演示
机构 * School of Mechanical, Aerospace, and Manufacturing Engineering, University of Connecticut(康涅狄格大学机械、航空航天与制造工程学院) ; Department of Mechanical and Industrial Engineering, University of Toronto(多伦多大学机械与工业工程系) ; University of Connecticut, Institute of Materials Science(康涅狄格大学材料科学研究所) ; Department of Mechanical and Aerospace Engineering, Princeton University(普林斯顿大学机械与航空航天工程系)
AI总结 本文提出CORE自主机器人平台,驱动六个人工肌肉并感知视觉与空间信息,开发了仿乌贼机器人Cuttlebot,通过波动鳍实现三维游泳,验证了平台的有效性。
Value Flows
机构 * Stanford University(斯坦福大学) ; Princeton University(普林斯顿大学)
AI总结 本文利用基于流的生成模型估计完整未来回报分布,通过新的流匹配目标满足分布贝尔曼方程,并利用流导数ODE估计回报不确定性以优先学习,在离线与在线设置中平均成功率提升1.3倍。
Comments ICLR 2026
两个数据集优于一个:冷冻电镜三维重建的双矩方法
机构 * Department of Mathematics and Oden Institute, University of Texas at Austin(德克萨斯大学奥斯汀分校数学系与奥登研究所) ; Yau Mathematical Sciences Center, Tsinghua University(清华大学姚贝泰数学科学中心) ; Program in Applied and Computational Mathematics and Department of Mathematics, Princeton University(普林斯顿大学应用与计算数学项目及数学系) ; Program in Applied and Computational Mathematics, Princeton University(普林斯顿大学应用与计算数学项目)
AI总结 提出双矩方法(MoDM),利用均匀和非均匀两种取向分布下的二阶矩数据唯一确定分子结构,并开发基于凸松弛的算法实现高精度重建。
超越对象:面向细粒度分类的上下文合成数据生成
机构 * Princeton University(普林斯顿大学) ; Google DeepMind(谷歌DeepMind)
AI总结 提出BOB微调策略,通过提取并条件化类不可知属性(如场景背景和物体姿态)来缓解过拟合,提升细粒度分类中合成训练数据的质量,在多个数据集上达到最优性能。
Comments CVPR 2026
Princeton365: 一个具有精确相机位姿的多样化数据集
机构 * Princeton University(普林斯顿大学)
AI总结 提出Princeton365数据集,包含365个视频和精确相机位姿,通过校准板和360度相机的新颖真值采集框架弥合精度与多样性差距,并引入基于光流的尺度感知评估指标及新颖视图合成基准。
Comments Update v2: Match the ICCV 2025 camera-ready version. Fix typos