Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining
数据受限语言模型预训练的数据增强
机构 * UC San Diego(加州大学圣地亚哥分校) ; RMIT University(皇家墨尔本理工大学)
AI总结 针对数据受限下标准自回归预训练严重过拟合的问题,提出三类数据增强方法(token级噪声、序列排列、目标偏移预测),有效降低验证损失并支持数百epoch训练。
高校专区
数据受限语言模型预训练的数据增强
机构 * UC San Diego(加州大学圣地亚哥分校) ; RMIT University(皇家墨尔本理工大学)
AI总结 针对数据受限下标准自回归预训练严重过拟合的问题,提出三类数据增强方法(token级噪声、序列排列、目标偏移预测),有效降低验证损失并支持数百epoch训练。
从人类演示生成机器人手
机构 * University of California San Diego(加州大学圣迭戈分校) ; Amazon Frontier AI & Robotics(亚马逊前沿人工智能与机器人)
AI总结 提出数据驱动框架,利用人类日常操作中超过400万帧指尖运动数据,通过逆运动学匹配指尖位置,优化树状结构机器人手的设计,生成通用6自由度手和低自由度任务专用手,并训练强化学习智能体加速设计搜索。
多模态概念瓶颈模型
机构 * UC San Diego(加州大学圣地亚哥分校)
AI总结 提出多模态概念瓶颈模型(MM-CBM),利用双概念瓶颈层对齐图像和文本嵌入,实现可解释的零样本分类和图像检索,在四个基准上平均准确率提升高达51.26%。
Comments Present at NeurIPS 2025 Mechanistic Interpretability Workshop
流形赌博机:大语言模型潜在几何上的贝叶斯课程学习
机构 * University of California, San Diego(加州大学圣迭戈分校)
AI总结 提出贝叶斯流形课程(BMC)框架,将问题采样建模为流形结构赌博机问题,通过层次任务树和贝叶斯学习引导采样,平衡学习信号、多样性和实用性。
Comments Webpage: https://darrienmckenzie.com/manifold-bandits/
HEPTv2:用于带电粒子重建的端到端高效点变换器
机构 * School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院) ; Department of Physics and Astronomy, Purdue University(普渡大学物理与天文学系) ; Department of Physics, University of California San Diego(加州大学圣地亚哥分校物理系) ; Department of Physics, University of Washington(华盛顿大学物理系)
AI总结 提出HEPTv2,一种端到端点变换器架构,通过局部敏感哈希编码和扇区化解码,无需图构建即可从探测器击中点直接重建粒子轨迹,在TrackML上以0.8%假率实现98.6%追踪效率,延迟仅15ms。
太阳高能粒子预测的机器学习模型综述
机构 * Department of Astrophysical Sciences, Princeton University, Princeton, NJ, USA ; Computational Physics Branch, NASA Ames Research Center, Moffett Field, CA, USA ; Department of Computer Science, Utah State University, Logan, UT, USA ; Space Radiation Analysis Group, NASA Johnson Space Center, Houston, TX, USA ; Johns Hopkins Applied Physics Lab, 11100 Johns Hopkins Rd, Laurel, MD 20723, United States ; Research Center for Astronomy ; Applied Mathematics of the Academy of Athens, 4 Soranou Efesiou Street, Athens 11527, Greece ; Institute for Astronomy, Astrophysics, Space Applications ; Southwest Research Institute, Boulder, CO, USA ; Space Science Center, University of New Hampshire, Durham, NH, USA ; Department of Physics, New Jersey Institute of Technology, Newark, NJ, USA ; Astronomy Department, Georgia State University, Atlanta, GA, USA ; Department of Computer Science, Princeton University, Princeton, NJ, USA ; Department of Mathematics, Rowan University, Glassboro, NJ, USA ; Astronomy, California Institute of Technology, Pasadena, CA, USA ; Department of Physics, National ; Kapodistrian University of Athens, Athens, Greece ; School of Electrical ; Computer Engineering, Technical University of Crete, Chania, Greece ; Department of Astronomy ; Meteorology, Faculty of Science, Al-Azhar University, Cairo, Egypt ; Space Sciences Lab, University of California, Berkeley, CA, USA ; Research Consultancy, Athens, Greece ; Institute for Space Astrophysics ; Department of Physics ; Astronomy, Georgia State University, Atlanta, GA 30303, USA ; Aryabhatta Research Institute of Observational Sciences (ARIES), Manora Peak, Nainital-263001, Uttarakhand, India ; Department of Computer Science, Oxford University, Oxford, England ; Southwest Research Institute, San Antonio, TX, USA ; Computer Science Department, New Jersey Institute of Technology, Newark, NJ, USA ; Department of Physics, University of California San Diego, La Jolla, CA 92093, USA ; Department of Computer Science, Georgia State University, Atlanta, GA 30303, USA ; Department of Climate ; Engineering, University of Michigan, Ann Arbor, MI, USA ; Department of Statistics, University of Michigan, Ann Arbor, MI, USA ; Department of Electrical Engineering ; Computer Science, Florida Institute of Technology, Melbourne, FL, USA ; Astrophysics Section, School of Cosmic Physics, Dublin Institute for Advanced Studies, DIAS Dunsink Observatory, Dublin D15 XR2R, Ireland ; Institute of Astronomy of the Bulgarian Academy of Sciences, Sofia, Bulgaria ; Center for Solar-Terrestrial Research, New Jersey Institute of Technology, Newark, NJ 07102, USA ; Cooperative Programs for the Advancement of Earth System Science, University Corporation for Atmospheric Research, Boulder, CO, USA ; CIRES, University of Colorado Boulder, Boulder, CO, USA ; Space Weather Prediction Center, NOAA, Boulder, CO, USA ; Astronomy, College of Science, The University of Texas at San Antonio, San Antonio, TX, USA ; Space Weather Prediction Center, National Oceanic ; The University of Texas at San Antonio, San Antonio, TX, USA ; Environmental Research, Inc., MA, USA
AI总结 综述了用于太阳高能粒子预测的机器学习模型,包括数据集、架构、输入输出比较,并提出了未来研究建议。
Comments Review Paper, Maine text: 23 pages, References: 5 pages, Appendix: 42 pages
传递接触,而不仅仅是运动:跨灵巧手的柔顺抓取
机构 * University of California San Diego(加州大学圣迭戈分校)
AI总结 提出跨本体力-位置接口,通过校准力矩和指尖力实现异构灵巧手间的接触感知抓取,结合流匹配视觉运动策略和混合力位控制器,实现可迁移的柔顺抓取。
Comments Website(overview): transferring-contact-not-just-motion.github.io/
空间视觉语言模型中的双路径推理强化
机构 * The University of Hong Kong(香港大学) ; NVIDIA(英伟达) ; University of California, San Diego(加州大学圣迭戈分校)
AI总结 提出SR-REAL框架,通过强化学习融合语言推理和3D检测推理两条路径,显著提升空间VLM在复杂几何推理任务中的性能。
可重构计算挑战:Versal AI Engine上的喷注标记Transformer
机构 * Department of Computer Science and Engineering(计算机科学与工程系) ; University of California San Diego(加州大学圣地亚哥分校) ; La Jolla, CA, USA(拉贾拉, 加州, 美国)
AI总结 针对CERN LHC喷注标记任务,提出在AMD Versal AI Engine上部署量化整数Transformer的初始实现,并开发可重用软件框架自动生成Vitis图代码。
Comments 4 pages, 4 figures. In FCCM 2026 proceedings
Journal ref 2026 IEEE 34th Int. Symp. on Field-Programmable Custom Computing Machines (FCCM), Atlanta, GA, USA, 2026, pp. 307-310
EgoPhys: 从第一人称视频学习可变形物体的通用物理模型
机构 * UC San Diego(加州大学圣地亚哥分校)
AI总结 提出EgoPhys框架,从第一人称RGB视频中通过可泛化先验构建可变形物体的物理数字孪生,无需测试时优化即可预测弹簧刚度场,在重建、未来预测和零样本泛化上优于基线。
Comments Project Page: https://hjhyunjinkim.github.io/EgoPhys
嵌入式竞技场:通过硬件反馈的迭代优化
机构 * University of Washington(华盛顿大学) ; University of California San Diego(加州大学圣地亚哥分校) ; Northeastern University(东北大学)
AI总结 提出硬件在环智能体框架,通过迭代编译、烧录和测量真实硬件,实现模型与固件的闭环优化,在嵌入式设备上达到250倍压缩且精度损失<3.3%。
Comments Code: https://github.com/ubicomplab/embedded-arena
遗忘即保留:面向3D医学图像分割的机器遗忘
机构 * University of California, San Diego(加州大学圣地亚哥分校)
AI总结 针对数据隐私法规,研究基于四种机制的近似遗忘策略在3D医学图像分割中的应用,通过Dice系数和MAE评估,发现噪声标签策略在遗忘集和保留集间取得最佳平衡。
Comments 9 pages, 5 figures
Dr-DCI: 通过动态工作空间扩展实现直接语料交互的规模化
机构 * University of Toronto(多伦多大学) ; Texas A&M University(德克萨斯A&M大学) ; University of Waterloo(滑铁卢大学) ; UC San Diego(加州大学圣迭戈分校) ; Verdent AI ; Netmind AI
AI总结 提出DR-DCI框架,将检索作为智能体可调用的动作来动态扩展本地工作空间,结合检索器的召回能力与DCI的局部操作精度,实现大规模语料上的高效搜索与验证。
Comments 25 pages, 4 figures, 22 tables
AgentSpec: 通过受控组合理解具身智能体脚手架
机构 * University of California, San Diego(加利福尼亚大学圣迭戈分校) ; Johns Hopkins University(约翰霍普金斯大学) ; University of Washington(华盛顿大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 提出AgentSpec模块化规范框架,将具身智能体表示为可复用策略组件的类型化组合,通过标准化接口实现受控组件替换与重组,揭示脚手架兼容性和交互效应对性能的主导作用。
潜变量建模中的灵敏度塑造
机构 * University of California San Diego(加利福尼亚大学圣迭戈分校)
AI总结 针对生成动力学模型在策略诱导的分布外(OOD)转换检测中灵敏度不足的问题,提出支持条件控制灵敏度正则化,提升对控制输入变化的局部响应,实验验证了改进的OOD检测和更安全的闭环规划。
N2D 触觉手套:用于接触丰富操作的多指二维方向力反馈手套
机构 * University of California San Diego(加州大学圣地亚哥分校)
AI总结 提出 N2D 触觉手套,通过绞盘驱动在指尖提供二维弯曲-伸展力反馈,显著降低遥操作中的接触力误差并提高一致性。
机器学习粒子流作为对撞机物理学的基础模型
机构 * University of California San Diego(加州大学圣地亚哥分校) ; National Institute of Chemical Physics and Biophysics(化学物理与生物物理国家研究所) ; SLAC National Accelerator Laboratory(斯坦福线性加速器中心国家加速器实验室)
AI总结 将事件重建视为机器学习问题,利用MLPF模型学习到的潜在表示,在喷注味识别、喷注能量回归和缺失动量回归三项分析任务上显著提升性能,且单线性层即可媲美先进架构,参数减少约35倍。
Comments 15 pages, 11 figures
SERF:面向长时域移动操作任务的时空环境与机器人特征地图
机构 * UC San Diego(加州大学圣地亚哥分校) ; Agency for Defense Development(国防发展局) ; SceniX Inc.(SceniX公司) ; University of Michigan(密歇根大学)
AI总结 提出SERF地图,将环境与机器人身体表示为共享潜空间中的神经点,并在线更新,作为VLA模型的状态输入,提升长时域移动操作中的推理能力,在BEHAVIOR-1K上优于纯图像基线。
Comments Project page: https://existentialrobotics.org/serf/
小型LLM用于生物医学声明验证:成本效益微调、结构性数据集捷径与跨域泛化
机构 * Moveworks AI ; University of California San Diego(加州大学圣迭戈分校)
AI总结 通过QLoRA微调小型LLM(Phi-3-mini、Qwen2.5-3B、Mistral-7B),在生物医学声明验证中超越GPT-4o和GPT-5(F1提升12%),并发现SciFact数据集的结构性伪影,提出基于结构稳健数据的跨域迁移方法。
Comments 8 pages, 2 figures, 12 tables. To appear at BioNLP Workshop, ACL 2026
Sparse2Act: 学习跨域机器人操作的动作对齐稀疏3D表示
机构 * University of California, Los Angeles(加州大学洛杉矶分校) ; University of California, San Diego(加州大学圣迭戈分校) ; University of Utah(犹他大学)
AI总结 提出Sparse2Act框架,通过动作对齐的掩码稀疏3D编码预训练,实现跨域机器人操作,在LIBERO-10上达86.9%成功率,并支持域迁移和sim-to-real。
设计AI支持的焦点小组:角色×模态剧本
机构 * University of California, San Diego(加州大学圣地亚哥分校)
AI总结 针对焦点小组资源密集且对引导高度敏感的问题,提出按AI角色(工具、联合主持、主持)和模态(文本、语音、具身)组织的剧本,并分析交互权衡与开放问题。
TacCoRL: 通过仿真将触觉反馈集成到视觉-语言-动作模型中
机构 * University of California, Los Angeles(加利福尼亚大学洛杉矶分校) ; University of California, San Diego(加利福尼亚大学圣迭戈分校) ; University of Electronic Science and Technology of China(电子科技大学) ; Peking University(北京大学) ; University of Utah(犹他大学)
AI总结 提出TacCoRL框架,通过仿真与真实联合训练和强化学习,将触觉反馈注入视觉-语言-动作策略,在接触密集型任务中平均成功率提升22.5%。
HERO: 基于环境观察的后见增强反思的智能体自蒸馏
机构 * University of California, San Diego(加州大学圣地亚哥分校) ; Independent Researcher(独立研究员) ; University of California, Berkeley(加州大学伯克利分校)
AI总结 提出HERO框架,利用环境观察作为局部对齐反馈进行自蒸馏,解决多轮设置中特权反馈与当前决策上下文不对齐导致的性能下降问题,在TauBench和WebShop上提升任务成功率并减少冗余轮次。
通过对比交互从零开始学习物体操作
机构 * UC San Diego(加州大学圣地亚哥分校) ; UT Austin(德克萨斯大学奥斯汀分校)
AI总结 针对对比强化学习在交互密集操作任务中表现不佳的问题,提出交互加权重采样方法,通过保留模式边界提升多模态分段非线性可达性表示,在仿真和真实机器人空气曲棍球任务中取得显著改进。
DMT: 基于人口统计条件与形态增强Transformer的无袖带血压估计方法
机构 * University of California, San Diego(加州大学圣地亚哥分校)
AI总结 提出一种基于Transformer的PPG信号无袖带血压估计网络,通过FiLM风格特征调制融入人口统计信息,并添加辅助形态头引导模型关注与动脉僵硬度相关的波形形态,在PulseDB数据集上实现收缩压MAE 4.56 mmHg、舒张压MAE 2.62 mmHg。
一般ReLU的鲁棒回归与查询
机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; University of California, San Diego(加利福尼亚大学圣迭戈分校)
AI总结 针对高斯分布下一般ReLU的平方损失鲁棒回归,提出首个高效查询算法,使用d polylog(1/ε)+Õ(min{1/p,1/ε})个标签查询达到O(opt)+ε误差,并证明查询复杂度近最优。
Comments Appeared at NeurIPS 2025
对齐防御LLM免受属性推断攻击
机构 * University of California, San Diego(加州大学圣地亚哥分校) ; Carnegie Mellon University(卡内基梅隆大学) ; Simons Institute, UC Berkeley(伯克利大学Simons研究所)
AI总结 提出基于对齐的防御方法,通过后训练调整模型输出分布,在不修改训练数据的情况下缓解属性推断攻击,并保持效用与机密性的平衡。
Dropout-GRPO: 用于连续潜在推理的变分随机性
机构 * University of California, San Diego(加州大学圣地亚哥分校)
AI总结 针对GRPO在连续潜在推理模型中因确定性轨迹导致优势为零的问题,提出通过结构化Dropout引入随机性,使GRPO能优化贝叶斯模型平均策略,在GSM8K上提升Coconut基线准确率。
控制代价参数化的逆最优通用镇定器族
机构 * Department of Mechanical and Aerospace Engineering, University of California San Diego(加州大学圣地亚哥分校机械与航空航天工程系) ; Department of Electrical and Computer Engineering, University of California San Diego(加州大学圣地亚哥分校电气与计算机工程系)
AI总结 提出一族代价参数化的镇定反馈律,用户选择控制运行代价函数,通过公式扩展通用控制器,并证明代价-扩展算子的Lipschitz性质,支持神经算子逼近,实现半全局实用渐近稳定性和二阶次优性界。
Comments 13 Pages
面向动态环境中混合自主车辆安全关键速度调节的视觉语言工作区智能
机构 * UC Merced(加州大学默塞德分校) ; Johns Hopkins(约翰霍普金斯大学) ; UC San Diego(加州大学圣地亚哥分校)
AI总结 提出一种实时车载感知管线,通过目标检测与语义验证融合及滞后状态转换,从视觉标志中识别临时工作区限速,在低成本硬件上实现96.5%召回率和68.7%精确率。