Efficient Pre-Training of LLMs through Truncated SVD Layers
通过截断SVD层实现LLM的高效预训练
机构 * Cognizant AI Lab(认知AI实验室) ; UT Austin(得克萨斯大学奥斯汀分校)
AI总结 提出TSVD框架,利用谱能量启发式自适应秩选择和缓存机制保持低秩与严格正交性,在减少计算开销的同时匹配或超越全参数基线的性能。
高校专区
通过截断SVD层实现LLM的高效预训练
机构 * Cognizant AI Lab(认知AI实验室) ; UT Austin(得克萨斯大学奥斯汀分校)
AI总结 提出TSVD框架,利用谱能量启发式自适应秩选择和缓存机制保持低秩与严格正交性,在减少计算开销的同时匹配或超越全参数基线的性能。
Chreode: 用于一步时间动态和扰动预测的细胞世界模型
机构 * University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; University of Pennsylvania(宾夕法尼亚大学)
AI总结 提出Chreode,一种基于结构化残差转移算子的单步细胞世界模型,通过预训练和微调实现发育轨迹与扰动预测的统一,在多个基准上取得性能提升。
Comments 25 pages, 3 figures, 14 tables. Submitted to NeurIPS 2026
SYNAPSE: 通过拓扑语义去噪的神经符号视觉思维到文本解码
机构 * School of Information University of Texas at Austin(信息学院德克萨斯大学奥斯汀分校)
AI总结 提出SYNAPSE框架,利用常识图结构和潜在样本进行推理时符号正则化,稳定脑电到文本解码中的语义生成,无需微调大语言模型。
HumanoidMimicGen: 通过全身规划生成行走操作数据
机构 * NVIDIA ; The University of Texas at Austin(德克萨斯大学奥斯汀分校)
AI总结 提出HumanoidMimicGen方法,通过全身规划自动生成人形机器人行走操作演示数据,在模拟基准上使联合训练的策略性能提升20%。
Comments website: https://humanoidmimicgen.github.io/
TRACES: 通过轨迹状态建模实现多轮LLM智能体的主动安全审计
机构 * Brown University(布朗大学) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Rutgers University(罗格斯大学) ; Texas A&M University(德克萨斯阿姆斯特朗大学)
AI总结 提出TRACES方法,通过观察LLM的隐藏表示学习前缀级轨迹风险状态,实现多轮工具使用环境下的主动安全审计,提升全轨迹安全预测和主动风险判别能力。
多语言大模型任务执行中的语言角色解耦
机构 * Marquette(马凯特大学) ; Cornell(康奈尔大学) ; UC San Diego(南加州大学圣地亚哥分校) ; UPenn(普林斯顿大学) ; UT Austin(德克萨斯大学奥斯汀分校) ; Maryland(马里兰大学) ; Michigan(密歇根大学) ; UIUC(伊利诺伊大学香槟分校) ; Melbourne(墨尔本大学) ; Stanford(斯坦福大学)
AI总结 提出MTM-Bench基准,通过完全交叉设计解耦指令、内容和响应三种语言角色,评估多语言LLM的任务执行能力,发现响应语言角色是性能下降的主要因素。
高斯边际下半空间函数的恰当不可知学习
机构 * UT Austin(德克萨斯大学奥斯汀分校)
AI总结 针对高斯分布下K个半空间的任意布尔函数,提出首个高效恰当不可知学习算法,运行时间在维度d上达到最优。
更小、更年轻、更具影响力:AI辅助写作如何改变研究团队
机构 * School of Information, University of Texas at Austin(德克萨斯大学奥斯汀分校信息学院) ; National Science Library, Chinese Academy of Sciences(中国科学院国家科学图书馆) ; Department of Information Resources Management, School of Economics and Management, University of Chinese Academy of Sciences(中国科学院大学经济管理学院信息资源管理系) ; Department of Information Management, Peking University(北京大学信息管理系) ; Institute of Big Data, Fudan University(复旦大学大数据研究院) ; Institute for Global Public Policy, Fudan University(复旦大学全球公共政策研究院) ; Faculty of Finance, City University of Macau(澳门城市大学金融学院)
AI总结 本研究利用2020年以来的PLoS和Nature系列期刊全文,通过多种回归方法发现AI辅助写作使研究团队更年轻、规模更小,且不影响甚至提升科学影响力。
LLM辅助情感分析在综合计算与定性混合方法教育研究中的应用:学生书面反思作业案例研究
机构 * Chandra Family Department of Electrical and Computer Engineering, University of Texas at Austin(德克萨斯大学奥斯汀分校电子与计算机工程系) ; Department of Engineering Education, Virginia Polytechnic Institute and State University(弗吉尼亚理工大学工程教育系) ; Gallogly College of Engineering, University of Oklahoma(俄克拉荷马大学加洛格利工程学院) ; Department of Mechanical and Materials Engineering, University of Nebraska-Lincoln(内布拉斯加大学林肯分校机械与材料工程系)
AI总结 本研究通过纵向案例,利用LLM辅助情感分析结合统计检验与主题分析,探讨学生身份变量对留学期间语言交流情感的影响,发现海外生活经历是唯一显著变量。
重新评估不完美信息博弈的策略梯度方法
机构 * University of Texas at Austin(德克萨斯大学奥斯汀分校) ; University of California, Berkeley(加州大学伯克利分校) ; Massachusetts Institute of Technology(麻省理工学院) ; Carnegie Mellon University(卡内基梅隆大学) ; NYU Tandon School of Engineering(纽约大学坦顿工程学院)
AI总结 通过实现五种大型博弈的精确可剥削性计算,对比发现基于虚构博弈、双预言机和反事实遗憾最小化的深度强化学习算法未能超越通用策略梯度方法(如PPO)。
Comments International Conference on Learning Representations (ICLR) 2026
xKV:通过对齐奇异向量提取的跨层KV缓存压缩
机构 * Cornell University(康奈尔大学) ; University of Washington(华盛顿大学) ; Department of Computer Science, National Yang Ming Chiao Tung University(国立阳明交通大学计算机科学系) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; University of Surrey(塞夫顿大学) ; Microsoft Research Asia(微软亚洲研究院)
AI总结 提出xKV,一种通过跨层共享低秩子空间压缩KV缓存的后训练方法,实现高达8倍压缩且保持长上下文任务精度,并引入选择性重建实现端到端加速。
Comments ICML 2026