University of Texas at Austin（得克萨斯大学奥斯汀分校）

Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs

垃圾DNA假说：修剪小的预训练权重不可逆且单调地损害LLM中的“困难”下游任务

Lu Yin, Ajay Jaiswal, Shiwei Liu, Souvik Kundu, Zhangyang Wang

机构 * University of Surrey ； Eindhoven University of Technology ； University of Texas at Austin ； Intel Labs ； University of Oxford 纠错

AI总结 该研究提出垃圾DNA假说，指出LLM预训练权重中存在关键知识，修剪小权重会单调损害困难下游任务性能，且即使允许持续训练也无法弥补损失。

Comments Published at ICML 2024

Predicting Atomistic Transitions with Transformers

用变压器预测原子级转变

Henry Tischler, Wenting Li, Qi Tang, Danny Perez, Thomas Vogel

机构 * Computing and Artificial Intelligence Division, Los Alamos National Laboratory（计算与人工智能部门，洛斯阿拉莫斯国家实验室） ； School of Engineering and Computer Science, University of Denver（工程与计算机科学学院，丹佛大学） ； Department of Physics and Astronomy, University of Denver（物理与天文学系，丹佛大学） ； Department of Electrical and Computer Engineering, University of Texas at Austin（电气与计算机工程系，德克萨斯大学奥斯汀分校） ； School of Computational Science and Engineering, Georgia Institute of Technology（计算科学与工程学院，佐治亚理工学院） ； Theoretical Division, Los Alamos National Laboratory（理论部门，洛斯阿拉莫斯国家实验室） ； X Computational Physics Division, Los Alamos National Laboratory（X计算物理部门，洛斯阿拉莫斯国家实验室） 纠错

AI总结 本文利用变压器模型高效预测纳米簇中的原子级转变，通过评估物理有效性并生成多种微态，降低计算成本。

Comments Presented at the 2025 Conference on Data Analysis (CoDA), February 25-28, Santa Fe, New Mexico

Graph-Based Biomarker Discovery and Interpretation for Alzheimer's Disease

基于图的阿尔茨海默病生物标志物发现与解释

Maryam Khalid, Fadeel Sher Khan, John Broussard, Arko Barman

机构 * Rice University（里士大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校） 纠错

AI总结 本文提出BRAIN框架，通过图表示方法联合优化诊断准确性和生物标志物发现，揭示阿尔茨海默病诊断相关的生物标志物子网络。