Intel（英特尔）

Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs

垃圾DNA假说：修剪小的预训练权重不可逆且单调地损害LLM中的“困难”下游任务

Lu Yin, Ajay Jaiswal, Shiwei Liu, Souvik Kundu, Zhangyang Wang

机构 * University of Surrey ； Eindhoven University of Technology ； University of Texas at Austin ； Intel Labs ； University of Oxford 纠错

AI总结 该研究提出垃圾DNA假说，指出LLM预训练权重中存在关键知识，修剪小权重会单调损害困难下游任务性能，且即使允许持续训练也无法弥补损失。

Comments Published at ICML 2024

Online semi-supervised perception: Real-time learning without explicit feedback

在线半监督感知：无需显式反馈的实时学习

Branislav Kveton, Michal Valko, Matthai Phillipose, Ling Huang

机构 * Intel Labs（英特尔实验室） ； Department of Computer Science（计算机科学系） ； University of Pittsburgh（匹兹堡大学） 纠错

AI总结 本文提出一种无需显式反馈的实时学习算法，结合图上半监督学习和在线学习，通过迭代构建世界图表示并更新，利用离线标注数据和在线未标注数据提升性能，在实时人脸识别中取得优越精度和召回率。

Comments IEEE Computer Vision and Pattern Recognition Workshop on Online Learning for Computer Vision (CVPR 2010 OLCV)