De-attribute to Forget for LLM Unlearning
De-attribute to Forget for LLM Unlearning
机构 * Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
AI总结 本文提出基于数据归因奖励的LLM遗忘框架DareU,通过强化学习降低生成响应与遗忘数据的归因分数,实现有效遗忘并平衡模型效用。
高校专区
De-attribute to Forget for LLM Unlearning
机构 * Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
AI总结 本文提出基于数据归因奖励的LLM遗忘框架DareU,通过强化学习降低生成响应与遗忘数据的归因分数,实现有效遗忘并平衡模型效用。
深度神经网络训练作为随机效应:优化-推断对偶性
机构 * Centre for Biomedical Data Science, Duke-NUS Medical School, National University of Singapore(生物医学数据科学中心,国立新加坡大学杜克-新加坡医学学校) ; Department of Biostatistics, Harvard T.H. Chan School of Public Health, Boston, MA, USA(生物统计学系,哈佛T.H. Chan公共卫生学院,马萨诸塞州波士顿,美国) ; Institute of Natural Sciences, MOE-LSC, School of Mathematical Sciences, CMA-Shanghai, SJTU-Yale Joint Center of Biostatistics and Data Science, Shanghai Jiao Tong University(自然科学院,MOE-LSC,数学科学学院,CMA-上海,SJTU-耶鲁联合生物统计学与数据科学中心,上海交通大学) ; Department of Biostatistics, Columbia University, New York, NY, USA(生物统计学系,哥伦比亚大学,纽约州纽约市,美国)
AI总结 本文提出深度神经网络训练与经典随机效应模型等价,揭示了优化-推断对偶性,并利用限制最大似然估计实现基于似然的早停规则。
EyeMulator:通过模仿人类视觉注意力改进代码语言模型
机构 * Vanderbilt University(范德比大学) ; National University of Singapore(新加坡国立大学) ; University of Notre Dame(诺丁汉大学)
AI总结 本文提出EyeMulator,通过提取眼动数据中的扫描路径,调整代码语言模型的注意力机制,使其更符合人类视觉注意力模式,从而在翻译和摘要任务中取得显著提升。
为LLM推理设计的交互学习
机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; Sun Yat-sen University(中山大学) ; Southern University of Science and Technology(南方科技大学) ; National University of Singapore(新加坡国立大学)
AI总结 本文提出ILR框架,通过动态交互和感知校准提升LLM独立问题解决能力,实验表明其在多个基准测试中优于单agent学习。
Comments The code is available at https://github.com/linhh29/Interactive-Learning-for-LLM-Reasoning
Industrial3D: 一个用于工业基础设施的地面激光雷达点云数据集和跨范式基准
机构 * Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology(香港科技大学土木与环境工程系) ; Guangzhou Institute of Geography, Guangdong Academy of Sciences(广东省科学院广州地理研究所) ; School of Civil Engineering, Southeast University(东南大学土木工程学院) ; College of Geography and Tourism, Hengyang Normal University(衡阳师范学院地理与旅游学院) ; Department of Architecture and Civil Engineering, City University of Hong Kong(香港城市大学建筑与土木工程系) ; S.M.A.R.T. Construction Research Group, New York University Abu Dhabi(纽约大学阿布扎比分校S.M.A.R.T.建筑研究组) ; Department of the Built Environment, National University of Singapore(新加坡国立大学建筑环境系) ; Spatial Intelligence and Urban Computing, Institute of Urban Environment, Chinese Academy of Sciences(中国科学院城市环境研究所空间智能与城市计算) ; State Key Lab of Ecological Security of Regions and Cities, Institute of Urban Environment, Chinese Academy of Sciences(中国科学院城市环境研究所区域与城市生态安全国家重点实验室)
AI总结 本文提出Industrial3D数据集,包含6.12亿个高精度标注点云,用于解决工业设施中密集点云的语义理解难题,并建立首个跨范式基准,揭示了工业TLS数据中统计稀有性和几何模糊性带来的领域迁移挑战。
Comments 52 pages, 8 figure, 14 tables
Journal ref 2026, under review
当代码遇见自然语言:基于分类法的LLM集成应用信息流分析
机构 * University of New South Wales(新南威尔士大学) ; Macquarie University(麦考瑞大学) ; National University of Singapore(新加坡国立大学)
AI总结 提出一种基于定量信息流理论的分类法,定义24个标签以跨越LLM调用的自然语言与编程语言边界,实现信息流分析,并在污点传播和程序切片中验证有效性。
i-IF-Learn: 迭代特征选择与无监督学习用于高维复杂数据
机构 * SUSTech(华南理工大学) ; NUS(国立大学)
AI总结 本文提出i-IF-Learn框架,通过迭代特征选择与聚类,有效识别高维数据中的关键特征,提升聚类性能并增强下游模型表现。
Comments 28 pages, 5 figures, including appendix. Accepted at AISTATS
局部约束贝叶斯优化
机构 * Department of Industrial Systems Engineering & Management, National University of Singapore, Singapore(新加坡国立大学工业系统工程与管理系,新加坡)
AI总结 针对高维约束问题的贝叶斯优化面临挑战,提出局部约束贝叶斯优化框架。利用约束惩罚替代函数的可微景观,在局部下降与探索间交替,理论证明其收敛率,实验表明优于现有基线。
Comments 28 pages, 7 figures, accepted at ICML 2026
通过本体感知进行思考:用于VLA策略的状态基础视觉令牌选择
机构 * The Hong Kong Polytechnic University(香港理工大学) ; Eastern Institute of Technology(东区技术研究所) ; Great Bay University(大湾大学) ; Northeast Forestry University(东北林业大学) ; National University of Singapore(新加坡国立大学)
AI总结 研究VLA模型中本体感知应用问题,提出ThinkProprio方法,将本体感知离散化为视觉语言模型(VLM)词汇令牌,与指令共同作用在VLM计算前选视觉补丁,贡献是提升性能、降低延迟。
R$^2$PO:用于大语言模型推理的解耦展开与推理策略
机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(人工智能安全国家重点实验室,计算技术研究所,中国科学院) ; University of Chinese Academy of Sciences(中国科学院大学) ; National University of Singapore(新加坡国家大学)
AI总结 研究指出强化学习方法中训练轨迹与推理响应策略耦合的问题,提出R$^2$PO解耦二者,在训练时多样化展开,保持推理生成不变,实验表明其性能优于基线。
基于大语言模型的人类模拟尚不可靠
机构 * National University of Singapore(新加坡国立大学) ; The Hong Kong University of Science and Technology(香港理工大学) ; University of Chinese Academy of Sciences(中国科学院大学)
AI总结 研究指出基于大语言模型(LLM)的人类模拟不可靠,通过系统回顾找出其在多领域模拟中的问题源于LLM局限与设计缺陷,提出强化数据、提升模型能力及稳健设计的解决框架与算法。
通过模拟和受数据库管理系统启发的缓存替换策略在大语言模型推理系统开发和在线工作负载中节省GPU时间
机构 * EPFL, Switzerland(苏黎世联邦理工学院) ; NUS, Singapore(新加坡国立大学) ; POSTECH, South Korea(POSTECH大学)
AI总结 研究大语言模型推理系统,通过模拟和受数据库管理系统启发的缓存替换策略,节省GPU时间,提出新缓存替换策略并证明其有效性。
因果混沌!用于基于动态视觉场景的更长因果链上的综合因果动作问答的数据集
机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore(高性能计算研究所,科技研究局,新加坡) ; Nanyang Technological University(南洋理工大学) ; National University of Singapore(新加坡国立大学) ; Singapore Polytechnic(新加坡理工学院)
AI总结 针对因果视频问答中现有数据集因果推理深度不足的问题,利用卡通特性构建CausalChaos!数据集,含因果链等问题并引入错误答案挖掘,为因果关系建模等发展助力。
Comments NeurIPS 2024