Inferring the Size of Large Language Models From Popular Text Memorization
从流行文本记忆推断大型语言模型的规模
机构 * National University of Singapore(新加坡国立大学)
AI总结 提出一种黑盒方法,通过分析模型对流行文本的记忆准确性,仅从生成文本推断LLM参数规模的下界,并验证了开源和闭源模型。
高校专区
从流行文本记忆推断大型语言模型的规模
机构 * National University of Singapore(新加坡国立大学)
AI总结 提出一种黑盒方法,通过分析模型对流行文本的记忆准确性,仅从生成文本推断LLM参数规模的下界,并验证了开源和闭源模型。
模态间隙驱动的子空间对齐训练范式用于多模态大语言模型
机构 * HKUST(GZ)(香港科技大学(广州)) ; NUS(新加坡国立大学) ; sh AILab ; SII ; Stanford(斯坦福大学) ; UCLA(加州大学洛杉矶分校) ; Yale(耶鲁大学) ; SJTU(上海交通大学) ; GBU(国防大学) ; PKU(北京大学)
AI总结 针对多模态对比学习中的模态间隙问题,提出固定帧模态间隙理论,并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision,利用无配对数据实现视觉与语言表示的高效对齐。
潜空间:基础、演化、机制、能力与展望
机构 * National University of Singapore(国立新加坡大学) ; Fudan University(复旦大学) ; Tsinghua University(清华大学) ; Zhejiang University(浙江大学) ; Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; Renmin University of China(中国人民大学) ; The Chinese University of Hong Kong(香港中文大学) ; The Hong Kong University of Science and Technology(香港科技大学) ; DeepWisdom(深智科技) ; Nanjing University(南京大学) ; Shanghai Jiatong University(上海交通大学) ; Nanyang Technological University(南洋理工大学) ; Tencent Hunyuan(腾讯文深) ; QuantaAlpha(量子阿尔法) ; Beijing University of Posts and Telecommunications(北京邮电大学) ; Zhejiang Lab(浙江实验室) ; University of Chinese Academy of Sciences(中国科学院大学) ; Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; Sun Yat-sen University(中山大学)
AI总结 本文综述潜空间在语言模型中的基础、演化、机制与能力,指出其克服显式空间计算的结构性限制,并展望未来研究方向。
Chameleon: 用于视觉运动操控的索引控制前瞻记忆
机构 * MARS Lab, Nanyang Technological University(南洋理工大学MARS实验室) ; Institute for Infocomm Research, A*STAR, Singapore(新加坡*STAR信息与通信研究所) ; National University of Singapore(新加坡国立大学)
AI总结 提出Chameleon策略,通过索引控制前瞻记忆解决观察-动作延迟问题,在Camo-Dataset上决策成功率从22.5%提升至80.8%,并在多个基准上达到最优。
Comments Code is available at https://github.com/gxyes/MARS_Chameleon
通过光学字符识别重新思考基因组建模
机构 * National University of Singapore(新加坡国立大学) ; University of Science and Technology of China(中国科学技术大学)
AI总结 提出OpticalDNA框架,将DNA渲染为视觉布局,利用视觉语言模型进行OCR式基因组理解,实现高保真压缩和长序列高效处理,在450k碱基序列上以近20倍更少有效token超越基线模型。
Comments Accepted by ICML 2026
基于SHAP引导的核化Actor-Critic可解释强化学习
机构 * National University of Singapore(新加坡国立大学) ; University of Science and Technology of China(中国科学技术大学)
AI总结 提出RSA2C算法,利用RKHS-SHAP计算状态属性,通过马氏门控权重调节Actor梯度和Advantage Critic目标,实现高效、稳定且可解释的强化学习。
Journal ref ICML2026
CHDP:参数化动作空间中强化学习的协同混合扩散策略
机构 * National University of Singapore(新加坡国立大学) ; University of Science and Technology of China(中国科学技术大学)
AI总结 针对混合动作空间中的策略表达力不足和高维扩展性差问题,提出协同混合扩散策略框架,通过离散和连续扩散策略的协作与顺序更新,结合码本嵌入和Q函数引导,在基准测试中成功率提升高达19.3%。
Comments Accepted by AAAI 2026
pTNAS: 面向表格数据的渐进式神经架构搜索
机构 * National University of Singapore(新加坡国立大学) ; University of Science and Technology of China(中国科学技术大学)
AI总结 提出首个针对表格数据的渐进式神经架构搜索方法pTNAS,采用过滤-精炼优化策略,结合零成本代理和固定预算调度算法,实现架构快速识别与性能持续提升,相比其他NAS方法加速高达82.75倍。